Центральное оборудование системы видеонаблюдения. Часть 1. Аппаратное обеспечение. Общие сведения. Серверы

Аннотация

Данная статья содержит часть информации, которую удалось мне почерпнуть в процессе обучения об устройстве серверов и систем хранения. Если обнаружите какие-либо неточности – пишите, подправлю. Также был бы признателен за любую обратную связь.

Так как пул вопросов, которые возникают при подборе центрального оборудования видеонаблюдения, очень большой, то решил разбить статью на несколько. Информация будет выкладываться по мере написания “как есть” и в процессе будет корректироваться.

Под центральной частью видеонаблюдения понимается комплекс технических средств и программного обеспечения, который позволяет обрабатывать и хранить видеопотоки от видеокамер. Это как раз то место, где проектировщику можно развернуться и накосячить по-взрослому! 🙂

Сразу оговорюсь, системы видеорегистратор под столом на 1-16 камер не рассматриваем, а ориентируемся на системы от 200 до 500 камер (понятно дело, что цифры условные и больше зависят от функционала системы).

Базовая структура системы

Ходовая схема построения системы: сервер с кучей жестких дисков, которые либо встроены в сервер либо находятся во внешней корзинке (так называемой полке JBOD от англ. – Just a bunch of disks, “просто пачка дисков”), подключенной через специальную карту расширения (в этом случае получаем хранилище типа DAS – Direct Attached Storage). По большому счету две эти схемы практически одинаковы: жесткие диски находятся у сервера в монопольное использовании.

Преимущества схемы очевидны:

• стоимость – самое дешевое решение;
• простота – вот сервер, вот его диски.

Ключевой недостаток проявляется при созданиях схемы, где нужно учитывать возможность отказа сервера к которому подключены диски.

Так как схема типовая (“классическая”), то можно рассмотреть, что предлагают производители программного обеспечения для видеонаблюдения.

Например, у ITV в системе Интеллект данная проблема решается следующим образом (с помощью дополнительного недорогого платного модуля Failover):

• предусматривается несколько серверов (два или больше);
• жесткие диски распределяются между ними равномерно;
• серверы постоянно проверяют отклик (пинг) друг от друга и, в случае неполучения отклика, резервирующий сервер начинает писать видеопотоки на себя. После восстановления отклика – все возвращается в исходное состояние.

При такой схеме можно выделить следующие проблемы:

• после восстановления – видеоархив не переносится, т.е. в случае периодической неисправности (например, плохо обжат сетевой кабель), расположение видеозаписей от камер будет непредсказуемым. Также стоит отметить, потерю глубины архива, если сервер вышел из строя надолго;
• мощность серверов должна быть рассчитана на работу в такой схеме (переброски части камер);
• могут возникнуть проблемы с лицензированием – ITV дает два месяца на исправление ситуации, а вот у TRASSIR требуется приобретение лицензий на резервируемое количество камер (СЮРПРЫЗ!).

Для кого такая схема подходит, те могут ознакомиться со следующими материалами:

• почитать руководство администратора “Интеллект” раздел “Работа распределенной архитектуры в режиме обеспечения отказоустойчивости”;
• посмотреть видеоролик по “Интеллект”.

Продвинутая структура системы

Не секрет, что видеонаблюдение постепенно становится ИТ-системой, для эксплуатации которой нужно привлекать системных администраторов, а служба охраны становится потребителем этого сервиса, а не владельцем как ранее. Логично начать применять инструменты, которые используются в бизнес-инфраструктуре, пусть и в недорогом исполнении. Попробуем?

В цикле статей планируется затронуть следующие моменты:

• серверы (или “хосты” в терминологии систем виртуализации ПО);
• внешняя система хранения и в нашем случае опционально – сеть системы хранения;
• локальная сеть передачи данных с выделением подсети управления (менеджмента);
• инфраструктурное ПО: операционные системы, виртуализация, резервное копирование, мониторинг;
• ПО систем видеонаблюдения, пожарной сигнализации и СКУД (об этом будет весьма немного, так как статьи не об этом).;
• небольшие нюансы, на которые стоит обратить внимание при проектировании.

На физическом уровне приняты следующие схемы резервирования:

• вычислительные ресурсы (серверы) – по схеме N+1 (N от англ. – Necessary), т.е. возможен выход из строя целого сервера + механизмы дополнительного резервирования части компонентов внутри сервера (все-таки заменить, например, источник питания – это не замена всего сервера). Причина такого подхода очевидна: в сервере есть единая точка отказа – материнская плата;
• линии связи – схема 2N (полное дублирование);
• система хранения – схема N, отказоустойчивость компонента достигается внутренним устройством и своими схемами резервирования (будут рассмотрены в следующей части).

Серверы

Общая информация

Прежде чем начать выбирать сервер, нужно определиться с его производителем.

Так существует “большая тройка” – Dell, HPE, Lenovo (бывшее подразделение IBM), а также догоняющая их “четверка” Supermicro. С другой стороны активно продвигается продукция из Китая – Huawei, h3c (говорят, что используют наработки HPE, но основное направление – это коммутаторы), Inspur, рядышком стоят платформы для “самосбора” от Intel (поговаривают, что “неочень”), ASUS, Gigabyte и т.п. Вишенка на торте – сервера “российского производства”, которые могут быть перемаркированным изделием из любой выше названных групп. И совсем в отдельной нише стоят сервера сборки производителей ПО для видеонаблюдения и Videomax.

Многие производители предлагают онлайн-конфигураторы серверов, но они доступны только для компаний имеющих партнерские отношения с производителем. Это самый безопасный способ собрать сервер – там все комплектующие сразу проверяются на совместимость и доступность на квотирование. В силу этого сильно рекомендуется подбирать сервер через конфигуратор, если не имеете доступ к нему – попробуйте найти человека с доступом (сконфигурировать сервер совсем недолго).

При выборе сервера сразу нужно поинтересоваться наличием “вендор-локов”, так например, на серверах Dell или HPE можно столкнуться с тем, что они откажутся работать не с оригинальными HDD/SSD, объясняя это тем, что изменяют прошивку для лучшей оптимизации. Наверное…

Мой опыт при подборе серверов небольшой, но все же поделюсь им:

• Dell – негативный опыт, зажравшиеся, заказ из 2-4 серверов им мало интересен, при срыве сроков поставки – скажут “ну и чего такого?”. Конфигуратор хорош, но местами из-за перевода не понятно, что имеется ввиду. Складывается впечатление: “буржуи” поработали – “наши” все испортили;
• HPE – нейтрально, до заказа не дошло. Конфигуратор вполне удобен;
• Huawei – в целом я не очень отношусь к этому производителю (наверное из-за их агрессивного маркетинга и ценовому позиционированию на уровне hi-end решений). Системы хранения – интересные. Конфигуратор весьма на любителя. Есть риски из-за санкций наложенных на Huawei не получить оборудование или получить его с задержкой. Также не ясно, что будет с этим подразделением в будущем (то ли “продадут”, то ли будут продолжать “мучаться”);
• Videomax – в целом все хорошо, проконсультируют, подскажут. Фактически сборщики на базе общедоступных платформ с дополнительной экспертизой в видеонаблюдении и поддержкой. Но есть нюанс – они “шифруются” в конфигурациях и могут косячить при подборе, обязательно нужно контроллировать;
• h3c – знаю что конфигуратор есть, но руки не дошли попробовать. Представители h3c рекомендуют засылать требования сразу в дистрибьюторов – “есть ресурс, нужно его использовать”. Схема на любителя;
• Lenovo – конфигуратор весьма неплох, по взаимодействию – не очень понравилось (медлительные и если попросить “собрать” по параметрам, то не будут “оптимизировать” и выкатят “и так сойдет”);
• Kraftway – негативный опыт, тихий ужас, отсутствие какой-либо прозрачности (в том числе и ценовом вопросе). Конфигуратор не обнаружен, информация на сайте неактуальная.

Ценовая политика Dell, HPE, Huawei и т.п. подразумевает конфигурирование серверов партнерами и запрос цены через дистрибьютора, так как “базовые цены” изначально СИЛЬНО задраны. Иная политика у производителей серверных платформ: “вот цена за шасси, вот за оперативку, собирай сам” 🙂

В завершении данного подраздела немного ссылок:

• подбор конфигурации серверов ITV;
• подбор конфигурации серверов Videomax;
• конфигуратор Lenovo (доступен всем, не забываем выставить регион – от него зависит “рекомендованная розничная цена”, которая у Lenovo совсем неадекватная);
• конфигуратор HPE (нужен партнерский доступ);
• простой конфигуратор HPE (доступен всем);
• конфигуратор Huawei (нужен партнерский доступ);
• конфигуратор h3c (нужен партнерский доступ).

Процессоры

Необходимую мощность процессора подбираем в конфигураторах ПО систем видеонаблюдения. Забегая вперед: при одинаковых очках в бенчмарках для подобранных процессоров лучше отдать предпочтение процессорам с более высокой тактовой частотой, чем с большим количеством ядер. Если не предусматривается никакой тяжелой аналитики (типа распознавания лиц), то может хватить даже одно-процессорного решения, как типовую “рабочую лошадку” можно рассматривать двух-процессорные сервера.

Основной производитель, использующийся в серверах – это Intel (решения от AMD слабо распространены, поэтому их лучше не закладывать). Для установки в сервера Intel предлагает использовать семейства Xeon, которые в свою очередь разбиты на линейки по производительности: Bronze, Silver, Gold, Platinum – первые “простые”, а последние “самые-самые”. Рабочие лошадки, как всегда – в серединке.

При выборе процессора стоит учитывать, что процессор предыдущего семейства линейки Gold (скажем выпущенного 2 года назад) может по производительности уступать процессору из актуального семейства линейки Silver.

Пара небольших нюансов, будьте аккуратнее:

• процессоры с низким энергопотреблением (TDP) стоят существенно дороже – не стоит их брать, если точно не понимаете “зачем”;
• часть процессоров предназначена для установки только в одно-процессорные платы, а часть двух- или четырех- процессорные.

У Intel на удивление удобный сайт с поиском и сравнением характеристик процессоров.

Как правило, задачи “на запись” камер не требуют больших ресурсов. Однако, если использовать аналитику на стороне сервера, требования возрастают (при распознавании лиц – существенно). Поэтому к выбору процессора нужно подходить не только с учетом текущего состояния, но и закладывать возможность развития, например, заложить материнскую плату с двумя сокетами, куда установить только один процессор.

Оперативная память

Объем оперативной памяти также определяется требованиями ПО, как правило они весьма небольшие. Также если все-таки будет наблюдаться нехватка оперативной памяти, ее можно быстро добавить (в разумных пределах разумеется).

В сервера в отличии от персональных компьютеров устанавливается регистровая (буферизованная) память (Registered DIMM, RDIMM), которая содержит дополнительный чип, что позволяет организовать работу процессора с памятью не только в двух- , но и трех- и далее- канальном режимах, а также сильно увеличить максимально поддерживаемый объем. Главное не пытаться изначально набирать память модулями маленькой емкости, многоканальность дает не такую прибавку к скорости, которая компенсирует невозможность наращивания памяти. Также чем больше используется плашек памяти – тем больше точек отказа.

Модули RDIMM по умолчанию имеют поддержку контроля четности ECC (от англ. – error control and correction).

Также в конфигураторах можно встретить вариант установки памяти “со сниженной нагрузкой” – LRDIMM (от англ. – Load-Reduced DIMM). Эта технология позволяет снизить нагрузку на контроллер памяти и использовать планки большой емкости.

В отличии от RDIMM:

• буферизуются не только команды, но и данные;
• при использовании более двух планок LRDIMM на канал не снижается скорость работы памяти;
• имеет более высокую цену.

В целом для потребностей видеонаблюдения хватит и RDIMM.

Как наращивать память по слотам – смотрим руководства пользователя на сервер. Обычно не менее двух модулей на каждый процессор (задействованный сокет, от англ. – socket).

Система хранения данных

Так как предполагается использовать внешнее хранение, то тут все просто – требуется устройство для развертывания гипервизора. Это могут быть HDD небольшой емкости или SSD, которые для резервирования можно установить в RAID1 (зеркало, от англ. – “mirror”).

Возможно не каждый сталкивался – разъем типа U.2 (или его последователь – U.3, не отображен на иллюстрации). Это “расширение” разъема SAS, который содержит дополнительные выводы под NVMe – интерфейс для доступа накопителя к шине PCIe, который поддерживает горячую замену и к тому же очень шустрый!

Есть еще интерфейс подключения – E1.S, но это для взрослых дядек 🙂

Как вариант – заказываются сервера без бекплейна (от англ. – “backplane”), панели куда должны подключаться накопители, корзинок для накопителей и RAID-адаптеров, а для загрузки устанавливается PCI-E карта с M2-накопителями (встречаются с возможностью организации RAID0 и RAID1), например:

• Dell BOSS-S1 (1х или 2х SATA-устройства);
• HPE NS204i-p (2х NVMe-устройства).

Нужно быть аккуратным, чтобы не “подобрать” адаптер с организацией RAID на стороне процессора – эта технология от Intel называется VROC (сокр. от Virtual RAID On CPU).

Платы расширения

Прежде чем устанавливать платы, необходимо определить количество доступных слотов и их высоту, опционально длину (последнее редко когда бывает нужно). Приняты стандартные сокращения:

• высота:
  • FH – обычный ( от англ. – full-height);
  • HH – низкопрофильный (от англ. – half-height), также встречается аббревиатура – LP (от англ. – low profile);
• длина:
  • FL – полной длины (от англ. – full-length). Длина карт в диапазоне 176-312 мм;
  • HL – половинной длины (от англ. – half-lenth). Длина карт до 176 мм.

Карты могут нести маркировку типа HHHL – теперь расшифровать это просто 🙂

У 1U/2U серверов установка плат расширения (стандарта PCI-E) происходит через адаптер-райзер, так что уточните сразу его конфигурацию – как правило, указывается количество доступных карт расширения и их высота. 2U сервера без райзера иногда допускают установку карт расширения половинной высоты.

Серверы также могут оснащаться дочерними (от англ. – daughter card) или мезонинными (от англ. – mezzanine) картами. Их возможности стоит сразу учитывать при конфигурировании, так как они не занимают выведенные слоты PCI-E (но занимают линии PCI-E).

Если конфигурируете сервер вне конфигуратора производителя, то внимательно изучите возможности материнской платы. Возможности линий PCI-E обеспечиваются процессором, соответственно, если в двух-сокетной материнской плате установлен только один процессор, то часть портов PCI-E может не работать.

Платы расширения можно условно разделить на три вида:

• сетевые;
• адаптеры сети хранения данных;
• графические адаптеры GPU.

Сетевые адаптеры, которые иногда маркируются NIC (от англ. –  network interface controller) – это адаптеры сети Ethernet, которые отличаются:

• по количеству портов: стоит рассматривать двух- и четырех- портовые варианты;
• по скорости передачи данных: в серверах в настоящее время применяются адаптеры со скоростью 1/10/25 Гбит/с, для целей видеонаблюдения рекомендуется использовать адаптеры с портами 10Гбит/с;
• по типу подключения на физическом уровне:
  • RJ45 – используется для подключения с помощью медно-жильных кабелей типа “витая пара”;
  • SFP – более универсальные, которые позволяют устанавливать SFP-адаптеры в том числе и под оптическую среду передачи данных.

Адаптеры для сети передачи данных иногда называемых хост-адаптером или HBA (от англ. – Host Bus Adapter) будут рассмотрены в статье про хранение данных.

Управление

Многие серверы имеют на борту сетевой разъем для управления/менеджмента – реализация протокола IPMI (интеллектуальный интерфейс управления платформой, от англ. – Intelligent Platform Management Interface), который в зависимости от производителя может называться по разному, например:

• Dell – iDRAC (Integrated Dell Remote Access Card);
• HPE – iLO (Integrated Lights-Out);
• Lenovo/IBM – IMM (Integrated Management Module);
• Supermicro – SIM (Supermicro Intelligent Management).

Необходимо понимать, что чаще всего это опция, причем она может не только заказываться отдельно, но и иметь несколько модификаций доступного функционала!

Фактически это интерфейс, который позволяет удаленно контроллировать сервер и например, перезагрузить его, если операционная система зависла.

Более подробная информация об IPMI доступна в статье на habr.

Система электропитания

Шасси может поставляться с одним или двумя взаиморезервирующими блоками питания. Очевидно, что для повышения отказоустойчивости стоит отдать предпочтение второму варианту, так как в этом случае замену блока питания при необходимости можно произвести “на горячую”.

Если у вас уже есть сервер с одним блоком питания, то в зависимости от производителя можно попробовать докупить комплект апгрейда до двух (плата согласования и сами блоки питания).

Мощность блоков питания подбирается с запасом, перекрывающим потребление всех комплектующих.

Исполнение

Типовое исполнение серверов видеонаблюдения – это либо башня (от англ. – tower), либо – стоечный (от англ. – rack mount) высотой 4U. В рассматриваемом варианте рекомендуется остановиться на 1U, максимум 2U серверах стоечного исполнения, так как по большому счету они будут полупустыми.

Обращу внимание, что под шасси (от англ. – chassis) иногда подразумевается только корпус, а иногда корпус с материнской платой – будьте внимательнее.

Стоит присмотреться к серверам, которые содержат 2 или 4 материнские платы в одном корпусе, например, SuperMicro серии Twin/BigTwin. Перед принятием решения нужно понять как устроено согласование работы блоков питания (если через общую плату, то тут у нас будет единая точка отказа).

Блейд-системы (от англ. – blade) на базе множества серверов-“лезвий” в данной статье рассматриваться не будут, так как это сразу “вендор-лок”, причем на уровне поколения шасси и к тому же очень дорого.

Несколько нюансов:

• в видеонаблюдении иногда по какой-то неведомой причине закладываются серверные шкафы глубиной 800 мм. Типовая длина сервера – 730-750 мм, т.е. в такие шкафы они не влезут. Придется искать “подходящие” сервера – точно есть у Supermicro и Asus;
• проверяйте наличие в заказе рельс (от англ. – rails) для монтажа в 19″ направляющие, которые дополнительно могут комплектоваться скобой-рукой для укладки кабеля (от англ. – arm) – это на любителя;
• фирменные сервера оснащаются съемной фронтальной панелью с запираем на ключик (хе-хе суперзащита) – в конфигураторе или прайс-листах может обозначаться “bezel”. Этот аксессуар также на любителя;
• не размещайте стоечные 1-2U сервера в помещениях с персоналом, так как они очень шумные и предназначены для работы только в серверных (выделенных) помещениях.

Спереди у серверов обычно идет корзина для HDD, которая может позволять устанавливать накопители стандартов 2,5″ и 3,5″. Также есть варианты с размещением дополнительных корзин для HDD с доступом с тыльной стороны (сзади) и по центру сервера (доступ сверху при выдвигании сервера, так называемый mid-plane, как правило доступен в 2U-корпусах). Крепление HDD может быть как стационарное (чаще внутреннее), так и поддерживающее горячую замену (от англ. – hot swap). Как указано выше в нашей конфигурации потребуется максимум 2 места под HDD. Если не используем плату PCI-E с накопителями или на материнской плате нет разъемов NVMe, то обращаем внимание на бекплейн для HDD – они отличаются по типу поддерживаемых накопителей.

Если у планируется использовать ПО с обсчетом на видеокартах, то нужно сразу предусматривать шасси учитывающее данный “нюанс” (такие сервера отстоят немного отдельно от серверов “общего назначения”).

Стоит упомянуть возможности наличия внутренних портов, внутри шасси, например – USB. Не поленитесь и ознакомьтесь с мануалом выбранного сервера.

Также серверы могут оснащаться дополнительными плюшками (за отдельные деньги разумеется), например, у Dell есть забавный Quick Sync 2, а вот небольшой дисплей на фронтальной панели (идет по умолчанию) мне не понравился.

Гарантийное обслуживание

При заказе сервера смотрите на следующие параметры (это указывается в конфигураторе):

• срок гарантийного обслуживания – обычно 3 года;
• время оказания поддержки – типовое NBD (на следующий рабочий день, от англ. – next business day);
• место ремонта – может быть на месте размещения или Заказчик сам везет в сервисный центр;
• необходимость возврата неисправных комплектующих (особенно HDD) в случае гарантийного случая – это отдельная опция, которая стоит денег.

Стоит отметить, что у Supermicro нет официального представительства в России, поэтому часть вопросов по поддержке приходится решать через дистрибьютора и возможно привлечением специалистов в Европе.

Доступность оборудования в свете событий 2022 г.

Не знаю насчет Dell/HPE, которые закрыли полноценные конфигураторы, но оборудование Lenovo ввезти есть возможность. Также на заводе РИКОР в России начали делать серверные материнские платы – процессоры для них как-нибудь ввезут.

В целом есть обходной “финт ушами” – использовать оборудование, которое выводится из эксплуатации боевых систем, но еще вполне работоспособно (например, HPE Gen 6 и далее и Dell Rx10 и далее).

Послесловие

Смотрите также другие статьи из этого “цикла”. В последней статье попробую собрать решение и оценить его стоимость 🙂