Центральное оборудование системы видеонаблюдения. Часть 2. Аппаратное обеспечение. Системы хранения данных

Аннотация

Тема достаточно большая, а количество используемых в ней аббревиатур огромно. Ключевая цель статьи дать базовые понятия и помочь не спутать различные протоколы и типы подключений.

Перед прочтением рекомендуется ознакомиться:

Центральное оборудование системы видеонаблюдения. Часть 1. Аппаратное обеспечение. Общие сведения. Серверы

Статья будет строится по принципу: от физического носителя до системы хранения.

Основные требования к системе хранения:

• невысокая стоимость при высокой емкости;
• требуется резервирование компонентов на физическом уровне;
• профиль нагрузки: преимущественно запись 90% и более.

Если вы ищете информацию, что такое RDMA, RoCE, FoCE, NVMe, Tier, CDP, MetroCluster – то эта статья не для вас, тут рассматриваются технологии для систем хранения начального уровня с весьма ограниченным функционалом 🙂

Физические носители

Наверное все знают, что такое HDD и SSD в персональных компьютерах – так что здесь останавливаться не буду. Так как SSD существенно дороже за Гб, то и выбор типа носителя невелик – HDD, благо их скоростных характеристик достаточно для нашей задачи.

Производителей HDD в настоящее время осталось немного: Western Digital (они же – WD), Seagate (выкупили Samsung HDD), Kioxia/Toshiba, HGST (ранее – Hitachi Global Storage Technologies, куплены WD и частично Toshiba). Именно у них заказывают свои “фирменные” HDD производители серверов и систем хранения, заботливо накатывая свои прошивки и увеличивая ценник.

Можно встретить следующие обозначения для типоразмера дисков:

• 2,5″ или SFF (от англ. – Small Form Factor): основное преимущество кроме компактности –  меньше задержка головки при поиске;
• 3,5″ или LFF (от англ. – Large Form Factor): используются для систем, где важен размер хранения при низкой стоимости (наш выбор).

При выборе емкости HDD не спешите закладывать самые емкие накопители (14-16 Тб), ограничьтесь 8-10 Тб моделями (см. раздел про резервирование RAID).

Скорость вращения дисков бывает от 5400 до 15 000 оборотов в минуту, для видеонаблюдения оптимально подходят самые типовые – 7200 (в прайс-листах могут значиться как 7,2K). Как же так, HDD разных производителей линеек Surveillance (англ. – видеонаблюдение) обычно имеют скорость вращения всего 5900? Все верно – эти жесткие для систем домашнего наблюдения, где нагрузка на HDD невелика (характеризуется небольшим количеством камер), а среди важных параметров – низкий нагрев и тихая работа.

Интерфейс физического подключения:

• SATA – считается, что применим для домашнего сегмента, но есть линейки Enterprise, которые характеризуются повышенной надежностью: WD Gold Enterprise, WD WD Purple Pro, Seagate Exos E (7E8 или 7E10). Нехорошие маркетологи периодически меняют названия линеек оборудования и прячут технических подробности, типа частоты вращения диска и приходится копать даташиты (от англ. – datasheet). Чтобы не ошибиться ищем: заявленное время наработки на отказ (от англ. – Mean Time Between Failures, MTBF) – не менее 2 000 000 часов, четко прописанную скорость вращения – не менее 7200 оборотов в минуту, возможность работы в RAID-массивах (это важно, так как там немного другой принцип работы с данными);
• SAS (Serial Attached SCSI) – как видно из расшифровки названия это интерфейс базирующийся на SCSI (Small Computer System Interface), который в свою очередь получил широкое распространение в серверах (был слишком дорог и избыточен для персональных компьютеров). SAS обратно совместим с SATA: устройства SATA могут быть подключены к контроллеру SAS, но не наоборот. Используются высокие обороты шпинделя – 10 000 или 15 000, а также заявлена более высокая наработка на отказ, но бытует подозрение, что это маркетинговые сказки 🙂 Интерфейс SATA полудуплексный (half-duplex), в отличие от полнодуплексного (full-duplex) SAS. Ключевое отличие SAS от SATA в рамках построения отказоустойчивых систем – возможность подключения по двум линиям передачи одновременно (с одной линией SAS HDD очень редки). Все эти нюансы делают цену на SAS HDD высокой;
• NL-SAS (SAS-NL, Near Line SAS) – модификация, в которой к механической части SATA-дисков добавили интерфейс подключения SAS. Тут и возможность одновременного подключения к двум контроллерам и невысокая цена – то что нужно для недорогой отказоустойчивой системы 🙂
• NVMe – это для SSD, обходим стороной – очень дорого.

Таким образом, если используем “классическую” схему системы видеонаблюдения: сервер, набитый дисками, то выбираем SATA Enterprise-линеек, а в случае использования выделенного хранилища – NL-SAS.

В настоящее время можно заказать накопители с различными версиями SAS: SAS-2 (или SAS 2.0) со скоростью передачи 6 Гбит/с и SAS-3 (или SAS 3.0) со скоростью передачи 12 Гбит/с. Версии обратно совместимы.

Есть еще такая характеристика как “кеш память” (от англ. – cashe), но она важна для одиночных дисков. При использовании RAID-массивов (см. далее) кеш память HDD отключается (используется кеш RAID-контроллера).

Средний срок жизни у HDD – 3-5 лет при активном использовании (наш случай – постоянно на них что-то пишется). Так что сразу закладывайте в бюджет их замену, вместе с деньгами на аккумуляторы ИБП, у которых срок службы аналогичный 🙂

Резервирование накопителей (RAID)

HDD имеют ярко выраженную механическую составляющую, а значит нужно резервирование и без этого никак. С этой целью применяется технология RAID (от англ. – Redundant Array of Independent Disks).

Данные “раскидываются” на несколько дисков RAID-контроллером при записи и им же собираются обратно, при чтении.

На практике в видеонаблюдении могут встретиться следующие типы массивов:

• RAID1 – так называемое зеркало, когда имеется 100% резервирование (честная система N+N). Характеризуется плохой утилизацией дискового пространства – всего 50%. Требуется не менее 2-х дисков, добавляются диски парами (в общем случае). Основное применение – на серверах для размещения гипервизора;
• RAID5 – данные записываются одновременно на несколько HDD с контролем четности, причем для хранения четности не выделяют отдельный диск. Резервирование на уровне N+1, требуется минимально 3 диска, диски можно добавлять по одному, но при этом происходит перестроение массива;
• RAID6 – аналогично RAID5 данные записываются сразу на несколько HDD, но уже с двойным контролем четности. Резервирование на уровне N+2, требуется минимально 4 диска, диски можно добавлять по одному, но при этом происходит перестроение массива;
• RAID-TP, RAID2.0 и т.п. – современные технологии отказоустойчивости, которые каждый производитель систем хранения “сочиняет” сам. Проприетарные реализации, используйте если есть человек, который подскажет что и как.

RAID5 применять крайне не рекомендуется, так как в случае выхода из строя одного из дисков происходит перестроение массива – в этом случае нагрузка на все HDD возрастает и есть возможность потерять второй диск, что приведет к полной потери данных. Поэтому основной тип использующегося для хранения видеоархива – RAID6.

Стоит оговориться, что NetApp использует в своих СХД следующие схемы резервирования:

• RAID4 – выделение диска четности, допускается выход из строя одного диска;
• RAID-DP – аналог RAID6, только четность не “размазывается” на все диски, а выделяются диски под четность и диагональную честность. Допускается выход из строя двух дисков;
• RAID-TEC – то что рекомендуется использовать для емких дисков (наш случай). К RAID-DP добавляется еще диск с анти-диагональной четностью. Теперь не страшен выход трех дисков!

Почему на это обращаю внимание? У данных типов RAID есть большое преимущество – гибкость. Добавить диск в RAID без перестроения нет ничего сложного – дополнительный диск записывается нулями и он готов! Но есть ограничения по количеству дисков в группе.

Чтобы экстренно не искать для замены еще один HDD, когда диск в массиве выйдет из строя, его сразу предусматривают в виде “горячего резерва” (от англ. – hot spare).

Перестроение (реконструкция) массива – это не только существенная нагрузка на HDD, но и длительная по времени процедура, когда массив крайне уязвим. Так например, Raidix (производитель программных систем хранения) дает оценку для массива объема из накопителей объемом 10Тб общим количеством 15 штук – 24 часа, а для 30 штук – 43. Большой объем HDD – дольше перестроение, так как рабочую нагрузку никто не отменял (потеря производительности до 50%), а каналы HDD-контроллер нагружаются по полной.

Кроме резервирования организация RAID из множества дисков позволяет распараллелить нагрузку на HDD, т.е. при такой схеме пишется на все диски, но по чуть-чуть, в отличии от одиночного диска, где все “пихается” на один. Это позволяет уменьшить проблему “бутылочного горлышка” связанного с ограничением скорости записи на диск, проистекающего из его механической составляющей.

Как можно видеть, резервирование “съедает” часть емкости HDD, поэтому для нее были введены понятия:

• “сырая” – складывается из всех накопителей участвующих в массиве;
• “полезная” или “эффективная” – за вычетом емкости HDD для горячей замены и емкости для контроля четности: получается в сумме минимум минус 3 HDD, если все HDD одинаковые (использование HDD разного объема не рекомендуется – RAID будет строиться по меньшему из дисков).

При расчетах не забывайте про “хитрость” производителей HDD: 1Тб = 931Гб 🙂 В интернете полно калькуляторов емкости RAID, надеюсь он появится и в моем калькуляторе видеонаблюдения (как дойдут руки, тут явно не высшая математика).

Не нужно “дергать” диски на рабочей системе хранения (начнется перестройка массива), а извлечение одного диска (как показывают в фильмах) – ничего не даст.

RAID-контроллеры (адаптеры)

Системы хранения оснащаются встроенными устройствами организации RAID-хранилища, а для серверов применяются отдельные RAID-карты расширения или реже “навесные” платы (например у Dell – PERC mini card), также есть программный RAID, но его лучше не использовать.

Для серверных RAID-карт обращаем внимание на следующие характеристики:

• список поддерживаемых конфигураций RAID (обычно RAID6 там уже есть);
• количество накопителей в RAID и их тип;
• наличие (очень желательно) энергонезависимого кеша (от англ. – non-volatile cache, NV cache): его размер в Гб и аккумулятора/суперконденсатора для защиты в случае пропадания электропитания (от англ.- Battery Backup Unit, BBU). Кеш RAID-контроллера позволяет оптимизировать процесс записи данных на диски.

На одном RAID-контроллере обычно можно поднять несколько RAID-групп.

Системы хранения данных

Общие сведения

Системы хранения можно разделить на следующие группы:

• аппаратные – “классический” подход, покупаете железку, она несет на себе контроллеры и/или корзины для накопителей, которые можно нарастить, а также комплект ПО. Именно эти устройства и будут дальше рассматриваться;
• программно-определяемые (от англ. – Software-Defined Storage, SDS) – все доступные ресурсы хранения (накопители, “классические” системы хранения) объединяются в общее хранилище программно-распределенным методом (например vSAN от VMware). Есть мнение, что это следующий этап развития систем хранения.

В нашем случае аппаратные системы более оправданы (далее пойдет речь исключительно об них), так как SDS обычно применяются на больших системах, которым необходима гибкость, и данное решение слишком избыточно для нашей задачи.

Для систем хранения наиболее важными показателями считаются:

• количество операций ввода-вывода (от англ. – Input/Output Operations Per Second, IOPS), которые могут быть обеспечены – для систем видеонаблюдения этот параметр не так важен;
• пропускная способность (от англ. – bandwidth) – это как раз на то, что стоит обратить внимание;
• задержка доступа (от англ. – latency) – чем ниже, тем лучше, но по большому счету для систем видеонаблюдения этот параметр также не важен.

Как так – три основных параметра, а для решения задачи нужен только один? Все просто: в системах видеонаблюдения можно использовать системы хранения начального уровня, которые обеспечивают все потребности и даже немного больше 🙂

Как правило, системы хранения начального уровня:

• имеют один или два контроллера, которые ограничены по мощности и размеру кеша;
• не поддерживают NVMe (для супер-шустрых SSD);
• поддерживается только часть программных функций, которые в нашей задаче и так не используются.

При реализации системы хранения обращаем внимание на следующие особенности, которые будут рассмотрены ниже:

• наличие резервного контроллера;
• вариант организации доступа к системе хранения – NAS, SAN или DAS (последнее приводится для информации);
• так как правило дешевле: шасси в одном корпусе объединяет контроллеры и корзины для устройств хранения и их тип (нам нужно: 3,5″ и SAS);
• наличие резервирования по блокам питания. Некоторые NAS-системы идут с одним блоком и они не подходят для использования в отказоустойчивых системах. 

Производители

Рейтинг производителей – на основании статьи на habr.

• высший дивизион: HPE, DellEMC, Hitachi, NetApp, IBM / Lenovo;
• второй дивизион: Fujitsu, Infinidat, Huawei (хотя последние хотят играть в высшем дивизионе, как и Inspur)
• третий дивизион (нишевые решения в ранге low end): Infortrend, наверное сюда можно добавить Seagate (хе-хе), который скоро скорее всего переберется во второй дивизион – ресурсов много 🙂
• SOHO сегмент: Synology, QNAP и т.д.;
• импортозамещение: в большей части нехорошие “российские” компании с переклеенными лейблами первого дивизиона и Huawei, ну и немножко поделок на отечественных процессорах.

Недорого и нас устроит – третий дивизион, а вот “импортозамещенных” старайтесь избегать – люди испорченные госконтрактами. На Infortrend есть сильно негативный отзыв, который показывает как они подчищают за свою “репутацию”.

Можно попробовать сделать финт ушами и запросить скидки на СХД начального уровня у производителей высшего эшелона (по GPL-ценам покупать ничего не стоит, как и -20%). При этом нужно понимать, что часть хранилок – это ОЕМ других производителей (просто могут отличаться пластиковая мордочка, прошивки, немного функционал и конечно же сервис):

• OEM Seagate Exos X (ранее были независимым брендом DotHill) – Dell PowerVault ME4 и HPE MSA;
• OEM NetApp E-series – Lenovo DE (Lenovo OEM-ит и все остальные серии NetApp c 2018 года, ранее также OEM-или DotHill), Bosch (хотя они заявляют о “доработке” систем).

Также Seagate в 2013 году выкупила Xyratex, но ассортимент доступных СХД у этой компании почему-то до сих пор весьма небольшой.

С устройствами хранения высшего и второго дивизиона может быть нюанс – устанавливаемые накопители должны быть “родными”, уточняйте этот момент сразу. Также смотрим: при заказе диска – это может быть изделие, состоящее из самого диска и салазок. Например, Dell смотрит косо даже если “родной диск для сервера” воткнуть в систему хранения. Может заработает, может и нет, а может и при обращении в поддержку возникнут ненужные вопросы, но уже к вам.

Контроллеры системы хранения

Фактически каждый контроллер системы хранения можно воспринимать, как отдельный сервер, но имеющий высокоскоростную шину связи между другими контроллерами. Контроллеры работают совместно как единое целое и могут управляться с одного порта менеджмента любого из контроллеров. Но есть большой нюанс – хоть все и выглядит как сервер, но по-большому счету поставляется (и по сути является) “черным” ящиком, который как-то хитро работает. Самостоятельно добавить кеш-памяти или допилить пару функций вряд ли получиться, если вы не работаете в производителе 🙂

Система хранения управляет массивом дисков, может собирать встроенные диски в независимые “кучки” и для них уже выбирать тип RAID, создавая таким образом “виртуальные” диски LUN (от англ. – Logical Unit Number). В системе хранения прописывается какой LUN видит сервер.

Организация доступа к системе хранения

Под организацией доступа к системе хранения подразумевается, так как она представляется серверам:

• DAS (Direct Attached Storage) – прямое подключение системы хранения к серверу. Это “классическое” решение системы видеонаблюдения в настоящем времени. Причем самым распространенным вариантами являются встроенные в сервера накопители или размещенные в подключенной полке JBOD, внутри которой диски объединены по интерфейсу SAS, так как этот интерфейс допускает использовать расширители (от англ. – expanders) для ветвления линии SAS. В сервер устанавливается RAID-контроллер с портами SAS, к которому и подключается полка;
• NAS (Network Attached Storage) – сервера видят папки устройства хранения как сетевые и имеют к ним доступ. Подключение сервера к NAS производится по сети Ethernet;
• SAN (Storage Area Network) – подключение к серверам происходит с помощью специальной сети. Наибольшее распространение получили сети на базе Fibre Channel, FC и iSCSI (от англ. – Internet SСSI). Чуть более подробно о подключении будет описано ниже. Серверам хранилище представляется как пустые диски, которые нужно форматировать и работать как со своими системными – так называемый блочный (от англ. – block) доступ.

Стоит обратить внимание:

• некоторые системы хранения поддерживают подключение как устройство SAN, так и NAS;
• не все ПО видеонаблюдения работает с NAS – смотрите руководство администратора!

Расширение системы хранения

Расширение системы хранения осуществляется с помощью дополнительных полок (иногда используют аббревиатуру DAE, от англ. – Disk Array Enclosure) по протоколу SAS, используя шнуры с разъемами miniSAS (SFF-8088 для SAS-2, SFF-8644 для SAS-3), в каждом из которых “несется” 4 линии SAS. Если у вас подключение полок не по SAS, то возможно вы купили более дорогую систему хранения, чем нужна для решения нашей задачи 🙂 Основное отличие от полок JBOD – системы хранения требуют полки расширения того же производителя, что и контроллеры, так как “голова” управляет полками в том числе на уровне включения/выключения. При заказе полок расширения – смотрим инструкцию к “голове” и схему коммутации.

Гарантийное обслуживание

Как и с серверами – это очень важный момент, повторюсь и отмечу пару дополнительных нюансов:

• срок гарантийного обслуживания – обычно 3 года, причем на накопители и шасси может быть различные сроки. Также в системах хранения высшего дивизиона уточняйте, что с гарантией на добавляемые в процессе эксплуатации “родные” накопители;
• время оказания поддержки – типовое NBD (на следующий рабочий день, от англ. – next business day);
• место ремонта – может быть на месте размещения или Заказчик сам везет в сервисный центр;
• необходимость возврата неисправных комплектующих (особенно HDD) в случае гарантийного случая – это отдельная опция, которая стоит денег.

Сеть хранения данных

Для подключения между собой серверов и систем хранения, как правило, используются протоколы:

• Fibre Channel, FC (иногда можно встретить Fiber Channel) – используются специальные карты и коммутаторы Fibre Channel (внутрь него обычно инкапсулируется SCSI). Большинство коммутаторов FC – перелицованные коммутаторы производства Brocade (сейчас принадлежит Broadcom), причем с весьма занятным способом лицензирования – на оборудовании могут быть порты, но пока не заплатите денежку они будут не доступны – так называемые лицензии PoD (от англ. – Ports on Demand). Второй крупный игрок на рынке FC – Cisco. Подключение выполняется преимущественно оптическими кабелями Duplex LC OM3. Технология весьма высокоскоростная и получила широкое распространение пока Ethernet 10G и выше был недоступен. Для нашей задачи не подходит, так как решение недешевое;
• iSCSI – используются специальные карты Ethernet (необходима поддержка инициаторов запроса SCSI) и обычные коммутаторы Ethernet (желательно с портами 10G, но можно и “стартануть” на гигабите). Подключение по медным и оптическим линиям связи, тут все доступнее и привычнее. Коммутаторы нужны с поддержкой настройки MTU и очень желательно не совмещать их с коммутаторами сети ЛВС (иначе необходимо настраивать QoS, VLAN и возможно что-то еще). Этот протокол можно рассматривать как основной вариант для задач видеонаблюдения.

Выделяют три типа карт iSCSI:

• обычные – поддержка iSCSI на уровне драйвера, весь обсчет интерфейса SCSI делается на центральном процессоре, соответственно подъедает его ресурсы (наш вариант в большинстве случаев);
• TOE-карты (от англ. – TCP Offload Engine) – как видно из названия, такие карточки разгружают процессор от инкапсуляции одного из уровней iSCSI, соответственно и цена у этих карт повыше;
• HBA-адаптеры (от англ. – Host Bus Adapter) – фактически аналог карт FC, всю работу делают сами, но и стоимость соответствующая.

В интернете можно встретить упоминание о построении сети хранения на SAS-коммутаторах, но сейчас это неактуально. Другой высокоскоростной вариант InfiniBand, IB – остался как узко-специализированное решение.

Как отмечено в статье про серверы, подключение к сети хранения данных осуществляется с помощью HBA-адаптеров с соответствующими протоколами – iSCSI или FC. Но есть и универсальные решения (походу только у NetApp), в которых необходимо только заменить SFP-модуль на нужный тип протокола – их можно отличить по содержанию в названии аббревиатур CNA (от англ. – converged network adapter)/UTA2 (unified target adapter).

Послесловие

Системы хранения весьма интересны и сложны, хотя линейки начального уровня стараются делать максимально дружелюбными. Прежде чем ввязываться в проект с их использованием обязательно заручитесь поддержкой знающего специалиста, который также согласиться оказать поддержку “первой линии” при эксплуатации системы.

Для тех кто хочет поглубже изучить системы хранения, можно начать с книги EMC – учебник для вузов “От хранения данных к управлению информацией”, второе издание, 2016 г. (на русском языке). Ее без проблем можно найти в интернете и, не смотря на почтительный возраст (кхе-кхе 6 лет), она весьма хорошо разжевывает информацию. Да тут не будет последних “новинок” и еще не понятно, какие технологии “отомрут”, но базовые навыки предоставляются. Кстати курсы Huawei по СХД, как мне показалось построены именно на ней 🙂