Требования к серверному помещению

Планируете организовать серверное или кроссовое помещение, узел связи или помещение для размещения центрального оборудования средств технической безопасности — тогда рекомендую ознакомиться с данной статьей, в которой попробую предостеречь от наиболее распространенных ошибок (ВНИМАНИЕ — много текста и не всегда с указанием нормативных документов, «по-простому»). Нужно особо учитывать, что данные помещения не только являются «хранилищем ценностей» (железки достаточно дороги), но и зачастую критически важными узлами, обеспечивающими нормальное функционирование компании. Статья описывает решения, которые применимы для помещений, где планируется разместить от 2 до 10 телекоммуникационных шкафов.

Подбор помещения

Технологические ИТ-помещения (далее упрощенно — «серверная») часто располагают не там где удобно, а «где получилось». И тут нужно уметь сказать «нет» и попробовать подобрать, что-то иное, если выбранное помещение не удовлетворяет критериям:

• адекватные пути заноса оборудования (например, шкафы или напольные кондиционеры имеют весьма немаленькие габариты);
• рядом желательно иметь складское помещение, чтобы не «захламлять» серверную. Пыль и грязь с коробок рано или поздно окажется в оборудовании — чем это грозит не стоит описывать. Там же организовать зону распаковки и иметь передвижную тележку для «переноса» оборудования;
• отсутствие не относящихся к серверной транзитных коммуникаций, особенно с органами управления (типа, кранов и вентилей). Если все-таки это не получается, то необходимо предпринять все возможные адекватные действия, чтобы избежать проблем в случае аварийных ситуаций;
• не подвальный или последний этаж «под крышей» — нарушение гидроизоляции и большие проблемы обеспечены;
• через стену или сверху — санузлы (и/или прочие помещения с влажными процессами) — «бомба» замедленного действия;
• если позволяет планировка — то в центре «обслуживаемой» зоны;
• в помещении, по возможности, не должно быть окон (если здание коридорного типа — сделайте стену вдоль окон, где можно разместить склад);
• сразу необходимо прикинуть ориентировочную массу, планируемого к размещению оборудования и выдать ее архитекторам/конструкторам, чтобы оценить возможность размещения в выделенном помещении по нагрузочной способности перекрытий и необходимость создания рам под оборудование;
• высота помещения — сказать можно точно только одно: чем выше, тем лучше. Высота помещения очень сильно увязывается с системой кондиционирования (организация воздушных потоков) — см. раздел далее;
• самый важный вопрос — площадь и конфигурация помещения. Тут нужно сразу прикинуть, что и куда расставите (с учетом изложенного в статье ниже), а также заложить резерв на развитие. Каких-то «условных» цифр я дать не могу, так как потом они превратятся в «данность». При размещении оборудования учитывайте зоны обслуживания, так у напольных телекоммуникационных шкафов это не менее 1 м спереди и 0,8 м сзади (можно уменьшить, но при эксплуатации будет не «совсем удобно»).

Архитектурно-строительные решения

Помещение выбрано, необходимо заняться его отделкой.

Перегородки/стены должны быть по пределу огнестойкости EI45/REI45 (все-таки у нас это выделенное помещение в функциональном плане) и, очевидно, что на всю высоту (от перекрытия до перекрытия). Старайтесь при их возведении отказаться от гипсокартоновых конструкций (так как гипс — весьма нежный и при повреждении стены будет образовывать пыль), к тому же потом будет проблемно повесить какой-либо шкаф/ящик. Оптимальная отделка — покраска. Обшивка панелями — да красиво, но в серверных «много места не бывает», лучше обеспечить более широкие проходы. Обратите внимание на шумоизоляцию помещения — через тонкие стены и перегородки гул от серверов будет отчетливо слышен.

Дверь — противопожарная, не ниже EI30 (заполнение проемов допускается на класс ниже, чем сами стены/перегородки), проем в свету не менее 850х2050 мм (для «крупных» серверных — оптимальнее с двумя полотнами, например, 300 и 900 мм и высотой 2,2 м) и с выпадающим порогом (как закатывать тележку с оборудованием?), открывание наружу — это нужно учитывать еще при создании планировочных решений, так как это требование обычно приводит к сужению путей эвакуации (лишнее проблемы архитекторам).

Потолок — красить. Если все-таки нужна «красота», то можно сделать решетчатый типа «Грильятто», но не стоит забывать, что он достаточно хрупкий, а в серверной работы обычно проводятся постоянно и через некоторое время он скорее всего будет выглядеть «весьма печально». Никакого «Армстронга» — обычные плитки сами являются источником пыли, и даже если панели металлические, то сверху панелей накапливается пыль — при снятии плитки, она оказывается в оборудовании.

Перед «созданием» покрытия пола произвести обеспыливающую обработку и потом использовать либо антистатический линолеум (обязательно смотрите руководство по монтажу — там есть нюансы по заземлению) или фальшпол. Второе конечно предпочтительнее в плане обслуживания, но не всегда возможно, и скорее всего внутри помещения придется делать пандус или ступеньки — это «съест» полезное место. Подробнее см. в статье «Фальшпол серверной».

Как само-собой разумеющееся после завершения отделочных работ: в помещении не должно быть отслаивающихся фрагментов краски, пятен плесени и следов подтоплений, пыли и грязи, обоев и остатков краски. А вот несколько плиток фальшпола полезно иметь «прозапас».

Электроснабжение и заземление

Потребителей в серверной, обычно разбивают на группы:

• бесперебойного электроснабжения (вычислительное, аварийное освещение и противопожарное оборудование) — отключение питания недопустимо;
• гарантированного электроснабжения (системы кондиционирования и вентиляции) — возможно пропадание питания на короткий промежуток времени (может исчисляться единицами минут, так как при отсутствии охлаждения вычислительное оборудование может отключиться из-за перегрева);
• прочие потребители (розетки для подключения уборочных механизмов, общее освещение) — допускается отключение, пока аварийная ситуация не будет устранена.

Это необходимо сделать до начала работ по проектированию, как и прикинуть необходимые мощности (фактически это и есть исходные данные для проектировщика по электроснабжению).

Гарантированное электроснабжение обеспечивают с использованием второго (или третьего) независимого ввода электроснабжения, например, от дизель-генераторной установки (ДГУ).

Мероприятия по установке ДГУ достаточно затратные, поэтому необходимо рассмотреть критически данную «затею». Так при отключении питания в офисе/бизнес-центре сотрудники смогут работать только ограниченное время, которое упрется не только в поддерживаемые сервисы в серверной, но и ИБП/аккумуляторы в ноутбуках на рабочих местах. Таким образом, вполне возможно достаточно обеспечить нормальное «сворачивание» сервисов на вычислительных мощностях, размещенных в серверной.

Бесперебойное электропитание обеспечивается в большинстве случаев достаточно дорогостоящими источниками бесперебойного питания (далее — «ИБП»). К тому же, у них есть «расходник», который нужно периодически менять — это аккумуляторные батареи (далее — «АКБ»). С одной стороны — больше АКБ, больше время автономной работы, с другой — больше и расходов при замене. Как вариант «оттянуть» очередную замену — использовать 8-10 летние АКБ, которые сейчас стали не сильно отличаться по цене от 3-5 летних.

Важный нюанс — АКБ должны хорошо охлаждаться, так как при превышении температуры эксплуатации выше 25 °С они начинают терять емкость. Неоднократно видел, как по незнанию дополнительные АКБ от стоечных ИБП размещали в форме башни позади шкафов, где находится фактически самая горячая зона в серверной.

Если необходимое время бесперебойной работы составляет более 5-10 минут, гарантированного питания нет, а реальная нагрузка в серверной более 10 кВт, то стоит задуматься о ИБП для кондиционеров (крайне неприятная затея, так как у них большие пусковые токи из-за чего «вырастает» номинальная мощность ИБП).

Подробнее о ИБП см. статью «Подбор ИБП».

В помещении необходимо установить выделенную шину заземления (дополнительная система уравнивания потенциалов), к которой подключить все шкафы, лотки, рамы оборудования и прочие металлические конструкции.

Освещение

С освещением, чего только не встретишь на просторах интернета, поэтому указываю нормативные документы.

В помещении серверной необходимо обеспечить освещенность не менее 400 лк (СП 52.13330.2016 Естественное и искусственное освещение. Актуализированная редакция СНиП 23-05-95*, Приложение Л (обязательное), Таблица Л.1, п. 18 или СН 512-78 Инструкция по проектированию зданий и помещений для электронно-вычислительных машин, Таблица 4 — где дается уточнение по высоте «0,8 м от уровня пола»). В помещениях связи (к которым можно отнести кроссовые) — 200 лк (ГОСТ Р 55710-2013 Освещение рабочих мест внутри зданий. Нормы и методы измерений, 5 Нормы освещения, Таблица 8). Есть еще один вариант в «забавном» документе «ГОСТ Р 53246-2008 Информационные технологии (ИТ). Системы кабельные структурированные. Проектирование основных узлов системы. Общие требования, п. 7.2.3.2» — 500 лк, но этот документ «нормативом» можно назвать только если очень «приперло» (он фактически является «криво» переписанным пособием по проектированию от одного СКС-ного производителя).

Далее для серверного помещения, согласно «Федеральный закон от 22 июля 2008 г. N 123-ФЗ «Технический регламент о требованиях пожарной безопасности», Глава 5. Классификация пожароопасных и взрывоопасных зон, Статья 18. Классификация пожароопасных зон», необходимо определить класс пожарной опасности — скорее всего будет П-IIa (определения зон в данном ФЗ дополняют требования ПУЭ, Глава 7.4. Электроустановки в пожароопасных зонах). В пожароопасной зоне необходимо соблюдать требования ПУЭ

6.6.5 «…Для помещений, отнесенных к пожароопасным зонам П-IIа, должны быть использованы светильники с негорючими рассеивателями в виде сплошного силикатного стекла…»

и 7.4.32, который определяет для люминесцентных светильников оболочку не ниже IP2X (для LED-светильников требования к оболочке не предъявляются, возможно потому что они не были распространены на момент написания ПУЭ). Говорят, что американский стандарт EIA/TIA-569-B:2004 не рекомендует использовать люминесцентные светильники (якобы из-за уровня помех, который не указывается) — подтвердить или опровергнуть не могу, так как текста стандарта я не видел. Однако СН 512-78 в ранее упомянутой таблице указывает именно люминесцентные лампы.

При расстановке светильников нужно учитывать план размещения оборудования (чтобы светильники не оказались непосредственно над шкафами или за лотками).

Для серверных помещений, согласно «ГОСТ Р 55842-2013 (ИСО 30061:2007) Освещение аварийное. Классификация и нормы» п. 4.2.2, можно «притянуть» необходимость установки резервного освещения (актуально для «солидных» серверных) и в п. 5.2 оговаривается его значение, как не менее чем 30% от нормированной освещенности.

Выключатель (если у нас класс П-IIа) п. 7.4.24 ПУЭ рекомендует выносить за пределы помещения, но можно и внутри — тогда с оболочкой IP4X (как и все электрощиты в помещении).

Стоит отметить, что присвоение класса пожарной опасности П-IIa из разряда «холивар» (вот такие у нас нормативы), так как по большому счету оболочки вычислительного оборудования и шкафов — всего IP20 или меньше. Таким образом, вышеуказанные правила по выключателям и освещению, считаю целесообразно применять только в более-менее крупных серверных и ЦОДах, а в небольших (которые описываются в данной статье) — опустить.

И маленький нюанс: предусматривайте в телекоммуникационных шкафах локальное освещение на задней панели (где все разъемы оборудования) — свет там лишним никогда не будет.

Кондиционирование и вентиляция

При выборе системы кондиционирования необходимо сразу определиться со схемой организации воздушных потоков. Базовый принцип — минимизация перемешивания охлажденного и горячего воздуха, на этом построены «холодные и горячие коридоры». Также нужно добиваться, чтобы на вход кондиционера (где происходит забор), поступал наиболее нагретый воздух — это обеспечит лучший КПД системы.

Можно выделить следующие решения:

• кондиционеры располагаются внутри ряда (например, Conteg CoolTeg Plus DX) — это специализированные решения, обеспечивающие максимальную эффективность, однако цена решения может быть «пугающей»;
• кондиционеры шкафного типа с выбросом охлажденного воздуха под фальшпол и забором сверху — «классика» для ЦОД, требует наличие фальшпола, можно найти за относительно умеренную цену;
• канальные кондиционеры полупромышленного уровня — установка над шкафами (имеются риски протечки), относительно невысокая стоимость;
• потолочные кондиционеры полупромышленного уровня — наверное самый простой вариант для серверных с 3-4 шкафами.

Стоимость полупромышленных (это весьма условное название) кондиционеров диктуется их массовым выпуском, однако необходимо понимать, что как правило:

• отсутствует блок/шина согласования работы нескольких кондиционеров (скорее всего нужно добавлять нештатный, к тому же зачастую он рассчитан на подключение не более 3-х кондиционеров);
• не рассчитаны на работу в зимний период и необходима доработка конструкции «низкотемпературным» комплектом (нужно понимать, кто возьмет гарантийные обязательства в этом случае);
• ну и не обеспечивается точность поддержания температур (какой ужас!);
• крепятся на потолок, не занимая площадь пола.

У кондиционеров есть ограничения по длине фреоновых трасс (зависит от выбранной модели), т.е. сразу необходимо определить место для размещения наружных блоков.

Так как кондиционеры имеют явно выраженную «механическую» составляющую (компрессор), то обязательно предусмотреть резервирование в виде одного кондиционера (так называемый уровень N+1).

Стоит обратить внимание:

• на организацию слива дренажа от внутренних блоков, которую лучше делать в канализацию, обязательно с разрывом струи и гидрозатвором (вывод на фасад — крайне плохое решение). Оптимальный вариант — самотеком, но если не получается — с помощью промышленных помп и обязательно с резервированием;
• возможность подвода водопроводной воды, на случай если в помещении будет периодически возникать низкая влажность (например, в особо жаркие летние месяцы или очень холодные зимние) — это позволит установить пароувлажнитель (например, я не считаю эту «опцию» обязательной «по умолчанию»);
• если через помещение проходят трубы отопления или даже есть радиатор, то необходимо эти «безобразия» либо вынести из помещения (оптимальный вариант), либо основательно теплоизолировать.

Пару слов о вентиляции: требуется, двухкратная (СН512-78, п. 4.18). Для небольших помещений приток «свежего» воздуха (который нужен только обслуживающему персоналу, которого у нас постоянно там нет) можно обеспечить формально через открытие двери. Т.е. вентиляцию лучше делать, причем если обеспечить подпор воздуха (чуть больший приток, чем вытяжка), то это позволит избежать проникновение пыли из соседних помещений.

И в заключении раздела небольшие нюансы:

• для свободных U в шкафах используйте заглушки — это мало того, что улучшает эстетику, но и позволит сделать систему кондиционирования чуть эффективнее;
• двери напольных телекоммуникационных шкафов в помещения серверных заказывайте перфорированными (или вообще без дверей), причем в этом случае не нужно использовать «вентиляторные» блоки — это решение было придумано для шкафов со сплошными/стеклянными дверьми и остается актуальным только для навесных шкафчиков.

Более подробнее о выборе системы кондиционирования см. статью «Подбор системы кондиционирования для серверного помещения«

Решения по противопожарной защите

!!! [28.04.2021] Внимание: введены в действие СП 484.1311500.2020, СП 485.1311500.2020 и СП 486.1311500.2020, которые заменяют указанный в статье СП 5.13130.2009. Статья в этой части немного устарела и требует обновления.

Необходимость установки системы пожаротушения определяется одним из факторов:

• помещение более 24 кв. м (СП 5.13130.2009 Системы противопожарной защиты. Установки пожарной сигнализации и пожаротушения автоматические. Нормы и правила проектирования, Приложение А (обязательное), Таблица А.3, п. 35.2);
• все остальные помещения оснащаются пожаротушением ( СП 5.13130.2009, п. А.5);
• в установках предполагается оборудование локального пожаротушения (СП 5.13130.2009, Приложение А (обязательное), Таблица А.3, примечание 5), при условии, что в помещении установлена пожарная сигнализация. Обращу внимание, что нормативная база под этот вид пожаротушения пока не сильно развита (СП 5.13130.2009 п. 8.15.3 требует использовать двуокись углерода, а хладоны нужны отдельные методики);
• самый очевидный — пожеланиями заказчика (если он хочет, а обязательных требований нет — в другую сторону «не работает»).

Для серверных помещений применяется в основном газовое пожаротушение со следующими огнетушащими веществами:

• Хладон-125ХП — самый распространенный;
• Хладон-227еа — немного дороже Хладон-125ХП и в тоже время безопасней для человека;
• NOVEC 1230 — «супер»-вещество от 3M. Обладает кучей достоинств и одним недостатком — цена.

Если пожаротушение в помещении необходимо, а на газовое не заложен бюджет, то можно установить порошковое. Но в случае его сработки (в том числе и ложной), с расположенным оборудованием в помещении можно попрощаться. Вариант имеет право на жизнь в небольших кроссовых помещениях, где из самых страшных потерь будут ИБП, несколько коммутаторов и кроссы.

Оснащение пожарной сигнализацией обязательно, причем если в помещении предусмотрена установка пожаротушения, то она должна обеспечивать эти функции (СП 5.13130.2009, п. 4.2).

Кроме пожаротушения и оснащения двери с нормированной огнестойкостью требуется предусмотреть установку:

• огнестойких кабельных проходок для кабелей (подробнее см. статью «Протыкая стены, или немного о проходе кабелей через строительные конструкции»);
• огнестойких проходок для труб (например, кондиционирования);
• запорных противопожарных клапанов для каналов системы вентиляции и выдачи сигналов на ее отключение (при ее наличии);
• доводчиков дверей;
• системы оповещения о необходимости эвакуации из помещения;
• клапаны для удаления продуктов горения (в случае установки газового пожаротушения).

В качестве рекомендуемого дополнения (СП 5.13130.2009, 13.9.1) можно предусмотреть установку системы раннего обнаружения пожара на базе аспирационных извещателей. Система действительно обнаруживает небольшие сгустки дыма, в то время как дымовые извещатели срабатыют, когда уже вот-вот «полыхнет». Мне очень понравились решения WAGNER: отличная техническая поддержка, смонтировать могут даже неподготовленные люди.

Не помешает оснастить помещение парой углекислотных огнетушителей — цена вопроса не велика, а подавить «очаг в зародыше» возможно.

Системы технической безопасности

Это наверное самые простые системы и к тому же необязательные.

Ограничить вход в помещение можно как с помощью системы контроля доступа, так и с использованием механического замка.

Охранную сигнализацию и видеонаблюдение очень желательно предусмотреть, если серверная расположена на 1-2 этаже и имеется окно, или есть «желание» фиксации событий для «разбора полетов», если кто-то «набезобразничал» в серверной.

Система мониторинга инженерных систем

Также не является обязательной системой, но показывает «уровень» серверной. Может помочь с ранним предупреждением об авариях, что позволит сократить время простоя организации.

На систему мониторинга инженерных систем рекомендуется вывести данные со следующего оборудования:

• электроснабжение: ИБП, анализатора сети (желательно иметь хотя бы один на вводе питающего кабеля) и при возможности с основных аппаратов защиты с электрощитов (с помощью дополнительных контактов);
• кондиционеры (если нет возможности, то можно закладывать блок ротации с выходом Modbus);
• датчиков температуры, влажности, протечек воды, раскиданных по критическим точкам в помещении;
• сигналы «ПОЖАР» и «НЕИСПРАВНОСТЬ» с приемно-контрольной аппаратуры пожаротушения;
• при установке выносных дренажных помп — сигнал о переполнении (такое есть не для всех помп);
• датчики открытия дверей различных шкафов (если уж контролировать все).

В основном используются протоколы SNMP и Modbus RTU/TCP, с которыми нет особых проблем, так как они достаточно просты — главное иметь таблицы кодов от производителя.

Основной нюанс — куда выводить сигналы: можно использовать контроллер со встроенным веб-сервером или стороннюю программу типа Zabbix/Nagios.

Заключение

Статья носит обзорный характер и основное назначение — призыв подумать, прежде чем «фигачить» серверную (даже на уровне технического задания). В каждой подсистеме есть «хитрости», которые желательно учесть еще на этапе проектирования. Однако, проектировщик только «предполагает» как будет, монтажники «реализуют», а эксплуатация потом все-равно «допиливает».

Статья может периодически изменяться и дополняться. Также планируется написать еще несколько статей, которые раскроют некоторые нюансы инженерных подсистем в серверной — не пропустите!