Подбор системы кондиционирования для серверного помещения

Ко мне недавно обратились с просьбой подсказать по кондиционерам в небольшое серверное помещении и показали коммерческое предложение “поставщика”. То что я там увидел, вызвало у меня удивление: основной и резервный кондиционеры совершено разных моделей, нет блока ротации и т.п. Данная статья написана по итогам консультации и надеюсь поможет другим ИТ-специалистам, которые не сильно разбираются в инженерных системах, но вынуждены “по долгу службы” обращаться и контролировать вот таких вот “профессионалов”.

Статья содержит некоторые упрощения, которые на мой взгляд допустимы при создании несложных систем и имеет целью описать комплекс вопросов, которые могут возникнуть при построении казалось бы простой системы.

Исходные данные

Прежде чем подбирать систему кондиционирования (а это именно система) нужно подготовить исходные данные. От их качества зачастую зависит итоговый результат.

Основное – это конечно же тепловыделение на оборудовании. Тут можно пойти двумя путями:

  • расчетный – аккуратно суммируем тепловыделение из паспортов на оборудовании. Тепловыделение может быть указано в BTU (British thermal unit) – достаточно разделить на 3,41, чтобы получить Вт;
  • эмпирический – как известно: вычислительное оборудование в большинстве случаев выделяет столько же тепла, сколько и потребляет электроэнергии. Так как оборудование в серверной запитано от ИБП (одного или нескольких), то можем подключиться к нему через информационный порт и посмотреть нагрузку в Вт (в логах выбираем максимальную нагрузку на каждый ИБП в один момент времени). Альтернативный вариант – взять токовые клещи и измерить проходящий ток по питающему серверную кабелю (делать с энергетиком). Однако данный подход плохо работает для оборудования с PoE, так как в этом случае основная тепловая мощность рассеивается на оконечных устройствах (потребителях), которые скорее всего находятся вне серверной.

Расчетный метод оценивает теплопритоки сверху, а эмпирический дает данные “копейка-в-копейку”.

Остается добавить мелочь:

  • от ИБП – смотрим табличку КПД в инструкции на ИБП. При нагрузке более половины – КПД обычно близок к 95%, остальные 5% уходит в тепло (5% от мощности подключенной нагрузки, а не от номинальной мощности на ИБП);
  • от освещения – если свет в помещении горит постоянно (например, аварийное освещение), то прибавляем мощность осветительных приборов (мощность ламп в помещении);
  • от персонала – 100Вт/человек (можно не учитывать, так как в серверной присутствие обычно непостоянное);
  • через ограждающие конструкции – если через стены поступление тепла невелико, то через один типовой оконный проем 1,4х1,8 м можно получить “прибавку” в 500 Вт (грубо 200Вт на кв. м остекления, точно смотрим СНиП 2.04.05-91).

После расчета теплопритоков добавляем мощность необходимую на развитие (20-30%). Не нужно закладывать 75-100% – в этом случае зачастую лучше добавить еще 1 кондиционер (потом, как потребуется).

Далее переходим к менее очевидным вещам, которые помогут получить более адекватное коммерческое предложение :

  • место размещения наружных блоков. Важно обратить внимание на длину трассы (она должна быть по возможности с минимальным числом изгибов и короткая). Нужно понимать, что перепад высот между внутренним и наружным блоком является одной из характеристик кондиционера – не поленитесь и проверьте по инструкции предложенную поставщиком модель. К подбору места размещения нужно подходить продумано и учитывать такие факторы: удобство последующего технического обслуживания/ремонта, падения/образование наледи, повреждение автотранспортом (например, кузовом фуры, осуществляющей доставку). По возможности – где-нибудь в тени (особенно актуально для летнего периода).
  • трасса прохода фреонопроводов – сразу прикиньте как может примерно пройти трасса. Все-таки она имеет не слишком эстетичный вид и, как оговаривалось ранее, ограниченную длину. Если наружные блоки планируется размещать на кровле, то нужно обсудить со службой эксплуатации в том числе и вопрос выхода на кровлю (вертикальные проколы крайне нежелательны). Не забывайте – прокладывать трассы систем кондиционирования по лестничным клеткам не допускается!
  • точка подключения к системе канализации – кондиционер осушает воздух, а воду конденсирующуюся на внутреннем блоке куда-то нужно сливать. Выводить дренаж на фасад плохая практика, но любима монтажниками кондиционеров из-за простоты реализации. Сразу фиксируйте недопустимость таких решений.

Схема охлаждения оборудования

В данной статье не рассматриваются промышленные (прецизионные) кондиционеры – так как если вы их ставите, то можете позволить и полноценное проектирование системы. Также не затрагиваются “экзотические” решения типа кондиционеров внутри шкафов, так как подобные решения скорее проектные.

Необходимо понимать, что наилучшая производительность системы кондиционирования достигается подачей на вход кондиционера (где происходит забор воздуха) наиболее горячего воздуха. Т.е. нужно избегать смешивания нагретого (отработанного) и охлажденного (подготовленного) потоков. На этом принципе, например, основаны “горячие-холодные” коридоры в ЦОДах.

По большому счету внутри помещения серверной возможны следующие более-менее адекватные схемы расположения внутренних блоков кондиционеров:

  • настенные (самый простой вариант) – напротив фронтальных панелей серверных шкафов или стоек. Подготовленный воздух подается к ИТ-оборудованию. Минус данного решения – нагретый воздух поступает на вход кондиционера (сверху перфорированная решетка) фактически благодаря только конвекции. При небольшом расстоянии сзади шкафов или невысоких потолках могут образовываться точки локального перегрева на блоках питания оборудования (задние панели);
  • настенно-потолочные – блоки размещаются на потолке “сзади” стоек и выбрасывают охлажденный воздух к зоне перед шкафами. У данной схемы есть небольшие недостатки: сзади шкафов должно быть достаточно места, нужно продумать схему размещения осветительных приборов;
  • канальные – блоки размещаются над серверными шкафами. Отличный вариант (почти как внутрирядный кондиционер), но с большим минусом – нужно предусматривать защиту от конденсата при поломке кондиционера, например, из жести – но выглядит это “колхозно”.
Slider

В случае применения потолочных и настенно-потолочных моделей размещать под ними оборудование крайне не рекомендуется (из-за возможных протечек).

Использовать кассетные кондиционеры в серверной на мой взгляд бессмысленно, так как не понятно как организовать воздухообмен.

Также старайтесь избегать наличия препятствий на пути выхода холодного воздуха из кондиционера. Если этим пренебречь, то часть холодного воздуха может “отразиться” от препятствия и попасть на вход кондиционера. Тот подумает, что воздух достаточно охлажден и выключится. Нюанс в том, что автоматика защищает компрессор от частых включений/отключений и в рассмотренном случае система может работать непредсказуемо.

Мощность кондиционера

После сбора исходных данных и поиска подрядчика необходимо проанализировать коммерческие предложения от компаний.

Основной характеристикой кондиционера является мощность охлаждения. Вот только 7- и 9- цифры из области маркетинга, на которые можно ориентироваться весьма условно.

Наиболее точные цифры приводятся в технических руководствах к оборудованию (не путать с маркетинговыми брошюрками и руководствами пользователя, где написано на какие кнопки пульта нажимать). Неподготовленного человека приводимые там данные по мощности могут немного напугать своим видом. Однако не все так сложно, попробуем разобраться с этим.

Нужно понимать, что мощность охлаждения кондиционера это не какая-то фиксированная величина (как в электрике), а параметр зависящий от множества факторов, среди которых выделим:

  • температура внутри помещения (на входе в кондиционер);
  • относительная влажность воздуха в помещении;
  • температура снаружи помещения;
  • относительная влажность воздуха снаружи помещения.

В технической документации используются понятия температуры:

  • сухого термометра (dry-bulb, DB, D.B.) – показания температуры, которыми все обычно пользуются;
  • увлажненного/влажного термометра (wet-bulb, WB, W.B) – показания термометра, который обернут влажной тряпочкой. Например, данный термометр можно встретить в составе психрометра, которые располагаются в продуктовых магазинах. По его показаниям можно вычислить относительную влажность воздуха (по табличке на нем, показания WB ниже чем DB).

При рассмотрении мощности рассматривают общую (total) холодопроизводительность и ощутимую/явную (sensible). Общая холодопроизводительность всегда больше явной, так как является суммой холодопроизводительностей: явной (охлаждение воздуха) и той, которая затрачивается на конденсацию влаги (осушение) из циркулирующего внутри помещения воздуха. Для охлаждения серверного оборудования нас конечно же интересует только явная холодопроизводительность, а вот маркетологи оперируют в основной полной!

Обладая этими “супер”-знаниями мы теперь с легкостью прочитать все таблицы мощности на кондиционеры.

В таблицах для внутреннего блока “температура в помещении” – это температура на входе в кондиционер.

В случае серверной под температурой в помещении обычно понимается температура на входе в оборудование (19-24 °С). Почувствовали разницу? Для подбора нужна температура на выходе из сервера!

Для типовых 1U/2U-серверов эта разница где-то 10 °С, для блейдов может быть выше.

Приведу грубый расчет на примере 1U сервера Dell R410, который оснащен 500Вт блоком питания и 6 сдвоенными вентиляторами:

  • воздушный поток с одного сдвоенного вентилятора 22CFM, что примерно равно 37 м3/ч;
  • всего их там 6 штук – итого 220м3/ч. Сделаем скидку в 30% от воздушного потока из-за “препятствий” внутри сервера – остается 150м3/ч;
  • электрическая мощность сервера в полной набивке будет около 400Вт (она же и выделяемая тепловая);
  • подставляем данные в волшебную формулу расчета для нагрева в системах вентиляции Q = L*(t1-t2)/3 (где Q – мощность нагревателя, L – расход воздуха), получаем разницу температур в 8 °C.

В расчете конечно много допущений, но порядок цифр сохранен.

Также нужно понимать, что целиком разграничить холодный и горячий потоки в области работы кондиционера скорее всего не выйдет. Будет небольшой “подмес”, в результате которого на вход кондиционера “прилетит” уже не 33 (23+10), а где-то 29-31 °С. Разница температур (у обычных, неинверторных кондиционеров) около 12 °С, но по причине подмеса получим не 18 °С, а 21-23 °С. Как можно видеть приходится “оперировать” весьма примерными цифрами (нужно немного привыкнуть).

Переходим к практике проверки подбора кондиционера. Примем что настойки подаем 23 °С, на входе в кондиционер будет 31 °С (т.е. сзади стоек весьма тепло), а на улице – 35 °С (т.е. солнечный денек).

Для примера рассмотрю Mitsubishi Heavy Industries FDE40VG/SRC40ZMX-S c заявленной мощностью охлаждения 4 кВт. В техническом описании нахожу табличку с мощностью и “пробиваю” в ней параметры:

Ну вот, уже лишились 0,45 кВт! Смотрим инструкцию далее и видим, что нужно учитывать еще такие факторы:

  • расстояние между наружным и внутренним блоками. Если наружный блок находится на расстоянии 25-30 м, то это еще потери 5-6%;
  • перепад высот. При перепаде 5-10м – минус 1-2%.

Итого: 3,55 х 0,94 х 0,98 = 3,3 кВт вместо 4 кВт. Вот как-то так :/

Не выставляйте на кондиционерах “максимальный холод” – рискуете получить во влажную погоду высокую влажность на корпусах оборудования (элементы которые будут достаточно охлаждены, чтобы на них начала конденсировать вода – выпадать роса). 21-23 °С на входе в сервера вполне для них комфортные условия.

Резервирование системы

Кондиционер устройство механическое, а значит имеет далеко не нулевой шанс выйти из строя. Поэтому обычно предусматривается его резервирование на уровне +1 машина (так называемый уровень резервирования N+1, где “N” от англ. Necessary, “необходимо”).

Стоит отметить, что использовать VRF/VRV (мультисплит системы – когда к одному наружному блоку подключается несколько внутренних) не стоит. Это не резервирование, так как самые уязвимые части – компрессор и силовая электроника находятся в наружном блоке.

Нужно понимать, что резервирование кондиционеров не пассивное – когда один из блоков все время выключен и включается, когда сломается “основной” кондиционер. Нет – блоки должны работать попеременно, это не только позволит обеспечить более равномерный износ оборудования, но и минимизирует риск, что “резервный” блок не запустится (что может случиться при длительном простое, например, из-за обмерзания). Это одна из причин, чтобы кондиционеры были идентичными.

Если у нас не прецизионные кондиционеры, то как правило, они ничего не знают друг от друге – получается включаются/отключаются когда хотят – это не позволяет сделать резервирование нормальным. Тут на помощь приходят блоки ротации кондиционеров (максимально что я встречал – на 4 кондиционера, но такие редкость – обычно на 2-3). Как правило, это оборудование “наших” конструкторов и работают просто – рвут питание на внутреннем блоке кондиционера, который отправляют в резерв (у Mitsubishi Heavy есть заводской пульт, но всего на 2 кондиционера). Важный нюанс – при переключении в ротации кондиционеры должны работать одновременно некоторое время и только потом, отключать “резервную машину”. Этот нюанс нужно учитывать при расчете электрощита. Очевидно, что такая схема ротации не будет работать, если кондиционеры не обладают функцией восстановления работы после пропадания электричества.

Блоки ротации рекомендуется заказывать с внешним подключением к системе мониторинга (например, Modbus) и наличием одного резервного выхода (т.е. минимально на 3 кондиционера).

Работа в зимний период

Система кондиционирования в серверной должна работать круглосуточно-круглогодично. Зимы у нас в стране холодные, а кондиционеры по паспорту могут работать до -10С (в лучшем случае, да и то “на обогрев”). Поэтому их оснащают “низкотемпературным комплектом” (это не что-то уникальное – нагревательный элемент компрессора и регулятор скорости вращения вентиляторов). Есть нюанс – это оборудование обычно не штатное, соответственно – кто будет нести ответственность при поломке кондиционера после “доработки”? Сразу обговаривайте этот момент с поставщиком.

Электропитание

С подрядчиком сразу нужно обговорить, кто его делает и в каком объеме. Т.е. бывает, что кондиционерщики говорят: наша зона ответственности  межблочный кабель, а основной питающий кабель сами подаете. Подключать к ИБП при небольших мощностях не стоит – слишком дорого выйдет (ИБП нужно переразмеривать из-за пусковых токов + аккумуляторы). Также стоит обратить на требования к оболочке кабеля (HF или пойдет, например, ВВГнг-LS) -зависит от объекта. HF – дороже и толще, да и почти не гнется (монтажники его не любят за это и наровят подменить).  На кондиционеры лучше делать отдельный щиток, который запитывать через АВР – автоматический ввод резерва (если есть такая возможность). Важный нюанс: неинверторные кондиционеры имеют большие пусковые токи, чтобы избежать “выбивания” автоматов при пуске предусматривайте их с характеристикой D. Естественно каждому кондиционеру свой автоматический выключатель!

Дренаж

Как указывалось ранее на теплообменниках внутренних блоков конденсируется влага и ее куда-то нужно отводить. Если подрядчик пытается решить вопрос выводом дренажных вод на фасад, то это скорее всего халтурщик. Правильное решение – в систему канализации, через специальный сифон с гидрозатвором и разрывом струи. Использовать дренажные помпы не рекомендуется – механический элемент, который может выйти из строя и состояние которого тяжело диагностировать до поломки (про них обычно забывают до часа Х).

Контроль работ

При производстве работ нужно контролировать монтажников. Все элементы должны быть надежно закреплены, проходы через стены заделаны, трубы убраны в теплоизоляцию. Требуйте, чтобы подписывали на бирках – какая труба, для какого кондиционера (особенно при проходах через стены).

Перед заправкой фреоном смонтированной трассы необходимо сделать вакуумацию – хотя бы на день с составлением акта. Если все хорошо – попросите монтажную организацию продемонстрировать работу системы, включая ротацию. 1 год гарантии хорошо, но проверить сразу еще лучше!

Обязательно требуйте схемы подключения и прокладки – хоть от руки, но с указанием организации, подписью и датой! Это будет частью эксплуатационный документации и позволит быстрее решать вопросы при поломках.

Производители

Ассортимент большой. Из того что сталкивался:

  • Daikin, Mitsubishi – дорого/круто;
  • подешевле/нормально – Mitsubishi Heavy Industries (MHI);
  • относительно дешево/работать будет – Midea, Gree (крупные OEM производители кондиционеров из Китая).

Инверторные машины хороши, но необязательны – смотрите на бюджет (общий на всю систему, а не только на стоимость самих кондиционеров).

Техническое обслуживание

Не забывайте заключить договор на техническое обслуживание системы – периодическая проверка профессионалами позволит технике работать исправно. Если имеется возможность стоит периодически осматривать трассы на наличие масляных подтеков (это значит что система негерметична и нужно заказывать ремонт), а также состояние наружных блоков (не забиты ли листвой или наледью). Также тривиальный факт – соблюдайте в серверной чистоту, тогда фильтры в кондиционерах будут забиваться не сильно, а значит и падение мощности охлаждения из-за этого фактора будет небольшим.

Заключение

Надеюсь данная статья поможет сделать вам надежную систему кондиционирования в серверной. Систему вентиляции я в данной статье намеренно не затронул (если у вас небольшая серверная, то можно обойтись без нее).

Комментарии

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Вставить формулу как
Блок
Строка
Дополнительные настройки
Цвет формулы
Цвет текста
#333333
Используйте LaTeX для набора формулы
Предпросмотр
\({}\)
Формула не набрана
Вставить