Подбор системы кондиционирования для серверного помещения

Ко мне недавно обратились с просьбой подсказать по кондиционерам в небольшое серверное помещении и показали коммерческое предложение “поставщика”. То что я там увидел, вызвало у меня удивление: основной и резервный кондиционеры совершено разных моделей, нет блока ротации и т.п. Данная статья написана по итогам консультации и надеюсь поможет другим ИТ-специалистам, которые не сильно разбираются в инженерных системах, но вынуждены “по долгу службы” обращаться и контролировать вот таких “профессионалов”.

Статья содержит некоторые упрощения, которые на мой взгляд допустимы при создании несложных систем, и имеет целью описать комплекс вопросов, которые могут возникнуть при построении казалось бы простой системы.

Исходные данные

Прежде чем подбирать систему кондиционирования (а это именно система), нужно подготовить исходные данные – от их качества зачастую зависит итоговый результат.

Основное – это конечно же тепловыделение на оборудовании. Тут можно пойти двумя путями:

  • расчетный – аккуратно суммируем тепловыделение в Вт из паспортов на оборудовании. Тепловыделение может быть указано в BTU (British thermal unit) – достаточно разделить на 3,41, чтобы получить Вт;
  • эмпирический – как известно: вычислительное оборудование в большинстве случаев выделяет столько же тепла, сколько и потребляет электроэнергии. Так как оборудование в серверной запитано от ИБП (одного или нескольких), то можем подключиться к нему через информационный порт и посмотреть нагрузку в Вт (в логах выбираем максимальную нагрузку на каждый ИБП в один момент времени). Альтернативный вариант – взять токовые клещи и измерить проходящий ток по питающему серверную кабелю (делать с энергетиком). Однако данный подход плохо работает для оборудования с PoE, так как в этом случае основная тепловая мощность рассеивается на оконечных устройствах (потребителях), которые скорее всего находятся вне серверной.

Расчетный метод оценивает теплопритоки сверху, а эмпирический дает данные “копейка-в-копейку”.

Остается добавить мелочь:

  • от ИБП – смотрим табличку КПД в инструкции на ИБП. При нагрузке более половины – КПД обычно близок к 95%, остальные 5% уходит в тепло (5% от мощности подключенной нагрузки, а не от номинальной мощности на ИБП);
  • от освещения – если свет в помещении горит постоянно (например, аварийное освещение), то прибавляем мощность осветительных приборов (мощность ламп в помещении);
  • от персонала – 100Вт/человек (можно не учитывать, так как в серверной присутствие обычно непостоянное);
  • через ограждающие конструкции – если через стены поступление тепла невелико, то через один типовой оконный проем 1,4х1,8 м можно получить “прибавку” в 500 Вт (грубо 200Вт на кв. м остекления, точно смотрим СНиП 2.04.05-91);
  • от радиатора отопления – если он оказался в серверной в рабочем состоянии 🙂

После расчета теплопритоков добавляем мощность необходимую на развитие (20-30%). Не нужно закладывать 75-100% – в этом случае зачастую лучше добавить еще 1 кондиционер (потом, как потребуется).

Также встретил ошибку: Заказчик заложил большой кондиционер неинверторного типа с запасом более 75% “с заделом на будущее”. Можно сразу сказать, что работать нормально у него не получится, так как будет срабатывать защита от частного включения-выключения компрессора и он будет останавливаться с ошибкой. Чтобы сделать “задел” на будущее развитие закладывайте несколько кондиционеров меньшей мощности (от 3 шт., включая резервный блок) – лишнее можно временно отключить. Или рассмотрите вариант инверторных кондиционеров.

Далее переходим к менее очевидным вещам, которые помогут получить более адекватное коммерческое предложение :

  • место размещения наружных блоков. Важно обратить внимание на длину трассы (она должна быть по возможности с минимальным числом изгибов и короткая). Нужно понимать, что перепад высот между внутренним и наружным блоком является одной из характеристик кондиционера – не поленитесь и проверьте по инструкции предложенную поставщиком модель. К подбору места размещения нужно подходить продумано и учитывать такие факторы: удобство последующего технического обслуживания/ремонта, падения/образование наледи, повреждение автотранспортом (например, кузовом фуры, осуществляющей доставку). По возможности – где-нибудь в тени (особенно актуально для летнего периода).
  • трасса прохода фреонопроводов – сразу прикиньте как может примерно пройти трасса. Все-таки она имеет не слишком эстетичный вид и, как оговаривалось ранее, ограниченную длину. Если наружные блоки планируется размещать на кровле, то нужно обсудить со службой эксплуатации в том числе и вопрос выхода на кровлю (вертикальные проколы крайне нежелательны). Не забывайте – прокладывать трассы систем кондиционирования по лестничным клеткам не допускается!
  • точка подключения к системе канализации – кондиционер осушает воздух, а воду конденсирующуюся на внутреннем блоке куда-то нужно сливать. Выводить дренаж на фасад плохая практика, но любима монтажниками кондиционеров из-за простоты реализации. Сразу фиксируйте недопустимость таких решений.

Схема охлаждения оборудования

В данной статье не рассматриваются промышленные (прецизионные) кондиционеры – так как если вы их ставите, то можете позволить и полноценное проектирование системы. Также не затрагиваются “экзотические” решения типа кондиционеров внутри шкафов, так как подобные решения скорее проектные.

Необходимо понимать, что наилучшая производительность системы кондиционирования достигается подачей на вход кондиционера (где происходит забор воздуха) наиболее горячего воздуха. Т.е. нужно избегать смешивания нагретого (отработанного) и охлажденного (подготовленного) потоков. На этом принципе, например, основаны “горячие-холодные” коридоры в ЦОДах.

По большому счету внутри помещения серверной возможны следующие более-менее адекватные схемы расположения внутренних блоков кондиционеров:

  • настенные (самый простой вариант) – напротив фронтальных панелей серверных шкафов или стоек. Подготовленный воздух подается к ИТ-оборудованию. Минус данного решения – нагретый воздух поступает на вход кондиционера (сверху перфорированная решетка) фактически благодаря только конвекции. При небольшом расстоянии сзади шкафов или невысоких потолках могут образовываться точки локального перегрева на блоках питания оборудования (задние панели);
  • настенно-потолочные – блоки размещаются на потолке “сзади” стоек и выбрасывают охлажденный воздух к зоне перед шкафами. У данной схемы есть небольшие недостатки: сзади шкафов должно быть достаточно места, нужно продумать схему размещения осветительных приборов;
  • канальные – блоки размещаются над серверными шкафами. Отличный вариант (почти как внутрирядный кондиционер), но с большим минусом – нужно предусматривать защиту от конденсата при поломке кондиционера, например, из жести – но выглядит это “колхозно”. Нюанс – есть канальные кондиционеры у которых можно можно изменить схему забора нагретого воздуха на “снизу”. Хороший вариант, есть например, у Haier.
Slider

В случае применения потолочных и настенно-потолочных моделей размещать под ними оборудование крайне не рекомендуется (из-за возможных протечек).

Использовать кассетные кондиционеры в серверной на мой взгляд бессмысленно, так как не понятно как организовать воздухообмен.

Также старайтесь избегать наличия препятствий на пути выхода холодного воздуха из кондиционера. Если этим пренебречь, то часть холодного воздуха может “отразиться” от препятствия и попасть на вход кондиционера. Тот подумает, что воздух достаточно охлажден и выключится. Нюанс в том, что автоматика защищает компрессор от частых включений/отключений и в рассмотренном случае система может работать непредсказуемо.

Мощность кондиционера

После сбора исходных данных и поиска подрядчика необходимо проанализировать коммерческие предложения от компаний.

Основной характеристикой кондиционера является мощность охлаждения. Вот только 7- и 9- цифры из области маркетинга, на которые можно ориентироваться весьма условно.

Наиболее точные цифры приводятся в технических руководствах к оборудованию (не путать с маркетинговыми брошюрками и руководствами пользователя, где написано на какие кнопки пульта нажимать). Неподготовленного человека приводимые там данные по мощности могут немного напугать своим видом. Однако не все так сложно, попробуем разобраться с этим.

Нужно понимать, что мощность охлаждения кондиционера это не какая-то фиксированная величина (как в электрике), а параметр зависящий от множества факторов, среди которых выделим:

  • температура внутри помещения (на входе в кондиционер);
  • относительная влажность воздуха в помещении;
  • температура снаружи помещения;
  • относительная влажность воздуха снаружи помещения.

В технической документации используются понятия температуры:

  • сухого термометра (dry-bulb, DB, D.B.) – показания температуры, которыми все обычно пользуются;
  • увлажненного/влажного термометра (wet-bulb, WB, W.B) – показания термометра, который обернут влажной тряпочкой. Например, данный термометр можно встретить в составе психрометра, которые располагаются в продуктовых магазинах. По его показаниям можно вычислить относительную влажность воздуха (по табличке на нем, показания WB ниже чем DB).

При рассмотрении мощности рассматривают общую (total) холодопроизводительность и ощутимую/явную (sensible). Общая холодопроизводительность всегда больше явной, так как является суммой холодопроизводительностей: явной (охлаждение воздуха) и той, которая затрачивается на конденсацию влаги (осушение) из циркулирующего внутри помещения воздуха. Для охлаждения серверного оборудования нас конечно же интересует только явная холодопроизводительность, а вот маркетологи оперируют в основной полной (цифра же больше)! Иногда явную холодопроизводительность указывают через коэффициент SHR (Sensible Heat Ratio), который показывает ее отношение к полной холодопроизводительности (для бытовых кондиционеров – это может быть 0,65-0,75, а вот для прецизионных уже 0,9-0,95!).

Обладая этими “супер”-знаниями мы теперь с легкостью прочитать все таблицы мощности на кондиционеры.

В таблицах для внутреннего блока “температура в помещении” – это температура на входе в кондиционер.

В случае серверной под температурой в помещении обычно понимается температура на входе в оборудование (19-24 °С). Почувствовали разницу? Для подбора нужна температура на выходе из сервера!

Для типовых 1U/2U-серверов эта разница где-то 10 °С, для блейдов может быть выше.

Приведу грубый расчет на примере 1U сервера Dell R410, который оснащен 500Вт блоком питания и 6 сдвоенными вентиляторами:

  • воздушный поток с одного сдвоенного вентилятора 22CFM, что примерно равно 37 м3/ч;
  • всего их там 6 штук – итого 220м3/ч. Сделаем скидку в 30% от воздушного потока из-за “препятствий” внутри сервера – остается 150м3/ч;
  • электрическая мощность сервера в полной набивке будет около 400Вт (она же и выделяемая тепловая);
  • подставляем данные в волшебную формулу расчета для нагрева в системах вентиляции Q = L*(t1-t2)/3 (где Q – мощность нагревателя, L – расход воздуха), получаем разницу температур в 8 °C.

В расчете конечно много допущений, но порядок цифр сохранен.

Также нужно понимать, что целиком разграничить холодный и горячий потоки в области работы кондиционера скорее всего не выйдет. Будет небольшой “подмес”, в результате которого на вход кондиционера “прилетит” уже не 33 (23+10), а где-то 29-31 °С. Разница температур вход/выход (у обычных, неинверторных кондиционеров) около 12 °С, но по причине подмеса получим не 18 °С, а 21-23 °С. Как можно видеть приходится “оперировать” весьма примерными цифрами (нужно немного привыкнуть).

Переходим к практике проверки подбора кондиционера. Примем что на стойки подаем 23 °С, на входе в кондиционер будет 31 °С (т.е. сзади стоек весьма тепло), а на улице – 35 °С (солнечный денек).

Для примера рассмотрю Mitsubishi Heavy Industries FDE40VG/SRC40ZMX-S (первый попавшийся с технической инструкцией) c заявленной номинальной мощностью охлаждения 4 кВт (указано как: 1.1(Min.)-4.7(Max.) – так как кондиционер инверторный). В техническом описании нахожу табличку с мощностью (TC – Total cooling capacity/Общая холодопроизводительность, SHC – Sensible heat capacity/Явная холодопроизводительность, цифры в кВт) и “пробиваю” в ней параметры:

Ну вот, уже лишились 0,45 кВт! Смотрим инструкцию далее и видим, что нужно учитывать еще такие факторы:

  • расстояние между наружным и внутренним блоками. Если наружный блок находится на расстоянии 25-30 м, то это еще потери 5-6%;
  • перепад высот. При перепаде 5-10м – минус 1-2%.

Итого: 3,55 х 0,94 х 0,98 = 3,3 кВт вместо 4 кВт (чего говорить о максимальных 4,7 кВт…) . Вот как-то так :/

Не выставляйте на кондиционерах “максимальный холод” – рискуете получить во влажную погоду высокую влажность на корпусах оборудования (элементы которые будут достаточно охлаждены, чтобы на них начала конденсировать вода – выпадать роса). 21-23 °С на входе в сервера вполне для них комфортные условия.

Резервирование системы

Кондиционер устройство механическое, а значит имеет далеко не нулевой шанс выйти из строя. Поэтому обычно предусматривается его резервирование на уровне +1 машина (так называемый уровень резервирования N+1, где “N” от англ. Necessary, “необходимо”).

Стоит отметить, что использовать VRF/VRV (мультисплит системы – когда к одному наружному блоку подключается несколько внутренних) не стоит. Это не резервирование, так как самые уязвимые части – компрессор и силовая электроника находятся в общем наружном блоке.

Нужно понимать, что резервирование кондиционеров не пассивное – когда один из блоков все время выключен и включается, когда сломается “основной” кондиционер. Нет – блоки должны работать попеременно, это не только позволит обеспечить более равномерный износ оборудования, но и минимизирует риск, что “резервный” блок не запустится (что может случиться при длительном простое, например, из-за обмерзания). Это одна из причин, чтобы кондиционеры были идентичными.

Если у нас не прецизионные кондиционеры, то как правило, они ничего не знают друг от друге – получается включаются/отключаются когда хотят – это не позволяет сделать резервирование нормальным. Тут на помощь приходят блоки ротации кондиционеров (максимально что я встречал – на 4 кондиционера, но такие редкость – обычно на 2-3). Как правило, это оборудование “наших” конструкторов и работают просто – рвут питание на внутреннем блоке кондиционера, который отправляют в резерв (у Mitsubishi Heavy есть заводской пульт или у Haier плата ротации, но всего на 2 кондиционера). Важный нюанс – при переключении в ротации кондиционеры должны работать одновременно некоторое время и только потом, отключать “резервную машину”. Этот нюанс нужно учитывать при расчете электрощита. Очевидно, что такая схема ротации не будет работать, если кондиционеры не обладают функцией восстановления работы после пропадания электропитания.

Блоки ротации рекомендуется заказывать с внешним подключением к системе мониторинга (например, Modbus) и наличием одного резервного выхода (т.е. минимально на 3 кондиционера).

Работа в зимний период

Система кондиционирования в серверной должна работать круглосуточно-круглогодично. Зимы у нас в стране холодные, а кондиционеры по паспорту могут работать до -10С (в лучшем случае, да и то “на обогрев”). Поэтому их оснащают “низкотемпературным комплектом” (это не что-то уникальное – нагревательный элемент компрессора и регулятор скорости вращения вентиляторов). Есть нюанс: это оборудование обычно не штатное, соответственно – кто будет нести ответственность при поломке кондиционера после “доработки”? Сразу обговаривайте этот момент с поставщиком.

Электропитание

С подрядчиком сразу нужно обговорить, кто его делает и в каком объеме. Т.е. бывает, что кондиционерщики говорят: наша зона ответственности  межблочный кабель, а основной питающий кабель сами подаете. Подключать к ИБП при небольших мощностях не стоит – слишком дорого выйдет (ИБП нужно переразмеривать из-за пусковых токов + аккумуляторы). Также стоит обратить на требования к оболочке кабеля (HF или пойдет, например, ВВГнг-LS) – зависит от объекта. HF – дороже и толще, да и почти не гнется (монтажники его не любят за это и наровят подменить).  На кондиционеры лучше делать отдельный щиток, который запитывать через АВР – автоматический ввод резерва (если есть такая возможность). Важный нюанс: неинверторные кондиционеры имеют большие пусковые токи, чтобы избежать “выбивания” автоматов при пуске предусматривайте их с характеристикой D. Естественно каждому кондиционеру свой автоматический выключатель!

Также стоит обратить внимание на схему подключения кондиционеров. Оптимальный вариант, который упростит жизнь энергетику – это трехфазное подключение.

Дренаж

Как указывалось ранее на теплообменниках внутренних блоков конденсируется влага и ее куда-то нужно отводить. Если подрядчик пытается решить вопрос выводом дренажных вод на фасад, то это скорее всего халтурщик. Правильное решение – в систему канализации, через специальный сифон с гидрозатвором и разрывом струи. Использовать дренажные помпы не рекомендуется – механический элемент, который может выйти из строя и состояние которого тяжело диагностировать до поломки (про них обычно забывают до часа Х). Также необходимо с подрядчиками оговаривать сразу, что их зона ответственности – довести до канализационного стояка (некоторые считают дренажный водопровод системой канализации и пытаются спихнуть эти трубы на тех, кто монтирует канализацию).

Парочка небольших нюансов, на которые стоит можно обратить внимание, которые отражены в инструкциях практически к каждому кондиционеру, но их редко соблюдают:

  • подключение внутреннего блока к дренажной трубе должно осуществляться через вибровставку;
  • дренажные трубы должны быть в теплоизоляции.

Типовым решением для дренажного водопровода является использование полипропиленновых PP-RCT труб. Если есть возможность посмотрите насколько грамотно приварены элементы – заужение проходного диаметра в местах стыков должно быть минимальным.

При сдаче системы неплохо бы проверить систему на наличие протечек проливкой системы (с составлением акта).

Контроль работ

При производстве работ нужно контролировать монтажников. Все элементы должны быть надежно закреплены, проходы через стены заделаны, трубы убраны в теплоизоляцию. Требуйте, чтобы подписывали на бирках – какая труба, для какого кондиционера (особенно при проходах через стены).

Перед заправкой фреоном смонтированной трассы необходимо сделать вакуумацию – хотя бы на день с составлением акта. Если все хорошо – попросите монтажную организацию продемонстрировать работу системы, включая ротацию. 1 год гарантии хорошо, но проверить сразу еще лучше!

Обязательно требуйте схемы подключения и прокладки – хоть от руки, но с указанием организации, подписью и датой! Это будет частью эксплуатационный документации и позволит быстрее решать вопросы при поломках.

Производители

Ассортимент большой. Из того что сталкивался:

  • Daikin, Mitsubishi – дорого/круто;
  • подешевле/нормально – Mitsubishi Heavy Industries (MHI). Большой плюс MHI в интернете можно легко найти подробные технические мануалы;
  • относительно дешево/работать будет – Midea, Gree, Haier (крупные OEM производители кондиционеров из Китая). Но нужно быть готовыми, что “настоящие” мануалы, где есть все необходимые цифры, достать вряд ли получится. Насколько вольно производители из Китая обращаются с цифрами всем я думаю известно.

Инверторные машины хороши, но необязательны – смотрите на бюджет (общий на всю систему, а не только на стоимость самих кондиционеров).

Техническое обслуживание

Не забывайте заключить договор на техническое обслуживание системы – периодическая проверка профессионалами позволит технике работать исправно. Если имеется возможность: нужно периодически осматривать трассы на наличие масляных подтеков (это значит что система негерметична и нужно заказывать ремонт), а также состояние наружных блоков (не забиты ли листвой или наледью). Также тривиальный факт – соблюдайте в серверной чистоту, тогда фильтры в кондиционерах будут забиваться не сильно, а значит и падение мощности охлаждения из-за этого фактора будет небольшим.

Заключение

Надеюсь данная статья поможет сделать вам надежную систему кондиционирования в серверной. Систему вентиляции я в данной статье намеренно не затронул (если у вас небольшая серверная, то можно обойтись без нее).

Статья периодически дополняется по результатам общения с Заказчиками 🙂

Комментарии

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Вставить формулу как
Блок
Строка
Дополнительные настройки
Цвет формулы
Цвет текста
#333333
Используйте LaTeX для набора формулы
Предпросмотр
\({}\)
Формула не набрана
Вставить