Иммерсионное охлаждение электроники

Взрывной рост Интернета, искусственного интеллекта, облачных сервисов и высокопроизводительных вычислительных систем привел к кардинальным изменениям не только в работе дата-центров (ЦОД), но и в самом качестве жизни. Но все имеет свою цену. Сегодня дата-центры потребляют колоссальное количество электроэнергии, в США оно доходит до 2% от общего объема энергопотребления страны. Энергия, расходуемая подсистемой охлаждения, может варьироваться от 2–6% до 60–70% от общего количества энергии ЦОДа. В день одному дата-центру требуется столько же электроэнергии, сколько и небольшому городу в 9 тыс. жителей. При этом основная часть электричества уходит на работу охлаждающих устройств и вентиляторов. Поэтому проблема эффективности отвода тепла в современном ЦОДе — вопрос построения максимально эффективной системы отвода тепла от массива серверов.

Иммерсионное охлаждение осуществляет теплоотвод методом непосредственного погружения печатных плат в непроводящую диэлектрическую жидкость. Тепло, выделяемое комплектующими, напрямую и эффективно передается жидкости, устраняя необходимость в активных компонентах охлаждения, таких как термоинтерфейсы, радиаторы и вентиляторы. Данная организация теплоотвода повышает эффективность расходуемых энергоресурсов и уплотняет размещение серверов в стойках. А «собранное» тепло можно использовать для последующих инноваций.

В США энергоэффективность государственных дата-центров регулируется указом президента от 2015 года, согласно которому PUE всех дата-центров должна составлять менее 1,5, а к 2025‑му новые дата-центры должны достичь уровня 1,2–1,4.

В 2014 году компания 3М получила бронзовую медаль Эдисона (награда, вручаемая институтом инженеров электротехники и электроники IEEE) за технологию двухфазного охлаждения посредством жидкостей Novec.

Основные типы иммерсионного охлаждения

Основными методами охлаждения электроники являются воздушное (преимущественно) и жидкостное.

Рис. 1. Преимущества двухфазного охлаждения перед воздушным

Сегодня большинство ЦОДов построено на воздушном или воздушно-водяном охлаждении. Сравнение с воздушным методом охлаждения приведено на рис. 1 и в таблице 1.

Сегодня для жидкостного охлаждения применяются различные вещества: вода, деионизированная вода, ингибированные гликоли (этиленгликоль и пропиленгликоль), диэлектрические жидкости. Принципиальное значение при выборе типа жидкости имеет вопрос ее совместимости со смачиваемыми материалами, что позволит избежать коррозии при долгосрочном использовании (табл. 2).

Вода является отличным решением для охлаждения, она имеет хорошую теплопроводность и совместима с медью. Для ее использования в системе охлаждения необходимо озаботиться дополнительными фильтрами или деионизаторами воды, поскольку примеси в водопроводной воде очень быстро приведут к образованию коррозии.

Для защиты от коррозии в воду добавляют фосфаты — эффективную антикоррозионную добавку для нержавеющей стали и большинства алюминиевых компонентов, а также обеспечивают pH-контроль. Их единственный недостаток — выпадение осадка вместе с кальцием.

Этиленгликоли широко распространены в автомобильной промышленности (антифриз), однако их нельзя использовать для охлаждения электроники, поскольку они содержат ингибиторы с силикатами, которые разрушают герметизирующие прокладки и способствуют гелеформированию. Сегодня этот тип охлаждения предназначен для оборудования пищевой промышленности.

По сравнению с водопроводной водой деионизированная вода служит хорошим изолятором, но отличается высокой резистивностью и коррозийностью, поэтому в нее добавляют антикоррозионные составляющие. Кроме того, трубки должны быть выполнены из сверхчистого материала, а любая арматура — иметь покрытие никелем.

Технические жидкости Novec обладают преимуществами перед другими диэлектрическими жидкостями, например минеральным маслом. Помимо того что жидкости 3М являются невоспламеняющимися и невзрывоопасными, они имеют необходимую точку кипения и термостабильность для построения двухфазной системы охлаждения. Обслуживание и ремонт оборудования не вызовет проблем — ведь погруженные в жидкость платы остаются чистыми и сухими (именно сухими, несмотря на то, что они погружены якобы в «жидкость»). Кроме того, масло вызывает множество проблем с очисткой как охлаждаемой аппаратуры, так и помещений, где оно расположено (в случае протечки).

Диэлектрические жидкости 3М совместимы с любыми материалами (табл. 3), в то время как масло плохо сочетается с пластиковыми кабелями и может оставлять осадок на компонентах. Также масло долго сохраняет тепло, что затрудняет быстрое и своевременное обслуживание оборудования.

В 1950‑е годы компания 3М выпустила первую фторсодержающую охлаждающую жидкость для военной авионики (Fluorinert). А 1970–1980‑е стали эрой расцвета материалов для прямого контактного охлаждения, благодаря чему появилась возможность развивать радарную технику, силовую электронику и суперкомпьютеры.

В 1996 году специалисты 3М создали новый тип жидкости для замены озоноразрушающих веществ (таких как CFC, HFC) — жидкости под торговой маркой Novec.

Жидкости Fluorinert

Жидкости Fluorinert относятся к классу полностью фторированных жидкостей, известных как перфторуглероды (PFC). Прозрачные, без цвета и запаха, невоспламеняемые жидкости имеют ряд особенностей, делающих их привлекательными для иммерсионного охлаждения печатных плат, и характеризуются отличными диэлектрическими свойствами, широким диапазоном точек кипения и хорошей совместимостью с различными материалами. На протяжении более 50 лет эти жидкости используются для решения сверхсложных и ответственных задач теплоотвода, например, в пассажирских экспрессах в Японии и в экспериментальном космическом модуле Kibo (Hope) на МКС. Также они широко распространены как практический материал для прямого охлаждения силовых конвертеров и в испытательных лабораториях.

Несмотря на то, что жидкости Fluorinert не разрушают озоновый слой, они имеют долгий срок жизни в атмосфере и высокий потенциал глобального потепления. По этой причине, как и все перфторуглероды, они должны применяться только в тех приложениях, где необходимы их уникальные свойства, причем особое внимание надо уделить контролю выбросов и их минимизации.

Жидкости Fluorinert (табл. 4) следует использовать только в закрытых резервуарах и системах, особые меры безопасности требуются для предотвращения попадания в глаза и на кожу. И хотя данная жидкость инертна, практика ее применения в суперкомпьютерах Cray‑2 показала, что в течение продолжительного срока эксплуатации она расщепляется и выделяет высокотоксичный перфторизобутан, для удаления которого понадобятся катализаторные очистители.

Практика употребления перфторуглеродных жидкостей была показана в научно-фантастическом фильме «Бездна» (1989), где насыщенная кислородом жидкость Fluorinert использовалась дайверами для погружения на большие глубины. Проводился эксперимент с крысами, которые дышали в банке с такой жидкостью, но сцена была вырезана из фильма как факт жестокого обращения с животными.

Жидкости Novec

Поскольку перфторуглероды (Fluorinert) имеют высокий потенциал глобального потепления, компания 3М разработала новый тип охлаждающей жидкости, который не наносит вреда окружающей среде (рис. 2).

Рис. 2. Сравнение формул жидкостей Fluorinert и Novec

Это жидкости Novec 7100 (табл. 5) на основе метокси-нонафторбутана (C₄F₉OCH₃). Жидкость Novec 7100 (C₄F₉OCH₃) состоит из двух неразделимых изомеров с практически идентичными свойствами. Это (CF₃)₂CFCF₂OCH₃ (CAS-номер 163702-08-7) и CF₃CF₂CF₂CF₂OCH₃ (CAS-номер 163702-07-6).

Жидкости Novec позволяют создавать двухфазные (2PIC) иммерсионные системы охлаждения с полуоткрытыми контейнерами (open bath immersion, OBI). Уже сегодня применение этих жидкостей в дата-центрах демонстрирует непревзойденные результаты, экономя до 95% электроэнергии и сокращая в 10 раз занимаемые оборудованием площади. Благодаря эффективному теплоотводу достигается хороший разгон процессора. Двухфазные системы не требуют охладителей, вентиляторов или герметичных корпусов.

Система однофазного охлаждения

Охлаждающие жидкости можно применять в одной из двух систем — однофазной или двухфазной. Различие между ними заключается в наличии или отсутствии фазового перехода, то есть перехода жидкости в пар. В однофазной системе (рис. 3) жидкость циркулирует посредством дополнительного насоса и не переходит в пар. Для таких систем выбирают жидкости с высокой точкой кипения (более +80 °C). Двухфазная система не требует насоса, использует фазовый переход и считается более эффективным методом охлаждения.

Рис. 3. Схема однофазного типа охлаждения без фазового перехода

Для правильного выбора охлаждающей жидкости необходимо учитывать рабочий температурный диапазон. К примеру, нужно охлаждать полупроводниковый тестер, его рабочая температура находится в диапазоне –40…+40 °С. Следовательно, можно предположить, что температура охлаждающей жидкости не поднимется выше +40 °С (она не должна закипать при данной температуре), в то время как в чиллере (охладителе) она может доходить до –50 °С. Таким образом, понадобится жидкость, способная работать в этом диапазоне (рис. 4). Здесь, в частности, подойдет FC‑72. Из характеристик следует, что при –50 °С вязкость ее составит 1,5 cСт — чуть выше, чем у воды при комнатной температуре. Поэтому жидкость будет достаточно легко поддаваться насосной перекачке без дополнительных затрат электроэнергии.

Рис. 4. Рекомендуемый диапазон температур для насосных однофазных систем

Однако применение FC‑72 может привести к лишним потерям жидкости. Поскольку система работает в широком температурном диапазоне, жидкость будет значительно расширяться и сжиматься (обычно 1% от объема на каждые 10 °С). Большинство расширительных резервуаров чиллеров вентилируется для подачи и очистки воздуха посредством расширительных отсеков. Воздух в этих резервуарах насыщается парами жидкости, а потому единственный путь уменьшить количество жидкости, переносимой воздухом за каждый термоцикл, — сократить давление пара в жидкости. Это можно сделать, выбрав жидкость с более высокой температурой кипения.

Рассмотрим жидкость FC‑84, у которой точка кипения составляет +80 °С, а при +40 °С давление пара у нее достигает только 40% от FC‑72. Хотя реальные потери испарений необходимо рассчитывать на основании отношения давления пара и температуры, применение FC‑84 позволит значительно сократить потери жидкости. Вязкость FC‑84 при –40 °С равна 3 сСт (рис. 5), следовательно, жидкость достаточно подвижна для насосной перекачки. Употребление жидкости с еще более высокой точкой кипения (FC‑77) сократит давление пара при +40 °С до 20% по отношению к FC‑72; вязкость FC‑77 равна 6,6 сСт, что также вполне допустимо для данного приложения.

Рис. 5. Зависимость вязкости от температуры жидкости

Несмотря на достаточно узкий диапазон рабочих температур, выбор фторсодержащих жидкостей Fluorinert или Novec для однофазного охлаждения обычно предусматривает компромисс между летучестью высокого порога температуры и теплопередачей, или эффективностью насосной подкачки, на нижнем пороге температуры.

Система двухфазного охлаждения

Двухфазная система охлаждения предполагает наличие резервуара, где размещены серверные платы, наполненного жидкостью Novec 7100 с температурой кипения +61 °C. Когда процессы излучают тепло, жидкость нагревается и закипает, горячий пар поднимается вверх к крышке резервуара. В верхней части резервуара размещается охлаждающий змеевик (с водным охлаждением), на котором пар конденсируется и снова превращается в жидкость. Таким образом, жидкость повторно возвращается в резервуар без помощи насосов (рис. 6). Подобная система позволяет экономить до 95% энергии с минимальными потерями жидкости.

Рис. 6. Механизм двухфазного охлаждения:
1 — пар конденсируется на крышке или катушке радиатора;
2 — жидкость стекает в резервуар;
3 — пар поднимается вверх;
4 — жидкость, нагретая от работы компонентов, переходит в пар

Печатные платы, предназначенные для охлаждения иммерсионным способом, не содержат радиаторов или охлаждающих площадок. Компоненты на них могут устанавливаться более плотно, а процессоры разгоняться быстрее (например, 500 Вт ASIC можно разогнать до 750 Вт).

Выбор жидкости для двухфазного охлаждения обычно основан на ее точке кипения. Для оборудования пайки струей горячего пара точку кипения жидкости выбирают так, чтобы ее уровень соответствовал точке эвтектики припоя. Для систем охлаждения электроники точка кипения жидкости должна поддерживать требуемый рабочий температурный режим компонентов.

Также следует учитывать температуру оконечного радиатора. В некоторых случаях жидкость FC‑72 используется не потому, что ее точка кипения +56 °С идеальна для работы электроники, а потому, что позволяет конденсатору выбрасывать тепло в окружающую среду без компрессора. Следует учитывать, что для поддержки кипения жидкостям Fluorinert и Novec нужны тепловые потоки более 2 Вт/см². Перегрев стенок обычно составляет 15–25 °С в процессе кипения, и критические тепловые потоки достигают 15–20 Вт/см² для кипящего резервуара. Более подробно построение системы двухфазного охлаждения рассмотрено во второй части статьи.

Экологичность и безопасность для обслуживающего персонала

Организация дата-центров с иммерсионным охлаждением не должна идти в ущерб безопасности рабочей среды для обслуживающего персонала. Все технические жидкости 3М (табл. 6) отвечают всем требованиям по безопасности, имеют низкую токсичность и не воспламеняются.

Снижение энергопотребления не только хорошо само по себе, но и позволяет улучшить нашу экологию. Уменьшение потребляемой энергии означает сокращение выработки электроэнергии, меньшее использование нефтепродуктов и сокращение выбросов в атмосферу. Меньшие площади дата-центров экономят строительные материалы и ресурсы на обслуживание. «Зеленый» дата-центр с жидкостями 3М обладает следующими преимуществами:

• благоприятный экологический профиль;
• низкий потенциал глобального потепления;
• нулевой потенциал разрушения озонового слоя Земли.

Примеры внедрения

Сегодня иммерсионное охлаждение посредством жидкостей 3М только выходит на российский рынок. Однако на мировом рынке компания уже имеет 50‑летнюю историю успеха. Эта технология сегодня находит применение в суперкомпьютерах Intel и SGI — ведущих игроков на рынке высокопроизводительных вычислений. В демонстрации технологии 3М используются чипы ES‑2600 Xeon Intel. Тестовые испытания серверов Intel показали энергоэффективность 1,02–1,03 PUE.

Приведем несколько примеров успешного внедрения.

Суперкомпьютер Suiren («водяная лилия»), разработанный японской компанией PEZY Computing и ExaScaler Inc. (рис. 7), использует однофазное охлаждение на основе жидкости 3М Fluorinert, что помогло ему войти в лист Green 500 самых высокопроизводительных компьютеров. Этот рейтинг ведется с 2007 года, в основе критерия производительности лежит число операций, выполненных за 1 Вт. В 2014 году они заняли второе место, достигнув производительности 4,95 Гфлопс/Вт, затратив на это 37,38 кВт.

Рис. 7. Суперкомпьютер Suiren, разработанный японской компанией PEZY Computing и ExaScaler Inc.

Прорыв в эффективности дата-центров был сделан компанией Allied Control (сегодня принадлежит BitFury Group), ведущим провайдером Blockchain-технологии. В 2014 году компания, уже имеющая опыт двух проектов по иммерсионному охлаждению, запустила самый крупный проект — масштабируемую систему 40+ МВт на 160 емкостей с плотностью мощности 250 кВт на емкость и эффективностью энергопотребления 1,02 PUE (отметим, что сегодня лучшими мировыми стандартами являются значения 1,5). Это будет самый мощный дата-центр с погружным охлаждением в мире. В качестве охлаждающей жидкости выбрана Novec 7100.

Примеры не ограничиваются лишь зарубежным опытом, в России уже несколько компаний успешно применяют охлаждающие жидкости 3М. В частности, с 2010 года интегратор и разработчик суперкомпьютерных решений компания РСК использует прямое жидкостное охлаждение в своей линейке оборудования для ЦОДов (рис. 8).

Рис. 8. Сравнение жидкостного охлаждения РСК с воздушным охлаждением.
Источник: собственные оценки РСК. Анализ проведен для ЦОД с высокопроизводительной системой

Технология, применяемая РСК, позволяет реализовать жидкостное охлаждение не только для стандартных серверных плат, процессоров и памяти, но и для дополнительных карт расширения, таких как ускорители или сопроцессоры, карты ввода/вывода и прочее. На основе технологии прямого жидкостного охлаждения РСК была создана архитектура высокоплотного размещения серверов в стойке с прямым жидкостным охлаждением всех серверов — «РСК Торнадо» (рис. 9), обеспечивающая плотность упаковки до 128 серверов в стойке размером 80x80x200 см. Такая архитектура позволяет отвести до 100 кВт тепловой энергии от одной стойки. Коэффициент эффективности использования энергии равен 1,06, то есть на охлаждение тратится не более 6% электроэнергии, потребляемой вычислителем. Суммарная экономия расходов на охлаждение составляет до 68% по сравнению с воздушной или воздушно-водяной системой охлаждения, у которых типичный коэффициент PUE равен 1,5–2.

Рис. 9. Узел «РСК Торнадо»

Другой пример отечественной разработки — суперкомпьютеры «СКИФ-Аврора ЮУрГУ», созданные компанией «РСКСКИФ» при участии института программных систем РАН.

Заключение

Суммируем основные преимущества построения ЦОДов и вычислительных центров на иммерсионном охлаждении:

• уменьшение энергопотребления, используемого для охлаждения серверов, возможность построения «зеленых» дата-центров;
• требуется лишь несколько подвижных элементов для обслуживания и ремонта;
• увеличение плотности размещения серверов, поскольку жидкость более эффективно отводит тепло;
• возможность максимального расходования ресурсов процессоров, так как температура поддерживается ниже термального предела;
• простота обслуживания, не требуется чистка и сушка;
• значительное сокращение шумового фона в серверных зонах;
• защита IT-оборудования от загрязнений окружающей среды, таких как пыль и сера.

Иммерсионное охлаждения диэлектрическими жидкостями 3М — это новый этап в развитии систем охлаждения не только вычислительных центров, но и силовой электроники и железнодорожного транспорта, о чем пойдет речь в следующих статьях.