Рис. 1. Средние значения PUE ЦОД, данные за 2011 – 2014 годы.
Источник: результаты отраслевого исследования ЦОД 2014 года, Uptime Institute
Рост объемов больших данных и развитие Интернета вещей (IoT) в последние годы стали катализатором строительства новых ЦОД. Параллельно с этим обеспокоенность состоянием окружающей среды потребовала уделять больше внимания энергосбережению. Затраты на электроэнергию в общей стоимости владения ЦОД уступают только расходам на содержание персонала. В сторону центров обработки данных часто звучат упреки в недостаточной экологичности (см. ежегодные рейтинги, публикуемые Greenpeace). Но в реальности, например, на долю ЦОД в США приходится всего 2% общего энергопотребления, и это меньше среднемирового значения. Это демонстрирует, что операторы предпринимают различные меры по экономии энергии и снижению объема углеродных выбросов.
Во многих ЦОД, однако, еще не внедрена система оценочных показателей, а следовательно, не выработаны стандарты энергосбережения. Несмотря на то, что споры относительно целесообразности PUE продолжаются, это – до сих пор основной метод оценки эффективности инфраструктуры ЦОД, на который следует опираться при выработке и реализации «зеленых» стратегий.
«Зеленая» стратегия для ЦОД
Согласно статье "Characteristics of Low Carbon Data Centres" (Особенности ЦОД с низким уровнем углеродных выбросов), опубликованной на сайте Nature Climate Change, ключевыми факторами, определяющими объем выделяемых ЦОД парниковых газов, являются энергоэффективность и уровень углеродных выбросов ИТ-оборудования – серверов, устройств хранения данных, коммуникационных устройств и инфраструктуры (систем вентиляции и охлаждения, нагнетателей и распределителей питания). В этой статье приводятся рекомендации по совершенствованию энергопотребления, которые могут оказаться полезными в проектах «зеленых» ЦОД.
Ниже мы перечислим 7 главных стратегий, способных улучшить параметры энергопотребления и оптимизировать PUE.
Стратегия 1: регулярный контроль оборудования
Мировые ИТ-гиганты, такие как Facebook, Google и Apple, непрерывно исследуют пути совершенствования эффективности работы ЦОД. Их методы могут показаться чересчур масштабными, но мы в качестве первой стратегии предложим то, что под силу любой организации – регулярный контроль всего установленного оборудования.
Как правило, в ЦОД много ненужной аппаратуры. Можно обнаружить серверы, которые установлены в стойку, но реально не используются. Они занимают место в стойке, потребляют большое количество энергии и снижают PUE. Uptime Institute в 2013 году исследовал эту проблему и установил, что около половины респондентов не проводят систематических проверок и не отключают незадействованные серверы. Американская организация EPA также сообщает, что в большинстве ЦОД не реализованы процедуры эффективного мониторинга инфраструктуры и ИТ-оборудования для контроля за их энергопотреблением. В этом направлении еще многое предстоит сделать.
Например, в Barclays Bank в 2013 году было отключено 9124 сервера, не выполнявших никаких полезных задач, и это позволило снизить энергопотребление, уменьшить нагрузку на систему кондиционирования и освободить место в стойках. Вычислительные возможности возросли, а сумма в счетах за электроэнергию сократилась на 4,5 млн долларов. Таким образом, ограничение количества задействованных серверов – это явное преимущество.
Помимо ИТ-оборудования, регулярной проверки требуют и другие элементы инфраструктуры, например источники бесперебойного питания (ИБП). В настоящее время отрасль постепенно отказывается от моноблочных трансформаторных ИБП и широко внедряются модульные бестрансформаторные. При выборе ИБП, чтобы обеспечить энергосбережение в ЦОД, необходимо руководствоваться двумя условиями:
- Масштабируемость. Применение модульных ИБП позволяет наращивать количество модулей питания при расширении ЦОД. Когда оборудование в серверной только начинает монтироваться, установка модульных ИБП не требует крупных вложений средств, а сами устройства электропитания занимают минимально необходимый объем. Добавление новых ИБП по мере необходимости происходит безболезненно (рис. 2). От ИБП, кроме того, требуется поддержка параллельной работы нескольких устройств, чтобы обеспечить масштабируемость.
Рис. 2: Модульный ИБП с возможностью расширения
-
Высокий КПД при малых нагрузках. Для обеспечения надежности ИБП обычно включаются с резервированием по схеме N+X или на сдвоенной шине 2N. Это означает, что нагрузка обычно составляет 30…40 % от максимальной или даже меньше. Поэтому заявляемый производителем высокий КПД при полной нагрузке – еще не все, что требуется. В отчете 2013 года компании Gartner, занимающейся исследованиями рынка, говорится, что следует также обращать внимание на график зависимости КПД от нагрузки (см. рис. 3) при нагрузках от 20 до 100 %. Возьмем для примера модульный ИБП с выходной мощностью 200 кВА и повышенным КПД. Если принять во внимание перепады между нагрузкой ЦОД в дневное и ночное время, разница в потреблении между высокоэффективным и обычным ИБП может достигать 5 %.
Рис. 3. График КПД ИБП.
Пример: ИБП мощностью 200 кВА | Модульный ИБП с повышенным КПД | ||
Выходная мощность в дневное время, нагрузка 50% |
100 |
100 |
kW |
Разница в КПД |
0% |
4% | |
Потребляемая мощность |
100 |
104 |
kW |
Энергопотребление за день (14 часов) |
1,400 |
1,456 |
kWh |
Выходная мощность в ночное время, нагрузка 30% |
60 |
60 |
kW |
Разница в КПД |
0% |
7% | |
Потребляемая мощность |
60 |
64.2 |
kW |
Энергопотребление за ночь (10 часов) |
600 |
642 |
kWh |
Энергопотребление за сутки (день + ночь) |
2,000 |
2,098 |
kWh |
Энергопотребление за год (365 дней) |
730,000 |
765,770 |
kWh |
Энергопотребление за весь жизненный цикл (8 лет) |
5,840,000 |
6,126,160 |
kWh |
Затраты на весь жизненный цикл (из расчета 0.1 EUR/кВт*ч) |
584,000 |
612,616 |
EUR |
Энергосбережение за 8 лет |
286,160 |
kWh | |
Экономия средств за 8 лет |
28,616 |
EUR | |
Энергосбережение в процентах |
5% |
Стратегия 2: регулярные замеры PUE
Как уже упоминалось, PUE – это основной отраслевой стандарт количественной оценки энергоэффективности. В большинстве случаев им пользуются из-за простоты и практичности. Однако регулярные наблюдения за этим показателем ведутся далеко не везде. Выполняемые в случайном порядке замеры не способны дать точную картину энергопотребления, поэтому многие отраслевые эксперты призывают к регулярному мониторингу PUE для контроля его колебаний в зависимости от времени года и прочих факторов. В ключевых точках ЦОД необходима установка измерительных приборов, регистрирующих потребляемую мощность (в кВт и кВА) в реальном времени. Кроме того, для более достоверных расчетов следует замерять и расход энергии за определенный период времени (рис. 4).
Рис. 4. Панель мониторинга PUE.
Стратегия 3: обновление оборудования и применение высокопроизводительных серверов
Производительность серверов непосредственно влияет на показатель PUE и важна для его совершенствования. Однако для более точной оценки производительности следует также учесть ряд других факторов. Начнем с использования ресурсов центрального процессора. Для низкопроизводительных процессоров хорошим решением является применение технологий виртуализации; это значительно повышает производительность сервера и позволяет продолжать его использование. Кроме того, при оценке производительности необходимо учитывать нагрузку на каждую стойку и ее энергопотребление. Повысить плотность вычислений можно, применив блейд-серверы; в этом случае на каждую стойку приходится до 1024 процессорных ядер, а требования к охлаждению и питанию значительно снижены.
При закупке нового оборудования ИТ-администраторам не следует забывать о том, что на энергоэффективность ЦОД позитивно влияют консолидация и виртуализация физических серверов. Исследования выявили следующие преимущества консолидации серверов:
- ежегодная экономия до 560 долл. на каждый сервер;
- сокращение выделения тепла и затрат на кондиционирование;
- высвобождение пространства и расширение вычислительных возможностей.
Побочным эффектом виртуализации и применения блейд-серверов являются дополнительные требования по регулированию температуры в ЦОД. Эта проблема решается путем организации зон холодного и горячего воздуха, а также установкой межрядных кондиционеров (рис. 5).
Рис. 5. Зона холодного воздуха и технология межрядного кондиционирования в ЦОД с высокой плотностью мощности.
Стратегия 4: повышение эффективности охлаждения
По объему энергопотребления система охлаждения ЦОД уступает только ИТ-оборудованию. Поэтому, чтобы понять, как охлаждение воздействует на PUE и какие пути существуют для совершенствования, следует вести мониторинг энергопотребления и выполнять необходимые замеры.
Подход Google
Показатель PUE в центрах обработки данных Google составляет 1,12, и на это значение следует равняться всей отрасли. В недавнем отчете Android Emotions говорится, что новые продукты Google AI направлены на то, чтобы сделать PUE еще более низким. Представители Google поделились историей о том, что делают менеджеры и операторы их ЦОД для снижения PUE, опубликовав в блоге статью «Эффективность: как этого добиться». Были описаны три подхода к более эффективному охлаждению в ЦОД:
- Управление воздушными потоками. Хорошо организованные зоны горячего и холодного воздуха исключают смешивание воздуха разных температур, что делает систему охлаждения более эффективной. Для ликвидации зон температурного максимума следует установить в нужных позициях термодатчики, данные с которых обрабатываются в компьютерной системе. По данным EPA, эффективная организация зон горячего и холодного воздуха способна снизить энергопотребление системы вентиляции на 25 %, а системы кондиционирования – на 20 %.
Рис. 6. Зона горячего воздуха.
- Повышение температуры воздуха. Google развенчал миф о том, что в ЦОД следует поддерживать температуру 20°C и на деле доказал, что в зоне холодного воздуха может поддерживаться температура 27°C. Такое повышение температуры, позволяющее ограничить продолжительность работы теплообменников и воздухоосушителей, эффективным образом сокращает энергопотребление.
- Естественное охлаждение. Кондиционеры в системах охлаждения потребляют значительный объем энергии. Если погодные условия позволяют, можно воспользоваться естественным охлаждением. Холодный воздух нагнетается в помещения ЦОД, а отработанный – выпускается наружу. Среди других элементов естественного охлаждения можно отметить испарители и тепловые аккумуляторы.
Стратегия 5: повышение температуры в ЦОД.
ИТ-администраторы долгое время с неодобрением относились к возможному повышению температуры воздуха в ЦОД, однако в настоящее время организация ASHRAE рекомендует держать ее в более широких пределах, чем практиковалось ранее – а именно от 18℃ до 27℃. ASHRAE также расширила допустимый диапазон относительной влажности. Эти изменения призваны сократить расходы ЦОД на охлаждение и позволят шире использовать возможности естественного охлаждения.
Слишком низкая температура воздуха – источник роста эксплуатационных расходов из-за более высоких затрат на охлаждение; PUE при этом также ухудшается. По данным Intel, повышение температуры в ЦОД всего лишь на 1℃ сокращает затраты на охлаждение примерно на 4 %. В рамках данной стратегии разработан ряд высокотемпературных энергосберегающих систем, например:
Высокотемпературный энергосберегающий сервер
«Высокотемпературный» здесь означает, что сервер способен надежно работать, не нуждаясь в принудительном охлаждении, в диапазоне температур от 5℃. Поскольку сервер выдерживает более высокие температуры, его потребности в охлаждении снижены. От серверов прежнего поколения его также отличает пониженное энергопотребление, удобство монтажа и пуска в эксплуатацию. Применение таких решений является серьезным вкладом в энергосбережение ЦОД.
Высокотемпературная система водяного охлаждения.
Большинство теплоты, выделяемой в ЦОД, – это явное тепло, и лишь небольшая ее доля приходится на скрытое тепло. Это означает, что потребность в воздухоосушении крайне мала. Традиционно в систему охлаждения подавалась вода при температуре 7℃, однако ее можно без препятствий увеличить. Это повышает эффективность охлаждения, увеличивает энергоэффективность и позволяет добиться экономии энергии на кондиционировании.
Стратегия 6: введение системы DCIM
Система управления инфраструктурой центра обработки данных (DCIM) помогает руководителям и операторам более эффективно контролировать весь процесс функционирования ЦОД. Рассматривая ЦОД с верхней точки, ИТ-администраторы получают возможность вести планирование, управлять работой и выявлять потенциальные риски, сокращая тем самым длительность простоев. Как мы уже отмечали, одной из часто встречающихся проблем является недостаточная загрузка отдельных серверов. DCIM повышает эффективность, позволяя администраторам определять, какие из серверов не выполняют полезных задач, и либо отключать, либо нагружать их. Кроме того, система с высокой точностью измеряет загрузку других устройств и определяет общее энергопотребление ЦОД.
Рис. 7. Видеостена и интерфейс управления стойками системы DCIM.
Стратегия 7: использование экологически чистых, возобновляемых источников энергии
На 100 % чистая энергия – это отдаленная мечта, но много организаций уже сейчас применяют гибридные стратегии, приближающие их к идеалу. Они комбинируют возобновляемые источники, выработку электроэнергии на месте и использование электросетей. ИТ-гиганты и здесь проявляют себя: Apple установила 55 тыс. солнечных панелей, eBay применяет топливные батареи в ЦОД Quicksilver (штат Юта, США), а Microsoft использует энергию ветра и Солнца. Малому и среднему бизнесу следует кооперироваться с местными поставщиками, чтобы иметь доступ к чистому электричеству и возобновляемой энергии. Одним из выгодных решений будет строительство новых ЦОД по соседству с предприятиями, вырабатывающими экологически чистую энергию.
Заключение
Инициатива по созданию «зеленых» центров обработки данных требует творческого подхода и не реализуется традиционными методами. В отрасли много примеров, когда такие ЦОД приносят реальные преимущества. Основой для измерения энергоэффективности является показатель PUE. ИТ-гиганты, такие как Google, Facebook, Apple и Microsoft, инвестируют в «зеленые» ЦОД многие миллионы. Разработан и рекомендован к использованию ряд технологических решений, помогающих руководителям и персоналу ЦОД снижать показатель PUE, приближая его к идеальному. Специалисты отрасли единодушны в том, что для повышения эффективности необходимы регулярные проверки всей ИТ-инфраструктуры. Даже небольшие предприятия могут воспользоваться инструментами измерения PUE и администрирования (например, системой DCIM) для выявления и корректировки ее малоэффективных участков. Снижение объемов углеродных выбросов и повышение нагрузки на отдельные серверы также способствуют уменьшению PUE и оптимизации окупаемости инвестиций.