В этой статье мы хотим рассказать нашим читателям, как в ЦОД обеспечивается бесперебойная работа оборудования с точки зрения резервирования источников питания. В качестве практического кейса в завершение статьи мы рассмотрим недавний инцидент казахстанских партнеров «ИТ-ГРАД» — ЦОДа Ahost — во время массового отключения электричества в Алматы.
Стандартизация ЦОД
На территории СНГ и Российской Федерации в частности пока что не существует единого стандарта, который позволял бы объективно оценить способность дата-центра обеспечивать определенные уровни сервиса. Большинство российских дата-центров ориентируются на американский стандарт TIA-942, содержащий основную массу рекомендаций по организации ЦОДов. Существующие стандарты TIA (к слову, не всегда подходящие под российские реалии) дополняются более современным BICSI 002 2010.
Дата-центры, к которым применяются эти стандарты, имеют дополнительную классификацию по совокупности параметров, таких как их размер, уровень надежности (Tier I-Tier IV) и предназначение. В части стандартизации ЦОД по энергоснабжению на территории РФ также нет единого ГОСТа, поэтому здесь целесообразно применять мировой опыт.
Как уже было сказано выше, выделяют четыре уровня надежности ЦОДов.
На первом уровне допускается до 28,8 часов суммарного простоя в год, на четвертом, самом высоком, где обеспечивается полное резервирование всех систем энергоснабжения, — уже не более 26 минут. Основные требования, предъявляемые к энергоснабжению, — это надежность, качество и непрерывность. В частности, дата-центр должен быть оснащен как минимум двумя полностью изолированными электросистемами.
Основные положения TIA-942 в части энергоснабжения:
- помещение для ввода кабелей в базовой топологии – может быть как одно, так и несколько;
- главный распределительный пункт (Main Distribution Area), где расположен центральный кросс кабельной системы ЦОД, маршрутизаторы, коммутаторы локальной сети и сети хранения данных. Там же могут размещаться и кроссы, предназначенные для коммутации горизонтальных кабелей. Для целей резервирования в ЦОД может быть организовано два и более MDA;
- пункт распределения горизонтальной подсистемы общей кабельной системы ЦОД (Horizontal Distribution Area);
- распределительный пункт зоны (Zone Distribution Area), наличие которого расширяет возможности по реконфигурации системы;
- область размещения компьютерного оборудования (Equipment Distribution Area).
Если суммировать всё сказанное выше, выходит, что результатом, которого необходимо достичь при реализации системы гарантированного электропитания, является обеспечение возможности функционирования ответственного оборудования в случае отказа основного ввода электропитания в течение времени, достаточного для переключения на резервные источники.
Как обеспечивается непрерывность энергоснабжения ЦОД
Теперь, когда ясны требования, предъявляемые к организации энергоснабжения, стоит перейти к непосредственному рассмотрению систем, обеспечивающих непрерывную подачу питания в ЦОД.
Источники бесперебойного питания
Начнем разговор с системы «первого фронта», которая активируется сразу же при потере основного источника питания, а именно с ИБП. Говорить о них в качестве полноценной замены основному питанию было бы неправильно: главная задача ИБП состоит в экстренной «подпитке» ЦОДа в течение короткого периода (в среднем — до 20 минут). До истечения этого времени должны подключиться более «долгоиграющие» источники или восстановлено основное питание. Помимо этого, в компетенции ИБП находится защита от помех и всплесков в электросети и поддержание основных параметров питания в рамках нормы.
Подключение PDU с двумя источниками питания
Подробный разбор каждого варианта организации СГЭ занял бы всё пространство этой статьи и был бы интересен лишь узкому кругу читателей, поэтому мы сознательно сократим объем «номенклатурной» информации.
Перед вами лишь краткий список требований, предъявляемых к ИБП в дата-центрах:
- Надежность с учетом времени на восстановление системы.
- Высокий коэффициент полезного действия при частичной нагрузке.
- Поддержка параллельной работы с наращиванием мощности и повышением уровня резервирования.
- Возможность масштабирования.
- Высокие коэффициенты мощности.
- Низкий коэффициент гармонических искажений входного тока.
По принципу работы ИБП можно разделить на два типа - статические и динамические.
Статические ИБП
В силовом модуле статического ИБП отсутствуют движущиеся детали, если не считать вспомогательных, например, вентиляторов. Как правило, они работают «в дуэте» с ДГУ, которые обеспечивают резервирование подачи электроэнергии в случае аварии. Статические ИБП состоят из самого источника и батареи, работа которой базируется на взаимодействии химических элементов. Именно принципом работы обусловлен ограниченный срок службы батареи статического ИБП. Замена АКБ, от которой не спасет даже своевременное проведение регламентных работ, оборачивается для владельцев ЦОДов внушительными инвестициями — стоимость батареи составляет почти 50% от стоимости статического ИБП.
Описанная выше «связка» является полноправным отраслевым стандартом для крупных ЦОДов. В частности, подобная система организована на нашей партнерской площадке в московском ЦОДе DataSpace. Остановимся на нем немного подробнее и изучим организацию СГЭ на живом примере.
- Энергоснабжение дата-центра обеспечено двумя подстанциями по 6 независимым входным линиям.
- В дата-центре установлены 6 независимых трансформаторов по 2 МВА, каждый из которых является точкой присоединения независимой электрической цепи в конфигурации «N+1», что обеспечивает необходимое резервирование.
- Для каждой из шести независимых электрических цепей предусмотрена отдельная автоматическая ДГУ по схеме «N+1» c резервуаром суточного запаса (6 баков объёмом 950 литров каждый), а также резервным запасом топлива, рассчитанного на 84 часа непрерывной работы ЦОД при полной нагрузке.
- Все оборудование прошло полное тестирование непосредственно на производстве в Германии до его установки в ЦОД DataSpace.
Отдельно стоит сказать пару слов об использовании литий-ионных аккумуляторов в источниках бесперебойного питания. Важно понимать, что это решение сопряжено с парой нюансов, и избежать стереотипа «Li-Ion равно пожар».
Если говорить о стоимости Li-Ion аккумуляторов, начальные расходы на них могут оказаться в 1,5 раза выше по сравнению с «традиционными» вариантами, но конечная стоимость владения окажется во столько же раз ниже.
Пожарная безопасность литий-ионных аккумуляторов также вызывает вопросы. В частности, для них все еще актуальны следующие риски:
- тепловой разгон из-за внешнего КЗ или внутренней неисправности;
- перезаряд;
- механическое повреждение (правда, этот риск можно не рассматривать, так как его вероятность ничтожно мала).
Тем не менее, эти риски успешно «закрываются» путем организации многоуровневой защиты от внештатных ситуаций.
Динамические ИБП
На рынке существует еще одно, пока что достаточно экзотическое для России решение, снимающее с владельцев дата-центров вопросы замены батарей в статических ИБП и связанных с этой необходимостью инвестиций, — динамические (дизель-роторные) ИБП. Современная архитектура динамических ИБП предполагает три основных элемента:
- маховик — ключевой элемент ДИБП, играющий роль накопителя энергии и вращающийся на точно выровненной оси;
- синхронная электрическая машина;
- дизельный двигатель.
Как вы могли бы заметить, аккумуляторные батареи отсутствуют как класс. В нормальном режиме работы электрическая машина работает в качестве электродвигателя, поддерживая вращение маховика и накапливая энергию на случай перебоев в питании. Когда внешнее энергоснабжение пропадает, маховик вращается и передает накопленную энергию электрической машине, а система управления подает сигнал на запуск дизельного двигателя, который начинает работать уже через 50 мс, а через несколько секунд выходит на штатный режим.
Стоит отметить, что принцип работы ДИБП относительно не нов и основывается на конструкции супермаховика, который еще в 1964 году изобрел советский инженер Н.В. Гулиа. Он представляет из себя барабан на оси, помещенный в вакуумный кожух. Вспомните обыкновенный гончарный круг: с помощью ручного усилия или ножной педали гончар сообщает кругу вращение, которое затем в течение достаточного времени позволяет работать с глиной, не отвлекаясь на «подкачку». Фактически круг аккумулирует энергию внешнего источника и затем отдает её по мере надобности. Вакуумный кожух в современных маховиках служит для снижения затрат энергии на трение. Принцип работы супермаховика довольно прост и эксплуатируется людьми достаточно давно, однако решения для дата-центров вендоры предложили совсем недавно.
Несмотря на то, что ДИБП все еще не получили широкого распространения в российских ЦОДах, они обладают уверенными преимуществами перед традиционными решениями:
- Срок службы ДИБП составляет не менее 25 лет, тогда как статические ИБП прослужат 10-15 лет.
- Решение не зависит от аккумуляторов, соответственно, исключены затраты на их замену каждые 3-5 лет.
- Более высокий КПД системы — 98% против 95%.
- Концепция более экологична, нет необходимости производить утилизацию батарей.
- Не требуется отдельное помещение под аккумуляторы, отпадает необходимость мощной системы кондиционирования и многое другое.
Дизель-генераторные установки
После того, как отключился основной ввод электропитания и в дело вступили ИБП, наступает время готовить к запуску (и запускать) дизель-генераторные установки, которые смогут сколь угодно долго поддерживать ЦОД в автономном режиме и обеспечивать бесперебойную работу клиентского оборудования. [caption id="attachment_5980" align="aligncenter" width="1053"]
Дизель-генераторная установка
Общие технические требования к дизельным генераторам для ЦОД:
- Генераторы должны выдавать такое количество синусоидального тока, которое необходимо системе ИБП или нагрузкам в машинном зале.
- Максимальное падение напряжения пускового тока, производимого ДГУ, не должно превышать 15%
- Генераторы должны обеспечить резервную мощность для всего кондиционерного оборудования, чтобы исключить возможность тепловых перегрузок и отключений.
- В условиях параллельной работы требуются генераторы, пригодные для ручной синхронизации (на случай, если устройство автоматической синхронизации даст сбой).
В первую очередь внимание стоит уделять мощности и типу резервируемой нагрузки. ДГУ должны облегчить работу сервисного персонала и свести человеческий фактор к минимуму. Важны доступность технической документации, наличие разрешительных документов, возможность удаленного мониторинга, реализация синхронизированных резервируемых систем, большая мощность одного агрегата (от 500 до 2000 кВа).
Кейс Ahost: как выдержать 2 часа blackout без перебоев
Если вам приходилось вплотную сталкиваться с организацией СГЭ на территории ЦОДа, вы наверняка не раз ловили себя на мысли: неужели всё это на самом деле пригодится и оправдает инвестиции?
Отвечаем: однозначно оправдает. Расхлебывать последствия аварии всегда сложнее и дороже, чем просто не допустить её. Никто не даст гарантии, что даже в городе-миллионере не произойдет глобальное отключение электричества.
Примерно это и произошло 15 июля 2019 года во время блэкаута в Алматы: в городе перестали работать светофоры, наступили перебои с мобильной связью. Если бы дело происходило ночью, астронавты с МКС наблюдали бы на месте города с двумя миллионами жителей большое черное пятно.
Коммутация вводов с разных подстанций
В дата-центре Ahost, согласно всем стандартам, было организовано два ввода электропитания от разных подстанций. Отключение одного из вводов не является чрезвычайной ситуацией, в этом случае дата-центр продолжает работу от функционирующего. Отключение обеих подстанций – исключительная редкость.
Если бы дело происходило в бизнес-центре или ТЦ, можно было бы какое-то время посидеть без света, а затем «перевести стрелки» на руководство города. Но в дата-центре такая ситуация невозможна. Отключение обоих вводов – это авария, последствия которой не должны отразиться на качестве предоставляемых услуг. Ahost спасли следующие меры:
- регулярные испытания ДГУ;
- регулярное регламентное обслуживание ДГУ;
- своевременная реакция на аварию;
- квалифицированный персонал.
Перебои с питанием от «города» продлились более 2-х часов. Все системы (от ИБП до запуска ДГУ) отработали штатно. В кратчайшие сроки, задолго до истечения хранившихся запасов была организована закупка топлива для ДГУ, питание серверной не прерывалось ни на секунду.
Система бесперебойного энергоснабжения — одна из систем, проектировать которые необходимо еще до того, как будет выбрано подходящее “примененное” здание или заложен фундамент нового ЦОДа. Стихийный подход может губительно сказаться как на отказоустойчивости, так и на репутации дата-центра среди потенциальных клиентов. Множество негативных blackout-кейсов, которые можно встретить в сети и СМИ, — тому пример.
Если вы только-только выбираете ЦОД, в котором будет размещено ваше оборудование, потратьте еще немного времени, чтобы убедиться в его надежности. Эти два-три дня, упущенные на старте, в будущем выиграют для вас годы спокойствия и уверенности.
Источник: HWP
