G.5
Требования к электрооборудованию центров обработки данных (ЦОД).
Основной показатель работы ЦОД — отказоустойчивость.
Стандарт TIA-942 предполагает четыре уровня надёжности дата-центров:
Tier 1 (N) — отказы оборудования или проведение ремонтных работ приводят к остановке работы всего дата-центра; в дата-центре отсутствуют фальшполы, резервные источники электроснабжения и источники бесперебойного питания; инженерная инфраструктура не зарезервирована;
Tier 2 (N+1) — имеется небольшой уровень резервирования; в дата-центре имеются фальшполы и резервные источники электроснабжения, однако проведение ремонтных работ также вызывает остановку работы дата-центра;
Tier 3 (N+1) — имеется возможность проведения ремонтных работ (включая замену компонентов системы, добавление и удаление вышедшего из строя оборудования) без остановки работы дата-центра; инженерные системы однократно зарезервированы, имеется несколько каналов распределения электропитания и охлаждения, однако постоянно активен только один из них;
Tier 4 (2(N+1)) — имеется возможность проведения любых работ без остановки работы дата-центра; инженерные системы двукратно зарезервированы, то есть продублированы как основная, так и дополнительная системы (например, бесперебойное питание представлено двумя ИБП, работающими по схеме N+1).
Рассмотрим требования к электрооборудованию центров обработки данных:
G.5.1 Общие требования к электрооборудованию.
G.5.1.1 Ввод от энергосистемы общего пользования в электроустановку здания.
Промышленные потребители, совместно использующие внешние источники электропитания, не являются предпочтительными из-за переходных и гармонических помех, которые они часто наводят на питающие кабели. Подземные питающие линии предпочтительнее надземных (воздушных), это сводит к минимуму подверженность воздействию молний, деревьев, дорожно-транспортных происшествий и вандализма. Основное распределительное устройство должно быть спроектировано с возможностями наращивания, обслуживания и резервирования. Должно быть обеспечено наличие двух вводов - соединенных (main-tie-main) или изолированных параллельных. Шина распредустройства должна быть завышенного размера, поскольку после начала операций эта система будет наименее способной к расширению. Где это возможно, должна быть обеспечена взаимозаменяемость выключателей. Проект должен допускать выполнение техобслуживания и ремонта распредустройства, шины и/или выключателей. Система должна допускать гибкость переключений для обеспечения полной ремонтопригодности. На каждом уровне электрораспределительной системы должны быть установлены устройства подавления переходных помех (TVSS – Transient Voltage Surge Suppression) надлежащего номинала для подавления энергии вероятных переходных процессов.
G.5.1.2 Резервные генераторы.
Резервная система выработки электроэнергии является самым жизненно важным одиночным фактором устойчивости системы к внешним воздействиям и должна быть способна предоставить электроснабжение умеренного качества и устойчивости непосредственно вычислительному и телекоммуникационному оборудованию в случае отказа общедоступной сети.
Генераторы должны быть рассчитаны на подачу синусоидального тока, нужного системе ИБП или нагрузкам в машинном зале. Следует проанализировать требования к пуску электродвигателя, чтобы убедиться, что генератор способен подавать требуемые для пуска электродвигателя пусковые токи с максимальным падением напряжения 15% у электродвигателя. Если требования к генератору не установлены должным образом, то воздействие друг на друга ИБП и генератора может создавать проблемы; точные требования должны быть согласованы между поставщиками генератора и ИБП. Для выполнения этих требований имеется много разных решений, в том числе фильтры гармоник, компенсаторы реактивной мощности, генераторы со специальной обмоткой, пуск электродвигателя с задержкой времени, ступенчатое переключение и изменение мощности генератора. Если проектом предусмотрена установка генератора, то следует предусмотреть резервную мощность для всего кондиционерного оборудования, во избежание тепловых перегрузок и отключений. Генераторы, которые не обеспечивают поддержку механических систем, мало чем способствуют общей непрерывности выполнения операций. Генераторы, включённые на параллельную работу, должны быть пригодны для ручной синхронизации в случае отказа устройств автоматической синхронизации. Следует рассмотреть вопрос ручного обхода (байпаса) каждого генератора, с целью прямого питания индивидуальных нагрузок в случае отказа или ремонта распредустройства, переключающего генераторы на параллельную работу. На выходе каждого электрогенератора должно быть установлено устройство подавления переходных помех (TVSS),
Генераторы должны работать на дизельном топливе, а не на природном газе, это нужно для более быстрого запуска. В этом случае исключается зависимость от общедоступной системы газоснабжения и от запаса пропана на объекте. Следует рассмотреть вопрос о количестве хранимого на объекте дизельного топлива, запас которого может варьировать от 4-часового до 60-дневного. Для всех систем хранения топлива должна быть предусмотрена система дистанционного текущего контроля за топливом и аварийной сигнализации. Наиболее распространённым видом нарушения свойств дизельного топлива является размножение микробов, поэтому следует рассмотреть вопрос оперевозимых или постоянно установленных системах очистки топлива. В местах с «холодным» климатом следует уделить внимание обогреву или прокачиванию топливной системы, чтобы избежать загустевания дизельного топлива. При проектировании запаса топлива следует принять во внимание время реагирования поставщиков топлива во время экстренных ситуаций.
Необходимо соблюдать законы и правила, защищающие окружающую среду от шумового и прочего загрязнения. Вокруг генераторов должны быть предусмотрены светильники, питаемые от ИБП, инвертора аварийного освещения или индивидуальных аккумуляторов, это обеспечит освещение в случае отказа параллельно работающего генератора или сетевого электроснабжения. Кроме того, вблизи генератора должны быть предусмотрены электророзетки с питанием от ИБП.
Для любой системы генераторов 1 настоятельно рекомендуется иметь собственный нагрузочный реостат или возможность для подключения передвижных реостатов. В дополнение к индивидуальному тестированию компонентов, резервная генераторная система, системы ИБП и автоматические переключатели (с одного генератора на другой) следует тестировать вместе, как одну систему. Как минимум, эти тесты должны имитировать отказ общей электросети и восстановление нормального электроснабжения. Следует провести испытания с отказом отдельных компонентов резервных (дублирующих) систем, предназначенных для продолжения функционирования во время отказа какого-либо компонента. Эти системы следует тестировать под нагрузкой, с использованием нагрузочных реостатов. Дополнительно, после того как дата-центр начнёт работу, эти системы нужно периодически тестировать, чтобы убедиться, что они будут функционировать надлежащим образом.
Резервную генераторную систему можно использовать для аварийного освещения и других жизнесберегающих нагрузок в дополнение к нагрузкам дата-центра, если это разрешено местными властями. Национальный электрический код (NEC) требует, что- бы для обслуживания жизнесберегающих нагрузок были предусмотрены отдельная панель переключения нагрузки (АВР) и отдельная распределительная система. Система аварийного освещения с аккумуляторным питанием может оказаться дешевле, чем выделенный АВР и отдельная распределительная система.
Для облегчения технического обслуживания и ремонта NEC требует отключения/байпаса панели переключения нагрузки жизнесберегающих систем. Аналогично, автоматические переключатели нагрузки (АВР) с байпасным отключением должны быть предусмотрены для оборудования дата-центра. Автоматические переключатели можно также использовать для переключения нагрузок с питания от общей сети на генератор. Однако следует предусмотреть байпасное отключение этих переключателей в случае отказа переключателя во время работы.
См. стандарты IEEE 1100 и 446 в части рекомендаций по резервным генераторам.
G.5.1.3 Источники бесперебойного питания (ИБП).
Системы ИБП бывают статического, роторного (rotary) или гибридного типа и могут работать в режиме online, offline или line-interactive, с временем резервирования, достаточным для запуска резервного генератора без перерыва в подаче питания.
Статические системы ИБП в последние несколько лет использовались почти исключительно в США, и только эти системы описаны в тексте данного Приложения подробно; однако описанные концепции резервирования в общем применимы также и к роторным, и к гибридным системам. Системы ИБП могут состоять из отдельных модулей ИБП или из группы нескольких параллельно включённых модулей. Каждый модуль следует снабдить средствами индивидуального отключения без влияния на работоспособность системы или на резервирование. Система должна иметь возможность переходить автоматически и вручную на внутренний байпас и должна иметь внешние средства обхода (байпаса) системы и исключения перерыва питания в случае отказа или ремонта системы. Для каждого модуля могут быть предусмотрены индивидуальные системы аккумуляторов; с целью обеспечения дополнительной ёмкости или резервирования, для каждого модуля можно предусмотреть несколько «линеек» аккумуляторов. Возможно также обслуживание нескольких модулей ИБП от одной системы аккумуляторов, хотя это обычно не рекомендуется в связи с весьма низкой надёжностью такой системы.
При наличии генераторной системы главная функция системы ИБП состоит в том, что-бы «продержаться» во время отключения питания до тех пор, пока генераторы запустятся и примут нагрузку, или пока не возобновится питание от сети. Теоретически это означает требуемый запас ёмкости аккумуляторной батареи всего на несколько секунд. Однако на практике ёмкость батарей должна быть рассчитана минимум на период от 5 до 30 минут при полной нагрузке ИБП в связи 1 с непредсказуемостью выходных характеристик аккумуляторов, а также для того, чтобы иметь резервные «линейки» батарей или чтобы дать возможность в нормальном режиме выполнить полное отключение нагрузки в случае отказа генератора. Если генератор отсутствует, то должно быть предусмотрено достаточное число аккумуляторных батарей, как минимум, для такого временного периода, который требуется для надлежащего выключения оборудования машинного зала, а это обычно занимает от 30 минут до 8 часов. Для специальных инсталляций зачастую предписывается более значительная ёмкость батарей. Например, телефонные компании традиционно требуют запаса времени 4 часа в случае, если резервный генератор установлен, и 8 часов – если генераторы отсутствуют; телекоммуникационные компании и смежные объекты часто придерживаются таких же требований, как и телефонные компании.
Следует рассмотреть вопрос о системе мониторинга аккумуляторов, способной регистрировать и анализировать динамику напряжения отдельных элементов аккумуляторной батареи, импеданс или сопротивление. Многие модули ИБП обеспечивают базовый уровень текущего контроля за системой батарей в целом, и этого достаточно, если установлены резервированные модули с индивидуальными резервированными «линейками» аккумуляторных батарей. Однако системы текущего контроля аккумуляторных батарей, имеющиеся в ИБП, не в состоянии выявить отказ корпуса отдельной батареи, который может существенно повлиять на время автономной работы и надёжность системы. Автономная система текущего контроля батареи, способная следить за импедансом каждой отдельной батареи, а также предсказать и сигнализировать о приближающемся отказе батареи, гораздо подробнее извещает о фактическом её состоянии. Такие системы текущего контроля за батареей настоятельно рекомендуются для случаев, когда проектом предусмотрена одна нерезервированная система аккумуляторных батарей. Эти системы текущего контроля требуются также в случаях, когда желателен возможно более высокий уровень надёжности системы (уровень 4).
В некоторых случаях следует предусматривать отопление, вентиляцию и кондиционирование воздуха, текущий контроль за выделением водорода, устранение расплёскивания (электролита), фонтанчики для промывания глаз и защитные душевые установки. Существуют два основных вида аккумуляторных батарей, которые можно рассматривать: свинцово-кислотные аккумуляторы с клапанным регулированием (VRLA – valve33 regulated lead-acid), которые называют также герметичными или непроливаемыми, а также батарея с наливными элементами (flooded-cell battery. Батареи VRLA имеют меньшую опорную поверхность, чем наливные, так что их можно монтировать в шкафы или стойки, являются практически необслуживаемыми и обычно требуют меньшей вентиляции, чем наливные, поскольку они менее склонны к выделению водорода. Наливные батареи обычно требуют меньше затрат за весь жизненный цикл и имеют горазд0 больший ожидаемый срок службы, чем батареи VRLA, но требуют периодического обслуживания, занимают больше места, т.к. их нельзя поместить в шкафы, и обычно предъявляют дополнительные требования к содержанию кислоты и к вентиляции.
Типичные критерии проекта могут предписывать удельную мощность где-то в пределах
43 от 0,38 до 2,7 кВт на кв. метр (от 35 до 250 Вт на кв. фут). Выбор системы ИБП должен базироваться на номинальной мощности системы ИБП в кВт, которая соответствует критериям проекта, а они обычно превышаются из-за того, что мощность ИБП обычно номинируется в кВА. Это объясняется относительно низкими номинальными значениями коэффициента мощности модулей ИБП в сравнении с требованиями компьютерного оборудования: модули ИБП обычно имеют коэффициент мощности 80% или 90%, а со временное компьютерное оборудование обычно имеет коэффициент мощности 98% или выше. В дополнение к этому, должен быть предусмотрен запас не менее 20% для ИБП свыше требуемой удельной мощности для будущего развития и для того, чтобы быть уверенными в том, что номинал ИБП не будет превышен в периоды пиковой потребности. Для комнат с ИБП и аккумуляторных 1 следует предусмотреть установки прецизионного кондиционирования воздуха (PAC – Precision Air Conditioning). Срок службы батарей в большой степени зависит от температуры; отклонение температуры от нормы с повышением на градусов может сократить срок службы батареи на год и больше. Пониженные температуры могут вызвать снижение параметров батареи ниже её возможностей.
Резервированные системы ИБП могут иметь разные конфигурации. Назовём три основных: изолированное резервирование, параллельное резервирование и распределённое изолированное резервирование. Надёжность этих конфигураций тоже меняется, из них наиболее надёжной является распределённая изолированная конфигурация. Автономные системы ИБП не следует использовать в электрических линиях, уже поддерживаемых централизованным ИБП, если только автономные системы ИБП не связаны с централизованным ИБП и не конфигурированы для согласованной работы с ним. Автономные системы ИБП в электрических линиях, обслуживаемых централизованной системой ИБП, могут снизить, а не повысить безотказность, если они функционируют полностью независимо от этой централизованной системы ИБП.
Все системы ИБП, находящиеся в машинном зале, должны быть связаны с системой аварийного отключения нагрузки (EPO) машинного зала таким образом, чтобы эти системы ИБП не продолжали подавать питание, если система ЕРО активирована. Дополнительные сведения по проектированию систем ИБП представлены в стандарте 21 IEEE 1100.
G.5.1.4 Энергоснабжение компьютеров.
В любом дата-центре следует рассмотреть установку распределительных щитов питания (PDU) для распределения питания к критически важному электронному оборудованию, поскольку они объединяют функциональность нескольких устройств в одном корпусе, который часто меньше по размерам и более экономичен, чем установка нескольких отдельных панелей и трансформаторов. Если машинный зал разделён на несколько комнат (или пространств), каждая из которых поддерживается своей собственной системой аварийного отключения нагрузки (ЕРО), то каждая из них должна иметь свою собственную зону горизонтального распределения.
|
