Web-странички, чаты, службы знакомств и файловые архивы, новостные сайты, не говоря уж о банковских сервисах и видеохостингах - все они находятся в каких-либо центрах обработки данных (ЦОД), подключенных к опорным магистралям провайдеров фиксированной и беспроводной связи по скоростным каналам связи. Именно в этих залах, которые закрывает 2-3 рубежа охраны и множество камер видеонаблюдения, при небольшой влажности и постоянной температуре в 11-12 градусов тепла хранятся дисковые массивы с миллиардами байт полезной информации. Заглянем в "телекоммуникационную крепость" "Акадо Телеком" - оператор как раз завершил строительство своего третьего ЦОД.
Центральное хранилище данных
Основа любого ЦОД - это главный зал, закрытый до полной герметичности: там постоянно работают кондиционеры и вентиляторы, поэтому внутри стоит равномерный гул работающей техники. Здесь в стойках можно встретить самые различные конфигурации: кто-то заполняет своей техникой все пространство, кто-то покупает только отдельные слоты. В одном таком помещении может "жить" несколько тысяч различных сайтов и информационных систем в самых разных доменных зонах. Причем, небольшие и средние хостинг-провайдеры вполне спокойно размещают так своих клиентов, если собственных мощностей им не хватает или они просто отсутствуют как класс.
Интересно, что все ЦОД разделяют по классам в соответствии со специальнвм стандартом TIA-942, который опубликован в 2005 году - это больше 150 страниц текста мелким шрифтом, где досконально, четко и лаконично описываются все требования к подобным сооружениям. Естественно, чем выше класс - тем больше надежность ЦОДа. Аналогия здесь прямая со "звездочками", которые присваиваются отелям - правда, пока только от 1 до 4 (у отелей есть 5 и даже 5 deluxe). Более подробно эту информацию можно увидеть в Таблице №1: при случае уточните у своего провайдера, где же именно "висит" ваш сервер или сайт.
Как показывает практика, большинство российских ЦОД можно отнести ко второму классу систем. И только крупные компании могут позволить себе создать ЦОД уровня 3 или 3+. Решения 4-го класса еще называют катастрофоустойчивыми, поскольку в них предусмотрено практически все, за исключением, быть может, прямого попадания авиабомбы.
В ЦОД "Комкора" 140 серверных шкафов для установки оборудования мощностью 15 кВт каждый, глубиной 1,2 м. Подключение к сети Интернет организовано на скорости 10 Гб/с.
Структурированная кабельная сеть в ЦОД разделена на три основных области: кабельную, горизонтальную и зонную разводки. СКС построена с использованием оборудования и комплектующих фирмы Panduit. Для медной разводки использованы кабели 6 категории. Для организации оптической СКС использованы одномодовый и многомодовый оптические кабели.
Кажется - небольшое помещение, несколько сотен квадратных метров, но только оптического кабеля здесь проложено 40 км. Еще 175 км - медного кабеля. Смонтировано 4 тыс. оптических портов и 2,2 тыс. медных портов. Кроме того, центр обработки данных подключен к собственной волоконно-оптической сети "Комкор" - крупнейшей мультисервисной сети московского региона.
Для сравнения, можно посмотреть на ЦОД рядом с Женевой - именно там размещена GRID-система Европейского центра ядерных исследований, где серверы, дисковые массивы и ПК объединены в единое телекоммуникационное пространство. Коммутаторы, поставляемые компанией HP, позволяют всем используемым в CERN процессорам обмениваться данными со скоростью 1 Гбит/с, а с основной магистралью сети GRID они связаны 10-Гбит/с каналами. На основной магистрали установлено 16 10-гигабитных маршрутизаторов производства Force10 Networks, которые связывают сеть CERN с другими участниками проекта.
ЦОД обеспечено полное резервирование всех инженерных и телекоммуникационных систем: электропитания, кондиционирования, СКС, активного сетевого оборудования. ЦОД - по схеме N+1, лаборатории и телекоммуникационного центра - по схеме 1+1. Управление и контроль за работой систем осуществляются автоматически. Комплекс оборудован системой аварийной остановки и противопожарной безопасности, включающей автоматическую газовую систему пожаротушения: использование именно такой системы исключает повреждение оборудования при ликвидации пожара.
Концентрация каналов доступа
Еще одной частью "цифровой крепости" компании "Комкор" является телекоммуникационный центр, где смонтировано 18 тыс. портов и организовано подключение ко всем крупнейшим российским операторам связи и международным интернет-провайдерам. Основа системы ЦОД - активное оборудование Cisco Systems: два коммутатора ядра, работающих с использованием технологии VSS, 14 коммутаторов доступа.
Кроме того, здесь же находится центр приема, кодирования и ввода спутниковых ТВ-сигналов в сеть цифрового кабельного телевидения (28 аналоговых, 160 цифровых и 24 радиоканалов).
Крупную сеть, ЦОД или телекоммуникационный центр нельзя оставить без присмотра - именно поэтому в "Комкоре" был организован Центр управления сетью. Основная задача Центра - оперативное управление и координация действий технических служб по эксплуатации сети, моментальное реагирование в случае возникновения чрезвычайных ситуаций. Сейчас центр только развивается, в итоге здесь, в двух залах, будет оборудовано до 80 рабочих мест, где будут принимать заявки от клиентов и всех компаний группы "Акадо". Первый зал - контроль работы ЦОД и сети передачи данных. Второй - контроль качества IPTV, именно для этого здесь создана видеостена: операторы видят ровно то же изображение, что и клиенты.
Техническое обеспечение
Мало ЦОД построить, необходимо обеспечить бесперебойную и стабильную работу оборудования, комфортное и безопасное хранение данных. Реализовать это возможно только за счет специальных инженерных систем
Основная из них - это система безопасности. Камеры открываются только магнитными картами для авторизованных сотрудников, клиенты могут монтировать и тестировать свое оборудование только в специальном "предбаннике", в ЦОД им доступа нет. А за всеми помещениями следят камеры безопасности - это полноценное IP-решение с записями всех передвижений персонала, которые хранятся несколько недель на случай нештатных ситуаций.
Для создания необходимых климатических условий реализована трехконтурная система холодоснабжения фреон-вода-фреон. Гидроаккумуляторы емкостью 30 тонн обеспечивают бесперебойное охлаждение в случае прекращения подачи электроэнергии до начала работы дизельных генераторов. Общая производительность системы - 2,7 МВт.
Энергообеспечение всего комплекса осуществляется от двух независимых линий высокого напряжения, 10 кВ каждая, через устройство включения резерва и четыре трансформаторных подстанции суммарной мощностью 5 МВт. При аварийном отключении электроэнергии через 30 секунд после прекращения основного электроснабжения начинают работу дизельные генераторы, способные обеспечить неограниченное по времени непрерывное автономное функционирование ЦОД. Общая мощность двух ДГУ - 3,5 МВт.
Для обеспечения безопасности создана подсистема аварийной остановки телекоммуникационных комплексов, систем холодо- и энергоснабжения. Система обеспечивает подачу управляющих сигналов на отключение вводно-распределительных устройств и распределительных щитов, а также на отключение источников бесперебойного питания и электропитающих установок постоянного тока. Степень обеспечения надежности электроснабжения относится к потребителям особой группы первой категории надежности.
На этом позвольте закончить. О любом центре обработки данных можно рассказать так много интересного, что потребовался бы цикл статей! Так что мы, без сомнения, еще вернемся к этой теме. А наша первая экскурсия в мир серверных шкафов, структурированных кабельных систем, систем охлаждения и питания закончена, надеемся вам было интересно.
http://www.3dnews.ru/editorial/data_center
ЦОД компании "Комкор" (видео-экскурсия).
Телекоммуникационный центр "Комкор"
ЦОД в CERN состоит из двух этажей - это несколько тысяч квадратных метров. На первом плане - двухпроцессорные рабочие станции на интеловском Xeon, чуть дальше - более продвинутые серверы Sun:
