Нашему ЦОДу в Новосибирске исполнилось полтора года. За это время в дата-центре выросла зона доступности облака DataLine для заказчиков из Сибири и Дальнего Востока, а также появились новые услуги. Сейчас в новосибирском облаке размещаются почтовые сервисы, облачные диски клиентов, объектные хранилища, сервисы DBaaS, Kubernetes, сервисы ИБ, DR-площадки и резервные копии.  В фоторепортаже из Новосибирска посмотрим, как работает дата-центр сегодня.   Факты про новосибирский дата-центр:  адрес: улица Менделеева, д. 1, 3 машзала на 300 стойко-мест суммарно, общая площадь 1 800 м², введенная мощность 3 МВт, средняя мощность на стойку 5,4 кВт, уровень Tier III Новосибирский ЦОД – самый восточный дата-центр «РТК-ЦОД». В стойках «Новосибирска» и в новосибирском облаке размещаются не только местные заказчики, но и клиенты из Барнаула, Кемерова, Красноярска, Владивостока – все, кому важно связать свой регион со столицей или мировыми площадками.    Связность новосибирского ЦОДа с Москвой обеспечивает MSK-IX – наша партнерская сеть обмена трафиком. MSK-IX организует пиринг с ЦОДами и другими крупными площадками в Москве, Санкт-Петербурге, Екатеринбурге, Казани, Владивостоке, Риге и других городах.  Тут мы уже рассказывали, как работает сетевая связность через MSK-IX и что она дает клиентам наших ЦОДов. При построении маршрутов между ЦОДами проектировщики сети ориентируются на кратчайшие пути прохождения телеком-магистралей: как правило, они идут по федеральным трассам, железнодорожным путям или траверсам и опорам энергетиков.     Новосибирский дата-центр расположился не в промзоне, а в жилом Калининском районе, так что доехать из Центра на автомобиле можно за 15 минут. На общественном транспорте добираемся так: От станции метро «Заельцовская» садимся на автобус, троллейбус или трамвай, едем 6 остановок до «Улицы 25 лет Октября» и дальше идем 740 метров до улицы Менделеева, дом 1. Из-за близкого соседства с жилыми домами было важно позаботиться о защите соседей от шума. Еще на этапе проектирования мы задали допустимый уровень звука в 60 ДБ и подобрали оборудование в соответствии с этими параметрами. Например, запланировали шумоподавление для дизель-генераторных установок. Сейчас это выглядит вот так:  Внутрь можно попасть по пропуску, для его оформления необходим паспорт. Посетителям за рулем также нужно указать номер авто. Если пропуск оформлен, на проходной откроют в любое время дня и ночи.   На всей территории ведется круглосуточное видеонаблюдение: Всего на территории оборудовано 106 видеокамер. Их трансляция собирается на видеостене в службе охраны, а видеозаписи отправляются в наше облако и хранятся там 1 месяц.  Так выглядит пост охраны на проходной. Здесь получаем наш пропуск: Турникет на входе оборудован системой контроля и управления доступом. Такими  считывателями оснащены все двери внутри здания. Пропуск понадобится для входа в любое служебное или офисное помещение. Права доступа зашиты в самой карточке: в некоторые внутренние помещения могут пройти только инженеры с соответствующим уровнем допуска.  Все стойки с ИТ-оборудованием размещаются в трех машинных залах на втором этаже. По традиции, в каждом региональном ЦОДе мы даем машзалам названия, связанные с городом. Новосибирские залы получили свои имена в честь мостов через Обь:  Димитровский,  Октябрьский,  Бугринский. Первые 2 зала одинаковые по площади, там по 98 стойко-мест. Третий вмещает уже 104 стойки – этот зал модернизировали под специальные пожелания заказчиков. Каждый зал находится в специальной гермозоне, которая обезопасит оборудование в случае пожара, наводнения или урагана. Стены гермозон не пропускают влагу и пыль, а также сдерживают распространение огня. Надежность защиты от воды проверяют до ввода в эксплуатацию: каждую гермозону проливают водой и убеждаются, что потоки стекают по специальным желобам в трубопровод снаружи.  В зале можно разместить стойки любого форм-фактора, а также организовать отдельный кейдж. Специалисты дизайн-центра DataLine помогают грамотно расположить оборудование в зале, например, поставить наряду со стандартными стойками более широкие и глубокие:  Все стойки ставим по принципу горячих и холодных коридоров. В холодном коридоре поддерживается температура 23–27 °С и влажность 30–70 %.  Собирать информацию о климате в зале помогают вот такие датчики температуры и влажности. По требованиям стандарта Tier III они установлены на высоте 1,5 метра от пола:  По желанию клиента мы можем модернизировать электроснабжение и охлаждение залов под более мощные стойки с трехфазным питанием:  Над коридорами между стойками установлены видеокамеры. Оборудование установлено так, что все двери просматриваются с двух сторон:  Также у клиентов есть техническая возможность установить свои видеокамеры и следить за порядком самостоятельно. Система энергоснабжения зарезервирована по схеме 2N: каждый ее элемент дублируется. В ЦОДе 4 собственные трансформаторные подстанции, каждая мощностью 1 600 кВА. От города к трансформаторам подходит два независимых ввода электропитания напряжением 10 кВ.  От трансформаторов электричество поступает на источники бесперебойного питания (ИБП), которые выравнивают напряжение и страхуют оборудование от перебоев в электропитании. Всего в дата-центре 18 вот таких ИБП:   К каждому из них подключены 44 аккумуляторные батареи (АКБ). Если городское питание пропадет, они обеспечат работу дата-центра в течение 12 минут.  Этого времени хватит для запуска дизель-генераторных установок (ДГУ): обычно они выходят в рабочий режим за 30 секунд. Всего в новосибирском ЦОДе 3 вот таких ДГУ: При стопроцентной нагрузке дизельный двигатель потребляет 340 литров топлива в час. Поэтому мы держим запасы в расходных баках ДГУ и в топливохранилище. Всего в запасах хранится 11 400 литров – такого количества хватит на 12 часов автономной работы дата-центра.  Для охлаждения оборудования в дата-центре используется схема с фреоновыми прецизионными кондиционерами.  В каждом машинном зале работает по 8 кондиционеров, 4 из них – с парогенератором. В выбранной схеме внутренние блоки кондиционеров забирают теплый воздух из горячего коридора в машинном зале. Внутри блока есть теплообменник, где воздух охлаждается, а нагретый фреон отправляется в обратную магистраль системы холодоснабжения, которая соединяется с внешними блоками на крыше. Вся система холодоснабжения зарезервирована по схеме N+1. Дата-центр оснащен системой газового и порошкового пожаротушения. Порошок используем только для тушения в топливохранилищах, где нет чувствительной электроники.  Для противопожарной защиты всех машинных залов и технологических помещений на 1 этаже оборудована станция пожаротушения с баллонами газа. Внутри них – хладон-227, это вещество безопасно для ИТ-оборудования в ЦОДе.   Всего в системе 10 направлений пожаротушения. Здесь тоже резервирование 2N: на каждое направление предусмотрен основной и резервный запас огнетушащего вещества – всего от 1 до 3 баллонов, в зависимости от объема помещения, которое необходимо потушить. От них газ расходится по таким желтым трубам: В каждом помещении трубы проходят под фальшполом и по потолку. Например, трубы в машинном зале заканчиваются таким специальным распылителем:   А вот такие трубы под фальшполом: Каждый зал оборудован дымовыми и комбинированными датчиками на потолке и под полом. Также в залах установлены пожарные сигнализации-извещатели: Датчики реагируют на основные признаки пожара: открытый огонь, задымление или появление мелкодисперсной смеси в воздухе. Во всех этих случаях сигналы от датчиков поступят в систему пожаротушения и автоматически приведут ее в предпусковую готовность.  Одновременно с этим дежурные инженеры в диспетчерской получат оповещение в системе мониторинга с указанием координат сработавшего датчика на схеме здания. Задача инженеров – проверить ситуацию и, если необходимо, подтвердить пуск газа по системе пожаротушения. Подтверждение нужно, чтобы убедиться в безопасности людей на месте срабатывания.     Централизованный автопуск газа предусмотрен по стандартам Tier III, но, помимо этого, около каждой двери есть кнопки для ручного пуска: В диспетчерскую поступает не только информация с противопожарных датчиков, но и все данные по инженерным системам: климатические условия в зале, состояние кабельных вводов, влажность, кондиционирование, ИБП, ДГУ, топливо. Дежурные обходят центр и проверяют состояние оборудования и ИТ-инфраструктуры каждые четыре часа. Для мониторинга облачных сервисов часть данных собирается на физическом уровне. Например, состояние сетевых портов проверяем с помощью отдельной сети out-of-band, о которой подробнее уже рассказывали тут. Для отслеживания статусов хостов виртуализации используются специальные «маячки», о работе с ними мы напишем отдельный пост. На уровнях выше смотрим на утилизацию ресурсов CPU, RAM, дисков и так далее. Эти данные доступны инженерам виртуализации как в Новосибирске, так и в Москве, в едином ситуационном центре.     В здании ЦОДа 2 независимых кабельных ввода. Через них в здание заходят оптические кабели нескольких операторов связи: «Ростелекома», MSK-IX, «Авантела», Orange Business, «Новотелекома», ТТК, «Кортэла». Под запросы клиентов мы можем продумывать индивидуальные сетевые схемы и модернизировать СКС. Например, для одного из проектов к нам в ЦОД приезжал подрядчик для разработки схемы с использованием меди и оптики. В итоге организовали вот такие патч-панели с красиво уложенной оптикой и медью: Слева от входа есть отдельная зона погрузки и разгрузки оборудования. За дверью находится просторная зона распаковки: зимой там можно оставить оборудование отогреваться.  Внутри есть грузовой лифт со всем необходимым для бережной перевозки серверов: В коридоре второго этажа для клиентов оборудовали специальные шкафы и ящики, например: здесь можно хранить инструменты: Мы внимательно относимся к охране труда и заботимся о безопасных условиях работы для наших инженеров. В помещении ГРЩ оборудован вот такой уголок со средствами индивидуальной защиты. Здесь же находится аптечка: Будем рады видеть вас в качестве гостей – реальных или виртуальных!