Свой блог на Habrahabr мы начали с нашего первого и главного проекта — рассказали о том, как четыре года назад построили первую в мире бесплатную сеть Wi-Fi в подвижном составе московского метро. Получив первый опыт строительства транспортной сети Wi-Fi, наша команда реализовала проект еще раз, но уже для жителей Северной столицы. Архитектуру сети в петербургском метро мы сделали почти такой же, как и в Москве. Точно также подвижной состав в тоннелях едет в зоне сплошного радиопокрытия, создана внутрипоездная сеть и развернута стационарная инфраструктура. Однако при планировании и проектировании сети Петербурга мы:  применили антенны отечественной разработки и производства. Но обо всем по порядку. Когда мы занимались планированием сети в Москве, в мире не существовало применимой в наших условиях апробированной математической модели расчета распространения радиоволн в тоннелях. Радиопланирование делалось полуэмпирическим методом. Мы разработали собственный инструмент, который умеет рассчитывать оптимальную расстановку базовых станций в тоннелях и с его помощью провели радиопланирование сети в Санкт-Петербурге.  Совместно с нашим партнером ЗАО «РадиоГигабит» мы разработали математическую модель распространения радиосигнала в тоннелях в частотном диапазоне 3-6 ГГц (кстати, и в других диапазонах тоже). На базе модели написали расчетную программу, которая: Что именно мы сделали? В результате мы получили инструмент практического радиопланирования беспроводных сетей связи в метрополитенах, аналогов которому в мире не существует.  В свое время при планировании сети в Москве у нас были только приблизительные правила расстановки БС (максимальные и минимальные расстояния и т.д.), которыми мы пользовались. Мы проводили тесты в тоннелях для проверки сделанных предположений и на базе результатов вносили в эти правила некоторые корректировки. Теперь мы знаем (проведя исследование нашей сети в Москве с помощью нашего нового инструмента планирования), что многие принятые в начале проекта решения о расстановке, были не оптимальными. Сейчас мы бы поставили многие БС по-другому и в целом увеличили бы их количество примерно на 15%. Мы планируем поэтапно модернизировать сеть в Москве, оптимизируя радиопокрытие. В Санкт-Петербурге мы получили целевую оптимальную расстановку БС, позволившую нам фактически получить заданные целевые показатели скорости и качества сигнала в каналах связи сразу после запуска сети.  Планируя сеть в Петербурге, мы старались уменьшить количество активного оборудования, а также использовать только то оборудование, которое поддерживает удаленный мониторинг. Это помогло нам снизить эксплуатационные издержки. Мы отказались от использования в тоннелях и на узлах коммутации медиаконвертеров, которые преобразуют оптический сигнал в электрический и обратно. Вместо них перешли на полностью оптическое соединение, для чего потребовались базовые станции нового типа и более современные коммутаторы. Благодаря более тщательному проектированию, мы снизили количество активного оборудования за счет того, что теперь приходится по одному коммутатору на 2,5-3 станции. В Москве же стоит по паре коммутаторов на каждые две станции. Все эти изменения помогали нам экономить бюджет проекта, что также было одной из важных задач. Кроме того, была увеличена пропускная способность каналов между станционными коммутаторами и ядром. И если в Москве это два георезервированных канала по 1 Гбит/с, то в Петербурге пропускная способность каждого из них увеличена до 10 Гбит/с.  Улучшить качество сети помогли антенны, специально разработанные для нас зеленоградской компанией Delta Satellite. Благодаря им мы не только смогли существенно снизить расходы на антенные системы, но также добились улучшения характеристик радиотракта по сравнению с достигнутыми в Москве.  Также мы изменили внутрипоездную сеть: теперь все вагоны соединены между собой двумя зарезервированными каналами по 1 Гбит/с (в Москве, напомню, резервный канал имеет пропускную способность 100 Мбит/сек). В вагонах установлены более современные точки доступа Cisco AIR-CAP2702i с поддержкой стандарта 802.11ac и MIMO 3x4, способные обеспечить улучшенное качество сервиса для современных пользовательских устройств. Еще одно важнейшее изменение — использование нового радиооборудования связи «поезд-тоннель». За время, прошедшее с момента запуска сети в Москве, сменились поколения транспортного оборудования. Сейчас доступны устройства с гораздо лучшими характеристиками, чем четыре года назад. В проекте Петербургского метрополитена мы использовали оборудование компании Fluidmesh, разработанное в Италии. Как и в проекте в Москве, оборудование построено на базе Wi-Fi-чипов. Но если в Москве использованы чипсеты стандарта 802.11n, то в Петербурге — чипсеты нового стандарта 802.11ac, который поддерживает более широкие частотные полосы (а значит и скорости передачи данных). Кроме того, модифицированные антенные системы в Петербурге обеспечивают поддержку режима MIMO 2x2 лучше, чем антенные системы московской сети. За счет этого, а также за счет оптимального радиопланирования, максимальная пропускная способность канала “поезд-тоннель” выросла с 120 Мбит/с в Москве до 500 Мбит/с в Петербурге.  Если немного углубиться в технику, то нужно отметить, что связное оборудование, которое мы используем в Москве, значительно модифицирует стандартный уровень контроля доступа к среде (MAC-уровень), преобразуя TDD полудуплексный протокол Wi-Fi в синхронный TDM-протокол. Это ведет, среди прочего, к статическому разделению емкости между восходящим и нисходящим каналами связи на участке «состав-тоннель», и к необходимости организации временной синхронизации всех базовых станций сети с помощью отдельных аппаратных источников синхросигнала. Оборудование Fluidmesh также модифицирует протокол Wi-Fi для улучшения его характеристик при нашей модели использования. Не забываем, что стандартный Wi-Fi — это, в первую очередь, протокол для доступа множества абонентов к разделяемой сети, а не протокол для организации связи между небольшим количеством абонентов в движении (мобильный PmP транспорт). Но в технологии Fluidmesh сохраняется принцип динамического распределения емкости между нисходящим и восходящим каналами и не требуется временная синхронизация, что упрощает структуру сети и повышает эффективность использования емкости канала.  Еще одно важнейшее преимущество выбранного оборудования — это сетевая архитектура. Fluidmesh позволяет строить пакетную сеть по принципу mesh, организуя транспортный протокол с помощью MPLS-подобной маркировки пакетов. Такой подход упрощает настройку и управление, позволяет полностью избежать ряда специфичных для стандартного Ethernet проблем, которые проявляются в сетях с движущимися клиентами с роумингом (хендоверами), например, проблемы обновления таблиц MAC-адресов (MAC learning). За счет, в том числе, новой архитектуры, в Петербурге латентность (задержка) в сети в несколько раз меньше, чем в Москве, а уровень потерь пакетов при переходе состава между базовыми станциями очень низок (практически равен нулю). Новым для петербургской сети стала виртуализация части сетевых сервисов (ИТ-уровень полностью виртуализирован и в Москве с самого начала). Вместо выделенного контроллера точек доступа в головном вагоне мы использовали промышленные компьютеры и виртуальный контроллер. С точки зрения управления сетью Wi-Fi в подвижном составе ничего не изменилось, но появились другие возможности: Промышленный компьютер был взят с большим запасом вычислительной мощности и с возможностью апгрейда, что позволяет нам в дальнейшем наращивать количество сервисов и повышать качество услуг.  Мы взрослеем и учимся на своих ошибках, а также совершенствуем и расширяем свои компетенции. Наши решения становятся продуманнее и технологичнее, и мы уже можем с уверенностью сказать, что в рамках построения беспроводных сетей в сложных условиях для нас не найдется неосуществимых задач. Но связь, как таковая, уже давно не является сервисом самим по себе, а лишь выступает в роли транспорта для все более сложных как клиентских, так и технологических сервисов и разных других больших и не очень данных. Мы активно работаем в этом направлении. У нас уже есть ряд интересных решений, которые мы создали и которыми активно пользуемся, и в следующих постах мы о них расскажем. Посмотрите их здесь