Привет, Хабр! Обычно в блоге мы рассказываем, как в Mars удалось сделать что-то полезное и прорывное: внедрить технологию, опробовать методологию или прокачать инфраструктуру. Но мы ещё ни разу не показали, как в целом работает ИТ-служба, а именно — как один офис в Ступино управляет подразделениями компании во всем мире. Исправляемся и делимся опытом. Когда-то давно, 16 лет назад, IT-службы в нашей компании были разбросаны по разным локациям. В каждой стране, где находилось производство, работала своя служба, которая занималась и актуальными на местах задачами, и поддержкой глобальных решений. Из-за этого возникала проблема: когда что-то ломалось, в конкретной стране часто не было ресурсов, чтобы всё починить. Специалисты могли быть в отпуске, на больничном или просто не успевать придумать решение, потому что заканчивался рабочий день.    Поэтому мы перешли к модели централизованного управления. Идея состояла в том, чтобы собрать в одном месте специалистов, которые способны поддерживать бизнес-приложения и инфраструктуру по всему миру. В 2004 году началось создание хабов IT-поддержки —крупных офисов, в которых собраны экспертные IT-команды. Сейчас с фокусом на IT-поддержку в Mars работают три таких хаба: в Китае, в Бразилии и в России — в Ступино.     Принцип работы всех трёх хабов  —  follow the sun. Географическое положение центров продумано так, чтобы работать над крупными инцидентами и проблемами, которые нельзя отложить «на завтра», практически беспрерывно. Когда заканчивается рабочий день в хабе в России, в Бразилии он только начинается, и задачу принимают спецы из Бразилии. Это сильно влияет на скорость разрешения критических инцидентов и проблем для всего бизнеса Mars. До пандемии в Ступино все собирались в одном офисе — большом, с открытыми пространствами и переговорными комнатами. Уже тогда график работы был свободный, как и в любой современной IT-компании.    Сейчас все работают на удалёнке, причём перейти на такой режим смогли всего за месяц, потому что подготовились к нему заранее. Когда хаб в Китае первым перешёл на дистанционную работу, в других центрах сделали проверку. Она показала: решение, использовавшееся в компании для создания удалённых рабочих мест, может поддерживать одновременно около 6 000 соединений. Этого было мало. Поэтому всего за месяц нашли, настроили и запустили альтернативу — Zscaler Private Access (ZPA). Пришлось внедрять решение в авральном режиме, но мы успели. Когда ввели ограничения, у всех сотрудников компании не было проблем с доступом к внутренним ресурсам.    Всего в IT-хабе Ступино работает больше 200 IT-специалистов. Дальше мы подробнее расскажем, чем занимаются все эти люди.   Специалисты по поддержке бизнес-приложений — это большое количество сотрудников, занятых  сопровождением и поддержкой глобальных и региональных приложений. Всего их более 1 500. Их используют подразделения компании Mars на всех рынках, где присутствует компания.  Флагманами, то есть общими для всех рынков, являются: ERP-системы (SAP ECC,  Microsoft  Dynamics  Nav), BW-решения (SAP BW, Azure datalake); решения для поддержки warehouse (SAP EWM,  JDA warehouse management); Supply and demand planning (мы используем большой стек технологий JDA); облачные продукты Salesforce.    Пример глобального решения — это реализация ERP на основе SAP ECC системы. Она стандартизована, если с ней что-то случится, и американцы, и китайцы, и европейцы прекрасно знают, как она реализована, поэтому смогут посмотреть и починить её.   Есть ещё локальные приложения, которые существуют, например, только в Европе, Азиатско-Тихоокеанском или американском регионе. Для их поддержки выделены специальные команды. Обычно техническая экспертиза реализуется региональными поставщиками. Поэтому сотрудники Mars сфокусированы на развитии и контроле сервиса, а техническая часть передана на аутсорс.  Например, одна из систем, которая управляет созданием и печатью этикеток на палеты готовой продукции, находится на стороне внешнего подрядчика и используется только для Европы. При этом операционное управление этим процессом осуществляют сотрудники из Ступино.  Поддержка глобальных приложений также осуществляется внешними провайдерами. Так что наши сотрудники заняты вопросами повышения эффективности и автоматизации сервисов, а также реализацией continuous improvement программы вместе с бизнесом. Ещё в зоне их ответственности находятся инциденты и запросы изменений в рамках текущей операционной модели.  У нас также есть много команд, которые занимаются разработкой, внедрением и поддержкой инфраструктурных сервисов.    Platform team, команда платформы приложений. Они отвечают за сопровождение, разработку и поддержку баз данных и middleware для приложений там. Например, это SAP NetWeaver — по сути, прослойка между операционной системой и непосредственно бизнес-приложением.    Enterprise cloud. Это хостинг-команда, которая отвечает за дата-центры и серверы, а также операционные системы для серверов. У нас есть внутренний дата-центр, который расположен в США — так исторически сложилось. И есть внешний центр — облачное решение Microsoft Azure. Оба эти центра в ведении команды хостинга.   End User Services. Эта команда занимается операционными системами на персональных компьютерах сотрудников, доставкой и патчингом приложений на ПК, поддержкой различных решений Office 365 (Outlook, Teams, Sharepoint).  Команда поддержки сети. Занимается локальными и глобальными сетями, телефонией, файрволами, балансирами загрузки и работает с партнёром Orange.  Команда Business application interfaces. Зона их ответственности — передача данных на уровне бизнес-приложений (idocs) внутри компании и при взаимодействии с внешними партнёрами через  OpenText и различные API-решения. Команда локальной IT-поддержки. У нас много фабрик в разных странах, и за их работу «на местах» тоже отвечают люди. Они настраивают, чинят, объясняют пользователям,  как пользоваться IT-решениями, и помогают с внедрением новых сервисов.   Команда IТ-operations, включающая мониторинг центр, Service Desk и колл-центр. Эти команды ведут поддержку на четырёх языках: русском, английском, немецком и французском. К этой группе мы ещё относим мониторинг-центр, команду управления распределёнными задачами и центр управления резервными копиями. Для мониторинг-центра используются технологии Splunk, ServiceNow, для контроля устройств — HP OMi, для мониторинга сетей — SolarWinds, для распределённого управления задачами — IBM Workload Scheduler, а для резервных копий — CommVault. У команды Service Desk есть свой чат-бот на основе искусственного интеллекта, который обрабатывает запросы до того, как они переходят к аналитикам.    Команда развития сервисов и автоматизации.  Эта команда поддерживает и развивает нашу платформу управления IT — ServiceNow, а также все IT-процессы, которые мы используем в работе (ITIL). Например, сейчас более 70 % запросов, связанных с предоставлением текущих IT-услуг, выполняется автоматически. Кроме того, мы внедряем предиктивную аналитику, которая позволяет в автоматическом режиме отслеживать отклонения от трендов в работе и предсказывать возможные инциденты. Всё это забота команды автоматизации.   Бизнес-партнёры и проектные команды   Также у  нас есть команды бизнес-партнёров и проектные команды для работы совместно с Mars Россия. Их фокус — совместная разработка и реализация IT-стратегии для локального бизнеса Mars в России, а также внедрение IT-решений и приложений на рынках России и СНГ.   Сотрудники нужны во все IT-подразделения компании. Причём у нас есть позиции, на которые могут выйти даже джуниоры или стажёры. Это направление Service Desk. В нём сотрудники быстро развиваются и могут изучить какую-то специализацию, после чего переходят в другие отделы. А их место открывается для соискателей, у которых есть общее понимание работы и хороший английский.   Разговорный английский — это обязательное требование для всех наших сотрудников. Это связано и с тем, что приходится много работать с зарубежными подразделениями и вендорами.  Дмитрий Шевчук, IT-операционный директор Mars Россия: Всем, кто хочет прийти к нам в команду, помимо непосредственных функциональных знаний по основной специализации пригодятся общие знания IT-сервисной модели ITIL, принципов работы различных IT-архитектур и базовых сервисов, планирования и внедрения проектных активностей и разработок (Agile, Scrum, DevOps). Помимо функциональных знаний я бы отметил навыки и стремления, которые нужны людям для работы в Mars. Во-первых, конечно, умение работать в команде и строить партнёрские отношения с клиентами — в такой большой компании с такими крупными задачами нельзя без коммуникации.   Во-вторых — способности к использованию аналитики. Мы не принимаем никаких решений «просто так», каждое действие должно опираться на данные.  В-третьих — это гибкость и постоянное развитие. Мы практикуем новые подходы к работе, позволяющие нам делать работу быстрее и эффективнее, например  автоматизация, Lean, Machine learning, Agile, DevOps, Design Thinking. И развиваться, конечно, в первую очередь лучше через реальные задачи, заручившись помощью опытных коллег и подтянув теоретическую базу как на тренингах, так и самостоятельно, благо сейчас огромное количество тренинг-материалов по всем темам. Как видите, в Mars работы много. Если есть вопросы, задавайте — постараемся на все ответить.    IT operations