Со стороны служба технической поддержки облачного провайдера выглядит очень просто: клиент оставляет обращение, например, по электронной почте, специалист берет его в работу и решает вопрос. На самом деле за каждым решенным инцидентом и обработанным запросом на обслуживание стоит целая команда высококвалифицированных специалистов, которые круглосуточно следят за системами, администрируют инфраструктуры и предотвращают внештатные ситуации. Меня зовут Дмитрий Семин, я руковожу службой сопровождения клиентов в ITGLOBAL.COM. В этом материале расскажу, как устроена наша служба, сколько обращений обычно поступает от клиентов и систем мониторинга и кто их обрабатывает. Обращения на техническую поддержку поступают к нам от различных систем, например, от систем мониторинга и клиентов. Системы мониторинга следят за состоянием инфраструктуры ITGLOBAL.COM и уведомляют о внештатных ситуациях. Поэтому мы заранее можем увидеть потенциальную проблему, пока клиент еще ее не обнаружил, и сбой негативно не повлиял на его инфраструктуру. Команда технической поддержки работает круглосуточно и за неделю обрабатывает 1300-1800 обращений, в сутки их количество составляет примерно 180-260 штук. Сюда входят обращения от клиентов и оповещения прочих систем, потому что все они обрабатываются по одному алгоритму: классифицируются, приоритезируются и получают различные статусы в процессе работы над ними. Количество обращений днем по московскому часовому поясу обычно выше, чем ночью. Потому что большинство компаний вносят изменения по будням в рабочее время. Но есть клиенты, которые, наоборот, стараются запускать обновления ночью. Еще все зависит от геолокации и часового пояса организации. Например, у нас есть клиенты из Казахстана, США, Канады. Обращаться за технической поддержкой могут только авторизованные контактные лица из списка, который предоставляет клиент. Каждое контактное лицо регистрируется в ITSM-системе, чтобы в будущем было проще идентифицировать клиента. На текущий момент у нас есть три канала для обращения в техническую поддержку. Все они равноценны с точки зрения приоритета их обработки, выбор зависит от срочности обращения и предпочтений самого клиента: телефонная связь. При обращении необходимо назвать номер договора и параметры контактного лица. Это рекомендованный канал для обращений с высокой и очень высокой срочностью, который позволяет максимально оперативно подключить техническую поддержку к устранению аварийной ситуации. Например, когда у пользователя не работает услуга; электронная почта. Письмо должно быть отправлено с адреса, указанного при регистрации контактного лица. Подходит для любых обращений, но если подано обращение с высоким или очень высоким уровнем срочности, то необходимо связаться со службой поддержки по телефону для подтверждения срочности; портал самообслуживания. Доступ к порталу предоставляется контактным лицам по персональному логину и паролю. Портал самообслуживания подходит для любых обращений, но если подано обращение с высоким или очень высоким уровнем срочности, то необходимо связаться со службой поддержки по телефону для подтверждения срочности. В каталоге услуг авторизованный пользователь может найти типизированные формы обращений по потребляемым услугам, которые позволяют однозначно идентифицировать потребность клиента и максимально сократить время на коммуникацию для уточнения необходимой информации. Чаще всего клиенты обращаются по почте, второй по популярности канал — это портал самообслуживания, на последнем месте — телефонная связь. Я это связываю с двумя факторами. Во-первых, все ИТ-специалисты отчасти интроверты, поэтому они не любят общаться голосом. Во-вторых, при неполадках проще и быстрее сделать снимок экрана с ошибкой и отправить по почте, чем пытаться объяснить по телефону, что произошло. Для клиента техническая поддержка ITGLOBAL.COM — это единая служба, куда он обращается для решения своих вопросов в рамках потребляемых им услуг. Но внутри она разделяется на три линии, которые отличаются друг от друга по уровню квалификации специалистов. Все сотрудники  работают в офисах из нескольких локаций. Специалисты первой линии принимают обращения, классифицируют, регистрируют и выполняют дальнейшие действия по приоритезации, диагностике и так далее. Задача первой линии — оперативно реагировать на поступающие обращения и устранять их в кратчайшие сроки, если для решения есть подготовленная инструкция, либо оперативно принять решение об эскалации на следующий уровень поддержки, если инструкции для решения нет. Для того чтобы попасть в техническую поддержку, специалистам нужно обладать базовыми знаниями в Linux, сетях, виртуализации и продуктах Microsoft. Желательно, чтобы было понимание ITIL. Например, что такое инцидент, запрос на обслуживание и чем они отличаются. Важно уметь грамотно писать и говорить не только на русском, но и на английском, потому что техническая поддержка предоставляется клиентам на двух языках.На первой линии базовые знания, мотивация и желание развиваться важнее высокой квалификации. Тем более, что перед началом работы все специалисты первой линии  проходят обучающий курс, где получают знания, чтобы на высоком уровне предоставлять квалифицированную помощь клиентам. Студенты старших курсов специализированных ВУЗов уже имеют достаточные базовые знания, чтобы начать работу на первой линии поддержки. Например, у меня в команде есть два человека, которым всего по 19 лет, и они отлично помогают нашим клиентам. Если первая линия не может самостоятельно решить вопрос, то обращение эскалируется на сотрудников второй линии для решения вопроса клиента. Это специалисты более высокой квалификации, которые имеют более глубокие знания Linux, в отличии от специалистов первой линии поддержки, понимают сеть. На вторую линию я стараюсь набирать людей, которые прошли обучение и получили опыт работы на первой линии. Считаю, что человек должен поработать на первой хотя бы один-два месяца, чтобы понимать, как все работает. Все специалисты второй линии — это универсалы и могут взять в работу любое обращение. Но это не отменяет того, что кто-то может лучше других может разбираться в той или иной области. Например, понимать в Linux, виртуализации или сетях. Поэтому ребята могут передавать обращения между собой.На второй линии, в отличие от первой, опыт уже важен. По факту эти специалисты — уже не техническая поддержка, а системные администраторы. Они могут развернуть веб-серверы, поставить самостоятельно почтовый сервер, покопаться в БД. Они хорошо знают различный софт и на «ты» с виртуализацией. В штате первой и второй линии технической поддержки ITGLOBAL.COM трудятся девять сотрудников. На данный момент у нас в штате есть только мужчины, хотя у нас были прекрасные примеры работы девушек в команде. Все специалисты работают посменно 2/2 по 12 часов. В смену выходят три человека: два сотрудника первой линии и один второй. Я и мой заместитель работаем 5/2 и готовы прийти на помощь, если не хватает рук или ребятам нужна помощь со сложными обращениями. Третья линия подключается, если вторая линия не может решить вопрос клиента на своем уровне доступа и знаний. Это двадцать узкопрофильных квалифицированных системных администраторов. У каждого есть своя специализация: одни занимаются железом, другие — сетями, третьи — виртуализацией и так далее.У них другой уровень задач: они могут поднимать огромные дата-центры, разрабатывать и строить целиком инфраструктуры. В их функционал входит не только поддержка текущих клиентов, но и развертывание новых площадок, сложные клиентские кейсы, кастомные задачи. В отличие от первой и второй линии, они работают по пятидневке. Все обращения автоматически фиксируются в ITSM-системе SimpleOne. Специалисты первой линии определяют категорию обращения: инцидент (incident). Деградация или возможная деградация услуги. Например, нет доступа в сеть интернет, не отвечает виртуальная машина (ВМ) и так далее. запрос на обслуживание (request). Типовые запросы на изменение SLA или  функциональности услуги. Например, пользователь хочет, чтобы его проконсультировали, добавили новые лицензии, изменили количество ресурсов. Типовые обращения категории «Запрос на обслуживание» выполняются согласно модели, описанной в SLA. Обращения категории «Инцидент» получают приоритеты в зависимости от установленного значения срочности и влияния на бизнес-процессы согласно стандартной матрице. Срочность выставляется при подаче обращения в службу технической поддержки. Параметр определяет клиент на основании своего понимания, насколько быстро его проблема приобретает существенное влияние на бизнес: очень высокая — влияние на бизнес существенное; высокая — качество услуги сильно снижено, высокий риск увеличения влияния на бизнес до существенного; средняя — незначительное ухудшение качества услуги, есть риск увеличения влияния на бизнес до существенного; низкая — существуют неудобства при использовании услуги, риск увеличения влияния на бизнес до существенного низкий; нет — обращение является пожеланием.  Параметр указывают специалисты нашей технической поддержки, исходя из количества задействованных пользователей и систем: значительный инцидент — затронуты все пользователи или системы; высокое — затронута большая группа пользователей или систем; среднее — затронута небольшая группа пользователей или систем; низкое — затронут один пользователь или одна система; нет — пользователи или системы не затронуты. Приоритезировать инциденты необходимо, чтобы понимать важность, требуемое время и порядок его обработки. Приоритет рассчитывается автоматически по матрице на основе параметров срочности и влияния. Клиент может повлиять на определение приоритета. Например, попросить поднять срочность обращения. В этом случае изменится и приоритет обращения. Каждый инцидент и запрос проходит определенный путь в процессе работы над ними и имеет ряд состояний. Ниже таблица состояний инцидента/запроса с пояснениями и правилами перехода между ними. Статус Описание  Условия перехода Зарегистрировано (Registered)  Инцидент/запрос зарегистрирован и ожидает классификации. — Назначено (Assigned) Обращение назначено на конкретного исполнителя, который будет его выполнять. — В работе (In progress) Классификация инцидента/запроса (определение времени выполнения) завершена, работа над ним началась и ведется. Фактическое начало работ. Завершено (Completed) Работы над инцидентом/запросом завершены и дальнейшая деятельность по данному инциденту/запросу не планируется. Ожидание подтверждения выполнения инцидента/запроса от пользователя. Работы завершены (следует понимать, что в случае некорректного обращения оно может быть переведено в данный статус без проведения работ, при этом в коде закрытия инцидента это будет специально указано). Закрыто (Closed) Инцидент/запрос закрыт и работы по нему проводиться не могут. В случае возникновения необходимости проведения дальнейших работ потребуется зарегистрировать новое обращение. Подтверждение Контактного лица об удовлетворенности проведенной работой над инцидентом/запросом либо отсутствие обратной реакции Контактного лица в течение 3 суток с момента установки статуса Completed.  Отклонено пользователем (Rejected by user)  Выполнение инцидента/запроса отклонено пользователем, его обработка должна быть выполнена повторно.  Получение сообщения от Контактного лица о неудовлетворенности проведенной работой над инцидентом/запросом при установленном статусе обращения Completed.  Требуются уточнения (Information needed) Необходима какая-либо информация от пользователя, но связаться с пользователем владельцу Инцидента/запроса не удалось.  Инцидент/запрос переводится в указанный статус с добавлением соответствующей записи в Additional Comments до момента получения ответа от пользователя.  На внешней поддержке (External Processing)  К работам над выполнением инцидента/запроса привлечена сторонняя организация. Обращение переводится в указанный статус с добавлением соответствующей записи в Additional Comments.  Каждому обращению присваивается уникальный номер, который в дальнейшем помогает идентифицировать его. При регистрации и при изменении статуса обращения контактное лицо автоматически получает уведомление по электронной почте. Также клиент может просмотреть статус обращения самостоятельно на портале услуг или уточнить его по телефону. С некоторыми клиентами есть чаты в Telegram, в которых происходят дополнительные коммуникации для более оперативного устранения инцидентов или уточнения информации. С каждым клиентом мы подписываем SLA, где подробно прописываем уровень обслуживания: согласованное время работоспособности, согласованное время поддержки услуги, время реакции на инцидент, время отработки типового запроса и целевые параметры доступности услуги, доступность услуги и размер компенсации в случае нарушения SLA. Выполнение SLA контролирую я, как руководитель технической поддержки ITGLOBAL.COM: наблюдаю за потоком обращений и приоритезирую их для сотрудников в ITSM-системе SimpleOne. Специалисты второй линии следят за обращениями первой линии и корректируют их последовательность. Так как SLA входит в KPI специалистов технической поддержки, сотрудники сами заинтересованы в качественном и быстром устранении инцидентов и обработке запросов. В ближайшее время наша команда планирует создать базу знаний для клиентов, чтобы они могли самостоятельно искать ответы на базовые вопросы. После тестирования запустим Telegram-бот, через который можно будет оставлять обращения. Будем активно расширять каталог услуг на портале самообслуживания, чтобы клиентам было проще и удобнее находить необходимую услугу и вопрос, который их интересует.  Руководитель службы сопровождения клиентов