Руководитель направления Data Engineer

БКС Мир инвестиций – международная инвестиционно-банковская компания, одна из крупнейших в России. Мы существуем на рынке уже 28 лет и предоставляем клиентам максимально широкий спектр брокерских и инвестиционных услуг. Сегодня БКС Мир инвестиций обслуживает более 1 млн клиентов, а в холдинге работает около 6000 сотрудников. Наши филиалы расположены по всей России, а представительства – в крупных зарубежных городах: Нью-Йорке, Лондоне, Лимассоле, Дубае и Йоханнесбурге.Центр знаний о клиентах – подразделение БКС, решающее бизнес-задачи, которые возникают у бизнесов внутри группы, применяя современные подходы Data Science для улучшения бизнес-показателей ФГ БКС. Решаемые нами задачи моделирования в основном связаны с построением моделей оценки потенциала клиента, склонности к продуктам для ап- и кросс-сейла, построением рекомендательных систем и внедрением персонализации во все каналы коммуникации с клиентом. Наша задача – обеспечить в каждой точке касания клиента в каждый момент времени персонализированного контента и предложения для клиента, которые повысят бизнес-метрики компании и удовлетворенность клиента. Мы ищем к себе в команду амбициозных людей, которые готовы решать следующие задачи – выстраивание pipeline для обработки данных, подготовка данных для моделей машинного обучения и участие, совместно с командой data science, в выводе их в production в качестве сервисов для бизнес-подразделений. Чем предстоит заниматься:  Развивать команду Data Engineer для обеспечения потоков данных для моделей, построения витрин и вывода ML-сервисов на production; Развивать инфраструктуру обработки и анализа данных; Разрабатывать совместно с архитекторами арх. решения, связанные с обработкой данных; Писать скрипты и pipeline по подготовке и очистке данных; Обрабатывать выгрузки из различных внешних источников данных; Анализировать собранные данные на предмет их корректности и полноты, наличия отклонений; Разрабатывать алгоритмы трансформации и очистки данных; Организовывать процесс сбора данных из систем-источников; Разрабатывать модули для обработки данных в сервисах, поставляемых заказчикам; Разрабатывать сервисы для обеспечения ETL и работы моделей машинного обучения на проде; Проектировать и наполнение витрин данных; Визуализировать (для команды) полученные результаты обработки данных.  Наши ожидания:  Опыт работы в команде промышленной разработки от 4 лет Software Engineer или Data Engineer; Опыт руководства командой; Опыт проектирования архитектур решений; Отличное знание: Python, SQL; Опыт работы с реляционными и нереляционными СУБД; Опыт работы c брокерами сообщений (Kafka, RabbitMQ); Опыт работы со сторонними API; Умение читать чужой код, проводить рефакторинг; Опыт командной работы со смежными функциями: бизнес-заказчиками, аналитиками, разработчиками; Хорошие коммуникативные навыки: умение понятно описывать свои идеи, способы решения задач и презентовать результаты работы; Опыт работы на OS Linux/MacOS; Data-driven мышление; Опыт работы с Gitlab и issue tracking-системами (Jira, Confluence) или аналогичным ПО; Умение писать техническую документацию по реализованному функционалу.  Будет плюсом:  Опыт веб-скрапинга; Опыт работы с Apache Spark или аналогами; Опыт работы с Kubeflow, Airflow и NiFi; Участие в разработке веб-решений и сервисов; Опыт работы с ELK стеком; Образование в ведущих технических вузах.  Мы предлагаем:  Работу среди профессионалов финансового рынка; Насыщенную корпоративную жизнь; Возможность карьерного роста и профессионального развития; Стабильный конкурентный доход; Оформление согласно ТК РФ; Комфортный офис в центре (м. Проспект Мира); График работы 5/2 с 9:30 до 18:00 (обсуждаемо); ДМС, корпоративные скидки и предложения для сотрудников. 

Технологии: airflow, apache spark, api, c, confluence, data engineer, data science, etl, gitlab, issue tracking, jira, linux, nifi, python, rabbitmq, software engineer, sql