Напиши текст вакансии для должности "Senior Data Engineer / Ведущий инженер данных". Название компании: "Газпром-медиа Развлекательное телевидение (ГПМ РТВ)". Расположение: Москва. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'ETL', 'ELT', 'Python', 'RDBMS', 'SQL', 'Spark', 'SCALA', 'ClickHouse'

Мы разрабатываем приложение для внутренних нужд, которое позволяет собрать информацию о клиентах из различных продуктов холдинга, таких как Матч, Премьер и др, для получения единого портрета пользователя и его применения на благо бизнеса. На этот проект нам нужен ведущий дата инженер, который будет помогать команде в интеграции данных из различных внутренних и внешних источников, используя Scala – 80% времени и Python – 20% времени. Вы будете работать с Kafka, Spark, Clickhouse, Mongo и прочим open-source стеком в тесном взаимодействии с другими дата инженерами, аналитиками данных, специалистами по мат. моделированию и машинному обучению, а также ключевыми заказчиками при создании этого проекта.   Что необходимо делать:  анализ и имплементация требований к ETL / ELT пайплайнов, прототипирование идей в PoC, конструирование MVP имплементация и оптимизация ETL / ELT пайплайнов, распараллеливание обработки данных; загрузка, фильтрация, предобработка данных, саппорт ETL / ELT пайплайнов написание модульных тестов и ответственность за их качество код ревью и контроль за CI / CD пайплайнами приложений менторство за инженерами данных среднего уровня поддержание высокого уровня культуры написания и тестирования кода реагирование на инциденты, касающиеся ETL / ELT пайплайнов (в рабочее время, мы редко овертаймим)  Требования к опыту:  опыт разработки ПО от 5 лет НА ЛЮБОМ из языков Python / Java / Scala (готовы рассматривать кандидатов с опытом разработки на PySpark) опыт разработки ПО от 3 лет на позиции инженер данных / инженер машинного обучения или подобных опыт работы с Bash, вкл. знание git, sed, awk, find, grep опыт документирования, а также владение техническим английским (B1) понимание OOP и FP, знание основных шаблонов проектирования приложений (GRASP, GoF, PoEAA) понимание Data Lake и Data Vault 2.0, методологий Kimball vs. Inmon опыт работы с исп. RDBMS и SQL-запросов, а также explain, indexes, joins глубокое знание Spark Data Frame, понимание особенностей распределенных пайплайнов и связанных с этим оптимизаций Catalyst опыт работы с RDBMS (SQL запросами, понимание ACID), парсинга документов (CSV, JSON, XML) опыт анализа инцидентов с качеством данных в источниках (изменение данных / схемы данных)  Будет плюсом:  опыт работы с RDBMS PostgreSQL опыт работы с хранилищами данных ClickHouse / Cassandra / Redshift / Vertica опыт работы с инструментами мониторинга и BI Sentry / Prometheus , Grafana / Redash контрибьюшн в opensource или наличие pet projects со ссылками на BitBucket / GitHub / GitLab или подобные позитивный настрой и здоровый перфекционизм, умение слушать коллег и адекватно воспринимать критику, грамотное изложение своих мыслей и умение отстаивать свою точку зрения    Условия:  Оформление по ТК РФ Конкурентная заработная плата Гибкий график, сейчас мы работаем удаленно ДМС (включая стоматологию) после испытательного срока,; возможность страхования членов семьи Дружный доброжелательный коллектив, в котором приятно работать, лояльное руководство Профессиональное развитие (перспективные проекты, конференции) Поддержка жизненно важных событий сотрудника Доплата до месячного заработка при временной нетрудоспособности до 15 рабочих дней в год