Data Engineer

Мы в поиске middle/senior DE в команду, которая развивает мультиплатформенный аудиосервис на благо слушателя. Чем нужно будет заниматься:​​​  участвовать в трансформации ETL из overnight batching в realtime streaming; разрабатывать self-service инструменты платформы данных для реализации DataMesh; интегрировать хранилища, каталог данных, dbt, CDC движок, DQ, мониторинги и прочее; создавать пайплайны NRT обработки данных для аналитики и рекомендаций; подключать новые источники данных и интегрироваться в большую экосистему партнеров; внедрять Data Quality и лучшие практики работы с данными; обучать младших коллег, помогать аналитикам, продвигать лучшие практики работы с данными.  Мы ожидаем, что вы:  имеете релевантный опыт работы от 3-х лет; имеете практический опыт создания ETL/ELT-процедур; отлично знаете Python и SQL; имеете практический опыт работы с Hadoop, Spark, AirFlow, Presto/Trino; работали с облачными сервисами, такими как AWS, Azure, Google Cloud. знаете что такое batching и streaming обработки данных и их различия; знакомы с kubernetes или docker и имеете опыт их использования в работе.  Будет плюсом:  опыт работы с Ozone; опыт работы с Iceberg; опыт работы со streaming обработкой данных; знание Scala, опыт работы с Kafka и Flink; навыки работы с CDC; опыт управления командой дата-инженеров; опыт внедрения инструментов контроля качества данных; опыт создания self-service инструментов и платформенных решений; навыки успешного взаимодействия c data science командой. 

Технологии: airflow, c, cdc, data engineer, data quality, data science, docker, etl, flink, google cloud, kubernetes, python, scala, self service, sql