Напиши текст вакансии для должности "Старший Data Engineer команда платформы, Обработка и хранение данных". Название компании: "Ozon". Расположение: Москва. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'IT', 'Хранение и обработка данных'

Мы находимся в поиске Data Engineer в команду платформы интеграции данных. Наш стек:  Scala, Akka-Stream, Cats, Spark, Python. Vertica, MS SQL, ClickHouse, Hadoop (hadoop3, hdfs, yarn, hive) и др. Airflow (Celery Executor, k8s). Gitlab CI/CD, Kubernetes. Kafka, Prometheus, Grafana. Gitlab, GIT.  Что вам предстоит:   Поддержка и развитие существующих инструментов на базе Hadoop (hadoop3, hdfs, yarn, hive);   Разработка spark приложений для обработки данных;   Поддержка и развитие существующих решений на Kafka;   Внедрение полноценного dev / stage контура для сервисов;   Переписать / отрефакторить легаси код по довозу данных;   Рефакторинг метрик, борды, алертов;   Внедрение синка и подвоза данных multiDC;   Внедрение / рефакторинг e2e тестирования сервисов;   Участие в проектировании архитектуры разрабатываемых решений;   Участие в выборе используемых технологий и компонентов;   Внедрение и сопровождение технических решений;   Документирование разрабатываемых решений;   Проведение code review.   Что мы ожидаем от вас:  Уверенное владение Scala; Опыт работы с Hadoop (hdfs, yarn, hive); Опыт разработки многопоточных приложений; Опыт работы с СУБД (Postgre SQL/MS SQL); Опыт работы с аналитическими БД (Vertica/Greenplum/BigQuery/Redshift/Synapse); Опыт работы с Kubernetes, Kafka, git;  Опыт работы с KV-хранилищами.   Будет плюсом:  Опыт работы с Prometheus, Grafana; Опыт работы с Airflow (Celery Executor, k8s).  Что мы предлагаем:  Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе сделать лучший продукт на рынке e-commerce; Свободу действий в принятии решений; Достойный уровень заработной платы; Профессиональную команду, которой мы гордимся; Возможность развиваться вместе с нашим бизнесом.