Напиши текст вакансии для должности "Data Engineer (Senior/Middle)". Название компании: "inDriver". Расположение: Москва. График работы: Полный день. Опыт работы: Нет опыта. Ключевые навыки: 'Python', 'SQL', 'Spark', 'SCALA'

inDriver — международный сервис пассажирских перевозок. Мы создаем глобальный высокотехнологичный продукт, который меняет жизнь миллионов людей к лучшему. Входим в топ-3 мобильных сервисов для заказа поездок в мире — 100 млн. установок, 1 млрд. поездок, 500+ городов в 37 странах мира. Мы ищем Senior/Middle Data инженера, который поможет строить Data Warehouse, с data quality, будет участвовать в построении архитектуры и моделировании данных, делиться знаниями и получать эти знания. Мы только начинаем строить новый Data Warehouse, наращиваем команду, но мы знаем, что эта часть проекта является одной из важнейший частей продукта. ‍‍‍ В команде Data Engineering 5 человек, всего в команде разработки более 180 сотрудников и мы продолжаем расширять команду. Мы не боимся использовать новые инфраструктурные решения (Google Cloud Platform, AWS). Мы свободны в принятии решений, будучи ограничены только законами о защите перс данных. Инфраструктурные и архитектурные решения принимаем исключительно с трезвым взглядом на проблему и апеллируя к цифрам. Наш стек:  используем Python/Scala для разработки под Spark; Python/Java/Go для написания сервисов; BigQuery/Clickhouse как OLAP СУБД; Trino для Adhoc аналитики; Apache Iceberg для хранения инкрементальных данных; Apache Kafka как интеграционный слой между микро-сервисами; Airflow для оркестрации ETL процессов.  Разработку ведем на Github, используем TeamCity, трекам задачи в JIra, доку пишем в Confluence. Хотим развиваться в сторону Flink, Kubernetes (в том числе Spark on Kubernetes), Kafka, но открыты к любым идеям и решениям. Вам предстоит:  ‍развивать культуру работы с данными; создавать единую систему обработки, хранения и валидации данных; ‍проектировать и строить процессы хранения, обработки, очистки и обогащения данных; участвовать в разработке data pipeline на всех этапах - от обсуждения с источниками данных формата получения данных, до презентации новой фичи потребителям; разрабатывать API (REST, gRPC) для высоконагруженных сервисов получения доступа к данным; участвовать в проектировании системы и принятии архитектурных решений совместно с командой разработки; писать интеграционные и юнит-тесты, разрабатывать средства автоматизации для валидации и алертинга на основе состояния данных; а также делиться знаниями с разработчиками на внутренних митапах.  Наши пожелания:  опыт разработки Data pipelineов на Spark/Flink/DataFlow с применением Luigi/Airflow/Oozie; владеете Python и/или Java; знаете и понимаете алгоритмы и принципы обработки данных; ️понимаете общие концепции программирования (шаблоны проектирования, ООП, модульность, чистая архитектура, 12-Factor App); умеете проектировать систему обработки данных (data modeling); ответственны и инициативны (мы верим, что идеи должны исходить не только от бизнеса, но и от сотрудников компании).  Мы предлагаем:  стабильную заработную плату, соблюдение ТК РФ, ДМС со стоматологией; современные MacBook Pro и другое необходимое для работы оборудование; неограниченные возможности профессионального и карьерного роста, регулярное внешнее и внутреннее обучение от наших партнеров; частично или полностью оплачиваемые дополнительные обучающие курсы, занятие английским языком с преподавателем в офисе; программы личностного роста, в которых мы ставим цели и вместе к ним движемся; стать частью международной команды профессионалов и просто хороших людей, которые все вместе создают одну из самых крутых историй успеха в мировой IT-индустрии; перевезем вас в Москву и предоставим релокационный пакет; работаем в офисе, удаленно+офис или удаленно.  Офис находится в нескольких минутах ходьбы от м. Белорусская.