Data Steward в команду Data Platform

Мы развиваем платформу, помогающую продуктовым и техническим командам работать с данными, используя стек технологий ML и Big Data.  Ищем специалиста, который усилит нашу команду. Вам предстоит:   отвечать за полноту и качество описания данных и метаданных;   разрабатывать и внедрять процесс управления жизненным циклом данных, включая методики оценки качества;   внедрять систему управления метаданными в процессы разработки и сопровождения;   вести реестр правил проверки для обеспечения качества поставляемых данных.   У нас интересно, потому что:  есть более 300 потоков данных, которые нужно вовремя доставлять и обрабатывать 24/7; в день на платформу доставляется более 30 терабайт свежих данных, а хранится несколько десятков петабайт; вы будете помогать ML-разработчикам, дата-аналитикам и дата-инженерам по щелчку мыши находить необходимые данные.  Мы ожидаем, что вы:  разбираетесь в основах computer science;  базово владеете техническим стеком BigData — HDFS, Kafka, Airflow и так далее;   знаете основы внутреннего устройства транзакционных и аналитических баз данных;   уверенно разбираетесь в инструментах и практиках управления метаданными, включая DQM;   внедряли процессы управления жизненным циклом данных;   умеете или хотите научиться писать несложные скрипты на Python, в основном для конфигурации Airflow.   Мы предлагаем:  работу над масштабными проектами в команде классных, прогрессивных и дружелюбных людей; достойную зарплату, которую определим по результатам собеседования; соцпакет, официальное оформление.  Приглашаем специалиста, который сможет работать удалённо в пределах РФ. Ждём ваших откликов. Удачи!

Технологии: airflow, big data, computer science, data platform, data steward, hdfs, python