Напиши текст вакансии для должности "Инженер данных в команду статистики Маркета". Название компании: "Яндекс". Расположение: Москва. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'Python', 'SQL', 'Hadoop', 'Big Data', 'Spark'

Яндекс.Маркет — это крупнейший маркетплейс. Сейчас на площадке представлено более 16 миллионов наименований товаров, а количество активных покупателей уже превышает 7 миллионов. Чтобы принимать правильные решения для роста бизнеса, необходима большая аналитическая работа. Найти и изучить данные как за несколько лет, так и за последние несколько минут помогает платформа управления данными Маркета. Она позволяет собирать в Data Lake информацию из СУБД, шины данных и API сервисов, проектировать домены данных в Data Warehouse (Data Vault), формировать витрины для анализа средствами BI Tableau, Jupyter. Команда статистики разрабатывает витрины данных для аналитики на этой платформе: глубокого анализа многомерных данных, формирования дашбордов с визуализацией разных процессов, построения графиков KPI. Уже сейчас мы оперируем петабайтами данных в каждом из двух дата-центров, и объемы информации растут кратно из года в год. У нас повышенные требования к стабильности, масштабируемости, эффективности и простоте продуктов. Нашими витринами пользуются разработчики, аналитики и менеджеры Яндекса. Что нужно делать:  вместе с системными аналитиками проектировать хранилище данных по модели Data Vault; создавать эффективные ETL-процессы, организуя сбор данных из различных систем Маркета с заданной периодичностью (ежедневно, ежечасно или near real time); создавать и развивать витрины данных как продукт, алгоритмически подготавливая данные для их последующего анализа средствами BI, SQL, Jupyter и т. п.; работать в кросс-функциональной команде с разработчиками, системными и дата-аналитиками.  У нас вы сможете:  участвовать в построении современного хранилища данных с технологиями Big Data при росте данных в 2—5 раз в год (терабайты данных за сутки в шине данных LogBroker, терабайты в ClickHouse, петабайты в хранилище на Yandex Tables, сотни пользователей в BI Tableau) и в условиях бурно развивающегося бизнеса (применение гибких методологий и устойчивых к изменениям моделей данных); проявить себя в роли технического лидера — предлагать и внедрять передовые технологии и способы обработки данных, доказывать их эффективность на архитектурных встречах; наработать опыт в Big Data и Data Warehouse в команде профессионалов.  Мы ждем, что вы:  уверенно знаете Python: пишете код с использованием фреймворков; знаете основные алгоритмы и структуры данных; знаете SQL или другие языки запросов; умеете работать в командной строке Linux, macOS; умеете работать в команде и коммуницировать со смежниками.  Будет плюсом, если вы:  знаете технологии распределенной обработки данных (Hadoop, MapReduce, Hive, Spark, ClickHouse, GreenPlum, Vertica и т. п.); имеете опыт обработки данных на Python (PySpark, pandas и т. п.) или другом языке; имеете опыт проектирования DWH (DFM, Data Vault, Anchor) или Data Lake; имеете опыт промышленной разработки на языках высокого уровня (Python, Java или C++).  Условия:  современный офис в центре Москвы со всем необходимым для комфортной работы и отдыха, есть парковка; официальное трудоустройство; компенсация оплаты питания на территории кампуса и в окрестностях; гибкий график: мы не контролируем, кто во сколько приходит и уходит, главное для каждого из нас — выполнять поставленные задачи; расширенная программа ДМС: стоматология, обследования, вызов врача на дом, оплата 80% стоимости ДМС для супругов и детей; высокий совокупный доход и премии каждые полгода для всех, кто успешно прошел ревью; возможность участвовать в мероприятиях Яндекса: образовательных программах, лекциях, митапах; профессиональная команда, у которой можно многому научиться и перенять полезный опыт; культура открытости и взаимопомощи; высокая скорость работы и возможность быстро увидеть свой вклад и результаты работы; возможность выбрать задачи, интересные в данный момент: попробовать себя в новой роли или поработать в другой команде Маркета; работа в технологической компании с возможностью создавать сервисы, полезные миллионам людей.