Напиши текст вакансии для должности "BigData / DWH разработчик". Название компании: "X5 RETAIL GROUP". Расположение: Москва. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'Hadoop', 'Nifi', 'greenplum', 'PostgreSQL', 'SQL', 'DWH'

В команде ETL X5 Технологии открыта позиция DWH разработчикНаш стек: Apache Nifi, Apache Airflow, Kafka, Hadoop, Hive, Greenplum На данный момент, у нас несколько кластеров СУБД Greenplum общий емкостью более 100 терабайт и кластер Hadoop общей емкостью 6 петабайт. Команда разработки/развития DWH отвечает за прогрузку данных из кластера Hadoop в СУБД Greenplum. Построение основных слоёв хранилища по методу моделирования данных - Data Vault. Проверку архитектурных гипотез на практике и выработку предложений по выбору инструментов для наиболее эффективной реализации задач. Результат нашей работы - стабильно работающее хранилище, удовлетворяющее потребностям заказчиков и техническим веяниям времени. Чем предстоит заниматься:  Проектирование и разработка потоков данных на ETL/ELT инструментах; Имплементация кастомных трансформаций; Проектирование и построение прототипов, витрин; Анализ производительности, масштабирование существующих систем; Оптимизация SQL запросов и структур баз данных; Разработка процедур на языке PL/pgSQL; Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов; Создание и актуализация базы знаний для пользователей DWH; Контроль работы внешних подрядчиков.  Наш кандидат:  Знание принципов построения хранилищ данных; Понимание архитектур MPP систем; Опыт работы с экосистемой Hadoop/ навыки Data Engineer (HDFS/YARN/Spark/kafka/Nifi/Sqoop/flume и т.д.); Знание SQL (DDL, DML), опыт оптимизации запросов; Опыт работы с Greenplum, либо отличное знание PostgreSQL; Опыт разработки на Python; Практический опыт работы с SAS DIS/Informatica PowerCenter; Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности; Навык работы с Git, Jira, Confluence.  Мы предлагаем:  Работаем удаленно, но если хочется в офис, то есть возможность выбрать гибридный вариант работы; Гибкий график работы; Оформление по ТК РФ с официальной заработной платой; Возможность обучаться и сертифицироваться за счет компании: очные мастер-классы, платформы онлайн - образования, электронная библиотека; Бонусная программа: ДМС со стоматологией, консультации психолога, страхование жизни и выезжающих за рубеж, скидки в магазинах сети Х5, скидки от компаний-партнеров на Prime-zone.