Напиши текст вакансии для должности "Middle. Senior Data Engineer / Дивизион `Массовая персонализация`". Название компании: "Сбербанк". Расположение: Москва. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 

Middle/Senior Data Engineer для разработки ключевого продукта Сбера – платформы персонализации.Наша задача – обеспечить данными разные элементы системы, создать единый workflow для пользователей и разработать E2E решения для процессов. Что нужно делать:Разрабатывать End2End процессы сборки и поставки данных в Hadoop на фреймворке Spark;Разрабатывать пайплайны Oozie;Проектировать логическую модель и логику преобразования данных;Собирать и анализировать требования бизнеса по получению новых данных, оценивать наличие и качество данных;Описывать фичи, готовить требования для смежных команд, разрабатывать спецификации и техническую документацию;Проводить системное, функциональное и интеграционное тестирование;Разрабатывать и внедрять эффективные методики контроля качества данных. Мы ждем, что ты:Имеешь опыт разработки на Spark (желательно Spark on Scala)Знаком с инструментами экосистемы Hadoop: Hive, Spark;Общий стаж работы не менее 3 лет;Высшее техническое образование;Имеешь развитые аналитические способности и системное мышление;Будешь проактивен в работе с внешними и внутренними контрагентами. Будет плюсом:Опыт работы с распределенным брокером сообщений Kafka;Знание и понимание DevOps практики;Знание розничного банковского бизнеса. Ты получишь знания и опыт работы со стеком BigData-разработки: Scala, Apache SparkApache Kafka, Apache Hadoop (HDFS, HBase, Hive), Apache Airflow, PythonИнструменты DevopsTeradata SQLМы предлагаем:Deep diving в предметную область, много разработки по задачам имеющим прямой эффект на бизнес;Полный рабочий день, но гибкий график работы (можно выбрать режим начала работы в промежутке 7:00 - 10:30);Достойная заработная плата (оклад + внушительные премии);Оформление по ТК РФ;Социальный пакет (ДМС);Возможность посещения конференций, обучения и сертификации за счет компании (в т.ч. английский язык);Программа льготного кредитования в Сбербанке;Дисконт-программы от множества компаний партнеров;Возможность принять участие в других крупных и уникальных проектах банк