Напиши текст вакансии для должности "Разработчик Big Data (Витрины РБ)". Название компании: "Иннотех, Группа компаний". Расположение: Москва. График работы: Удаленная работа. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'Python', 'SQL', 'BI', 'BigData', 'ETL', 'Spark', 'Hadoop', 'airflow'

Команда занимается подготовкой и сборкой витрин для розничного кредитного конвейера. РКК - это комплексное решение для автоматизации бизнес-процессов потребительского, ипотечного и автокредитования физических лиц. В решении осуществляется автоматическая первичная верификации заявки, проверка заемщика и других, связанных с ним лиц, расчёт суммы кредита/лимита. Вы получаете возможность поработать с интересной и динамичной предметной областью, получить опыт работы с настоящими большими данными, ощутить в полной мере драйв командной работы. В качестве источника у нас выступает Хранилище данных в составе кластера Hadoop от Cloudera. Приемником - Хранилище быстрых витрин, реализованное на базе СУБД Oracle. Интеграция между источником и приемником реализована посредством Spark через JDBC Задачи:   Разработка на Spark и Airflow (DAG AirFlow, в нем таски, которые вызывают pyspark код)Задачи есть по трем направлениям:  Развитие (расширение атрибутивного состава, количества витрин, пересборка алгоритмов) 3-я линия поддержки – разбор аварий и инцидентов на проме, которые не в состоянии решить 1 и 2 линия, саппорт внедрений Инженерные задачи – переезд на другие кластера, сайзинг, оптимизация кода  Ожидания от кандидата:   Опыт промышленной разработки на Рython от 2л лет  Опыт работы с СУБД – Cloudera Hadoop, Oracle  Уверенное знание Spark и Airflow  Понимание принципов организации Data Lake/DWH  Мы предлагаем:   Работа в удобном формате: удаленный/гибридный/в офисе (современном и комфортном)   Конкурентная заработная плата (зависит от квалификации, обсуждается по итогам интервью)  Работа в команде профессионалов с передовым технологическим стеком, включая open source  Пакет льгот от наших партнеров: ДМС (со стоматологией и массажем), зарплатный проект ВТБ, льготное кредитование и страхование (для сотрудника и родственников)   Помощь при переезде   Необходимая техника для успешной работы: дополнительные мониторы, мощное железо, компенсация расходов на мобильную связь   Интересные задачи для твоей самореализации, профессионального роста и совершенствования навыков   Искренняя забота о сотрудниках: обучение английскому языку и soft-skills; абонементы в фитнес-клубы; скидки на сессии с психологом; оплата профессиональных курсов и конференцийДо встречи в «Иннотех»!