Напиши текст вакансии для должности "Разработчик BigData". Название компании: "Иннотех, Группа компаний". Расположение: Москва. График работы: Полный день. Опыт работы: От 1 года до 3 лет. Ключевые навыки: 'Hadoop', 'SQL', 'Python', 'Бизнес-анализ', 'Техническое задание', 'Системный анализ', 'Хранилища данных', 'Витрины данных'

Если говорить коротко, ГК Иннотех занимается цифровизацией банковской отрасли. Мы хоть и молодая группа компаний, но нас уже 4000+ сотрудников. Ближе познакомиться с нами можно на странице компании и на нашем карьерном сайте.Мы ищем Разработчика моделей в команду Batch. Команда Batch занимается загрузкой данных по клиентам из источников в целевые таблицы Хранилища быстрых витрин, в целях дальнейшего обогащения из внешних источников и применения к ним математических моделей в рамках задач Платформы исполнения моделей. Работа ведётся в batch режиме, т.е. в режиме пакетной обработки данных. Стек проекта: Hadoop, AirFlow, Oracle Big Data Appliance, Kafka, Spark, Витрины, Хранилище быстрых витрин. Стек на этой должности: Hadoop, ETL, Python/Scala/Spark /контейнеры, Openshift Описание задач:   реализация интеграций в гетерогенной среде с помощью Python/Spark   ETL   Применение моделей в Openshift   Работа с Airflow, написание кастомных операторов, формирование дагов   Оптимизация дагов   Оптимизация существующего кода   Разработка и поддержка платформы исполнения моделей   Мы ждём от кандидата:  Опыт реализации интеграции в гетерогенных средах Понимание и опыт работы со средствами экосистемы технологий Hadoop Знание Python (Spark) Знание Apache Airflow, Apache Kafka, Docker Опыт решения ETL/data engineering задач Базовые знания работы Kerberos  Приветствуется:  Знание Java Опыт работы с REST сервисами  Опыт разработки микросервисов для внутренних инфраструктурных задач  Опыт работы с ELK Опыт работы с Grafana, разработка мониторинга на Grafana Опыт построения Devops-инфраструктуры: знание и опыт администрирования Linux-систем опыт работы с Openshift\Kubernetes понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО Опыт построения фреймворков с нуля    Условия:  возможна удалёнка, но находиться надо на территории РФ, ﻿8-часовой рабочий день с гибким началом дня, белая конкурентная заработная плата, пакет льгот для сотрудников от наших партнеров: ДМС, льготное кредитование и страхование, даем все, что нужно для успешной работы: хорошая техника, корпоративная сим-карта, и всё, что нужно для развития: оплата внешнего обучения, внутренняя Цифровая академия, библиотека в мобильном приложении.