Напиши текст вакансии для должности "Scala Developer". Название компании: "ИТ1". Расположение: Санкт-Петербург. График работы: Полный день. Опыт работы: От 1 года до 3 лет. Ключевые навыки: 'SCALA', 'Spark', 'Hive', 'Hadoop'

Компания IT1 расширяет команду и ищет разработчиков для создания и развития big data платформы для крупнейшей логистической компании России. Платформа позволяет обрабатывать до 500 млн. событий в сутки и активно развивается.Стек:Streaming: Kafka, Spark Streaming, FlinkBatch: Flink, Spark (DF, Scala), Hive, HDFSDataLake c выделенными слоями STG, ODS и DDSАвтоматизированная генерация рутинного кода SQLОркестрация на Oozie (в планах airflow) + KubernetesБазы данных: Vertica, Cassandra, ClickHouse, KSQL DBКомандаСостав подгруппы разработки:8 разработчиков, 6 из них - Senior Data Engineer + ScalaОтдельные подгруппы аналитиков, тестировщиков, экспертов поддержки и релиз-инженерКоманда Devops выделена, помогает команде разработки и тестирования c инфраструктурой и CD/CDМетодология разработки ПО:Scrum для разработкиKanban для поддержки 3й линии. Возможна удаленная работа.   Обязанности: • Разработка фичей для платформы, фреймворков, затрагивающих батч и стриминг• Рефакторинг, оптимизация кода, code coverage• Классические задачи Data Engineering: интеграции, конвертации, streaming и батч обработка, построение базовых слоев данных DataLake• Проработка и реализация интеграционных решений с источником в Kafka, REST, FTP и получателем HDFS, формированием ODS, DDS• Прототипирование и оценка новых open source frameworks и in house solutions Требования:  ​​​​​​​Хорошие знания одного из языков Java, Scala Опыт работы с обработкой данных (Spark, Hive или MapReduce) Опыт работы и хорошие знания SQL Опыт работы с любой очередью (Kafka, IBM MQ, Rabbit MQ или др.)