Напиши текст вакансии для должности "Big Data Developer". Название компании: "ИТ1". Расположение: Москва. График работы: Полный день. Опыт работы: От 1 года до 3 лет. Ключевые навыки: 'Java', 'SQL', 'Spark', 'ООП', 'Kafka'

Компания IT1 расширяет команду и ищет разработчиков для создания и развития big data платформы для крупнейшей логистической компании России. Платформа позволяет обрабатывать до 500 млн событий в сутки и активно развивается.СтекStreaming: Kafka, Spark Streaming, FlinkBatch: Flink, Spark (DF, Scala), Hive, HDFSDataLake c выделенными слоями STG, ODS и DDSАвтоматизированная генерация рутинного кода SQLОркестрация на Oozie (в планах airflow) + KubernetesБазы данных: Vertica, Cassandra, ClickHouse, KSQL DBЗадачи: • Разработка фичей для платформы, фреймворков, затрагивающих батч и стриминг• Рефакторинг, оптимизация кода, code coverage• Классические задачи Data Engineering: интеграции, конвертации, streaming и батч обработка, построение базовых слоев данных DataLake• Проработка и реализация интеграционных решений с источником в Kafka, REST, FTP и получателем HDFS, формированием ODS, DDS• Прототипирование и оценка новых open source frameworks и in house solutions Требования: Хорошие знания одного из языков Java, ScalaОпыт работы с обработкой данных (Spark, Hive или MapReduce)Опыт работы и хорошие знания SQLОпыт работы с любой очередью (Kafka, IBM MQ, Rabbit MQ или др.