Senior Data Engineer

Команда департамента разработки создает аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред. Задачи:  Реализация компонентов платформы, связанных с обработкой больших данных Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения Формирование и обработка больших наборов данных Участие в разработке архитектуры платформы  Технологический стек:  Языки программирования: Scala, Python Обработка данных: Spark, Nifi, Airflow Хранение данных: Kafka, S3, ClickHouse, Scylla, ElasticSearch, Opensearch, Milvus Мониторинг: Grafana, Prometheus Прочие технологии и фреймворки: Docker, Kubernetes (Openshift), Typelevel (Cats Effect,Circe, Doobie, Weaver), Finagle, Jackson, ScalaTest  Наши ожидания:  Профильное образование: информационные технологии, статистика, математика Опыт разработки на Scala или Java от от 3-х лет Опыт работы по специальности от 5-ти лет Знание особенностей реализации различных алгоритмов и структур данных Опыт работы в команде  Будет плюсом:  Опыт работы с Apache Spark, Kafka, Nifi, Airflow Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д. Глубокое понимание особенностей архитектуры JVM Интерес к технологиям Data Science, участие в конкурсах по машинному обучению  Что мы предлагаем:Здоровье и спорт:  ДМС + стоматология Корпоративные скидки в фитнес-клуб World Class Корпоративный тариф на абонементы FITMOST Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги)  Обучение и развитие:  Курсы английского языка, в том числе с носителем языка Внешние курсы, сертифицированное обучение, которые вы выбираете сами Возможность участия в конференциях в России и за рубежом Экскурсии в Музей криптографии для сотрудников и их семей  Работа в удобном формате:  Дистанционная работа, в офисе или комбинированный формат  Программа релокации:  Оплата переезда в Москву или Санкт-Петербург для будущих сотрудников и их семей Релокационный бонус для аренды жилья 

Технологии: airflow, apache spark, cassandra, data engineer, data science, docker, elasticsearch, grafana, hbase, iaas, java, jvm, kubernetes, nifi, opensearch, openshift, prometheus, python, scala, scalatest, senior engineer