Data Engineering Team Lead

«Криптонит» – технологическая и научно-исследовательская компания. Входит в структуру «ИКС Холдинга». Мы создаем продукты, которые решают актуальные задачи в области больших данных, информационной безопасности, телекоммуникаций и криптографии. В департаменте разработки открыта вакансия Data Engineering Team Lead. Команда департамента разрабатывает аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред. Технологический стек:  Языки программирования: Scala, Python. Обработка и хранение данных: Spark, Kafka, ClickHouse, Cassandra, ElasticSearch. Прочие технологии и фреймворки: Finagle, Jackson, ScalaTest, Docker.  Задачи:  Техническое руководство группой разработчиков, декомпозиция задач, ревью кода. Реализация компонентов платформы, связанных с обработкой больших данных. Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения. Формирование и обработка больших наборов данных. Участие в найме и обучении команды. Участие в разработке архитектуры платформы.  Наши ожидания:   Профильное образование: информационные технологии, статистика, математика.   Опыт коммерческой разработки от 5-7 лет.   Понимание принципов современной разработки в сфере Big Data, достоинств и недостатков различных фреймворков.   Знание особенностей реализации различных алгоритмов и структур данных.   Будет плюсом:  Опыт технического руководства командой. Опыт работы с Apache Spark, Flink, Kafka. Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д. Глубокое понимание особенностей архитектуры JVM. Интерес к технологиям Data Science, участие в конкурсах по машинному обучению.  Что мы предлагаем:   Работу в развивающейся технологической компании.  Комфортные рабочие места в современном офисе, зона отдыха. Оформление в соответствии с ТК РФ. Заработную плату на уровне лидеров индустрии. ДМС + стоматология. Курсы английского языка, в том числе с носителем языка. Возможность участия в профессиональных конференциях. Корпоративные скидки в фитнес-клуб World Class. Спортивные активности. Релокационный пакет для специалистов из других регионов. Работу дистанционно, в офисе или комбинированный формат. 

Технологии: apache spark, big data, cassandra, data engineering, data science, docker, elasticsearch, flink, hbase, iaas, jvm, kubernetes, python, scala, scalatest