Data Engineer в группу нейронных сетей

Мы строим системы машинного обучения, и наши задачи включают не только обработку речи, но и смежные области. В том числе благодаря этому ВКонтакте стала первой в мире социальной сетью с голосовым помощником. Маруся объединила специалистов, которые работали в Поиске, рекомендательных сервисах — такой обширный опыт помогает находить и реализовывать решения, которые не всегда лежат на поверхности. Хотя Маруся и относительно новый проект, в команде чётко налажены процессы и распределены зоны ответственности, где каждый сотрудник отвечает за свой фронт работы. Задачи:  разработка и развитие системы автоматизации жизненного цикла ML-моделей и системы обработки больших данных; проектирование, разработка и поддержка инструментов для создания надёжных пайплайнов для обработки и разметки данных; взаимодействие с командой Data Science и совместная реализация стабильного расчёта нейросетевых моделей.  Требования:  опыт работы — от 2 лет; знание классических алгоритмов и структур данных; опыт работы с распределёнными системами обработки данных (Hadoop, Spark, Hive); опыт работы с системами распределённого обучения ML-моделей (Kubeflow). 

Технологии: apache hive, data engineer, data science