Data Engineer (подразделение ML RnD)

SberDevices — подразделение Сбера, центр экспертизы по решениям на основе современных hardware- и software-технологий, а также на базе ИИ. Команда также фокусируется на создании умных устройств для конечных потребителей и корпоративных клиентов, а также разработке сервисов для решения их повседневных задач.   Мы, команда RnD ML, входим в состав SberDevices, занимаемся исследованиями в сфере ИИ, разрабатывая собственные сервисы на базе простых и сложных ML моделей, которые в дальнейшем применяются в наших сервисах и устройствах. Самые известные наши разработки: нейросети GigaChat и Kandinsky. Присоединившись к нашей команде, у тебя есть возможность поучаствовать в создании и развитии прорывных технологий на стыке бизнеса и науки.   В связи с расширением спектра задач, мы ищем в нашу командну талантливых Data Engineer-ов, готовых с головой окунуться в пучину наших исследований и поработать с более чем 10+ различных направлений в ML. Что мы предлагаем  Множество интересных и нестандартных задач (от простых и небольших до сложных и глобальных) Минимум бюрократии, максимум свободы в принятии технических решений Возможность поработать бок о бок с признанными экспертами из ML-сообщества Поучаствовать в разработке перспективных технологий и сделать свой вклад в развитие ML    Чем нужно будет заниматься  Разработка пайплайнов сборки и накопления данных под задачи ML Развитие self-сервисов для решения базовых DE-задач для наших ML-команд Разработка инструментария каталогизации и тиражирования датасетов Разработка доменно-зависимых ETL-процессов под цели конкретных доменов Участие в разработке общей методологии и политик работы с данными внутри RnD, примененение политик в командах Участие в ad-hoc активностях различных ML-направлений Развертывание сервисов для MLOps и DE (при участии наших DevOps-ов) Предоставление экспертной поддержки по работе с данными ML-командам    Обязательные требования  Уверенное владение Python (разработка модульного кода/фреймворков, не скриптование) Понимание микросервисной и монолитной архитектур приложений Опыт в разработке сервисов по сборке данных из внешних источников (партнерские API, файловые хранилища данных, каталоги данных) Владение тех.стеком DE (Airflow, RDBMS, Spark, HDSF/S3 и другие инструменты для хранения данных и их обработки) Опыт разработки batch-пайплайнов Опыт разработки процессов контроля качества данных Опыт работы с большими объёмами данных (100+ ТБ), понимание принципов оптимизации и ускорения ETL/ELT процессов    Будет плюсом  Опыт DevOps (разработка CI/CD, организация сервисов и инфраструктуры в парадгиме IaC (Infrastructure as Code) Опыт backend-разработки (разработка веб-сервисов/API, высоконагруженных приложений) Знание Docker и Kubernetes Опыт работы с облаками (Яндекс.Cloud, Cloud.ru, AWS/GCP/Azure) на уровне развертывания сервисов Опыт разработки пайплайнов обработки данных в реальном времени (streaming) Опыт работы с платформами разметки данных (Толока, TagMe, Elementary)    ​​​​​​​​​​​​​​Условия  Конкурентную компенсацию (оклад и премии по результатам деятельности) Свободный дресс-код Гибкий график для оптимального баланса работы и личной жизни Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека ДМС, страхование жизни Самые инновационные, амбициозные проекты и задачи Льготные кредиты и корпоративные скидки       

Технологии: ad hoc, airflow, api, backend, cloud cloud, data engineer, devops, docker, etl, gcp, iaas, kubernetes, python