Data engineer (Управление валидации)

Мы – команда рисков и в нашей зоне ответственности следить за качеством разрабатываемых моделей, корректностью их работы в промышленной среде, а также качеством данных, на которых применяются математические модели группы Сбера. Мы ищем DE, способного реализовать, оптимизировать и поддерживать код подготовки и проверки качества витрин данных, используемых в процессах предотвращения реализации модельного риска. Обязанности    Создание и настройка автоматизированных скриптов сбора данных для мониторинга моделей. Разработка и применение тестов для анализа качества собранных витрин. Проведение проверок корректности сбора данных для разработки наиболее значимых моделей. Расчет различных вариантов целевых показателей для продвинутого мониторинга моделей. Реализация внутренних библиотек для автоматизации рабочих процессов Взаимодействие с разработчиками моделей/витрин (DS/DE) с целью уточнения деталей сбора данных использованных для разработки и эксплуатации моделей машинного обучения. Профилирование источников данных. Формирование рекомендаций и требований на доработку базового слоя витрин.  Требования    Высшее образование (техническое/математическое); Знание SQL на высоком уровне, опыт работы с большими объемами данных; Навыки программирования на SQL (обязательно), Python (уверенный пользователь); Умение читать и разбираться в чужом коде; Знание технологий Hadoop, Spark; Навыки коммуникации и взаимодействия с контрагентами; Аналитический склад ума, системное мышление, командная работа; Умение работать в режиме многозадачности.  Будет плюсом, если ты:  опыт практической работы с Greenplum опыт аналитики/разработки хранилищ данных и витрин данных, ETL-процессов. Навыки работы с Linux приветствуются.  Условия  Ипотека выгоднее для каждого сотрудника и льготные условия кредитования; Бесплатная подписка СберПрайм+; Скидки на продукты компаний-партнеров; ДМС с первого дня и льготное страхование для близких; Корпоративная пенсионная программа; Обучение за счет Компании: онлайн курсы в Виртуальной школе Сбера и неограниченный доступ к библиотеке, обучение в Корпоративном университете, Тренинги, митапы и возможность получить новую квалификацию. 

Технологии: data engineer, etl, greenplum, linux, python, sql