Напиши текст вакансии для должности "Big Data Engineer". Название компании: "First Line Software". Расположение: Москва. График работы: Удаленная работа. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'SCALA', 'Big Data', 'Hadoop', 'Spark'

Мы принимаем участие в крупном проекте федерального масштаба. Ключевая цель этого проекта – поиск взаимозависимостей между налогоплательщиками для выявления отклонений в уплате налогов юридическими лицами. Для решения данной задачи используется графовые алгоритмы поиска связей, построенные на базе графового движка GraphX (GraphFrame). Мы поддерживаем и развиваем масштабное Big Data-решение. Продукт написан на языке Scala и включает работу со всеми ключевыми абстракциями Spark (RDD в части legacy-кода, а также, DataFrame и DataSet в обновленных модулях). Модуль, разрабатываемый нашей компанией, является одним из ключевых в системе и представляет собой ядро расчетов, выполняемое на аналитическом движке Apache Spark. Входные данные, подлежащие обработке нашим продуктом, содержат десятки таблиц и десятки и сотни миллионов записей. Источником данных служит Озеро данных (ОД), содержащее всю информацию, собираемую заказчиком. ОД хранит данные в распределенной БД Hive, в структурированном и предобработанном виде. Обработка данных выполняется на многонодовом (около 50 серверов) Hadoop-кластере, под управлением универсального оркестратора, написанного специально для нужд нашего заказчика. Поиск гибко конфигурируется с помощью шаблонов (метаданных, в формате JSON), формируемых аналитиками заказчика. Результаты поиска выгружаются в витрины и используются другими командами для последующего анализа и отображения на UI. Какие будут задачи:  Выполнять запуски как в тестовом, так и промышленном окружениях, оценивать корректность результатов, искать и устранять ошибки поиска Анализировать производительность текущего решения и предлагать решения по оптимизации Расширять функционал, не нарушая работоспособность существующего кода Разрабатывать новые алгоритмы поиска и обогащения информации Взаимодействовать с другими подрядчиками, разрабатывающими остальные модули системы, в части интеграции – получения входных данных и выгрузки результатов  Технологический стек:  Scala Spark Hive Hadoop  Мы предлагаем:  Большую команду профессиональных и творческих инженеров, которые готовы делиться своим опытом и знаниями Курсы английского языка с носителями и русскоязычными преподавателями онлайн (большое количество наших заказчиков находится за рубежом, мы всегда за то, чтобы вы прокачивали свои скиллы владения английским) Дотации в случае изменений в семье (свадьба, рождение ребенка и прочее) Компенсационная выплата дистанционным сотрудникам за услуги связи и интернет Компенсация оплаты успешно пройденной сертификации (напр., Microsoft, Oracle и пр.) Официальная зарплата и оформление по ТК РФ Много корпоративных праздников и движух :)