Напиши текст вакансии для должности "Data engineer (удаленно)". Название компании: "Билайн". Расположение: Москва. График работы: Удаленная работа. Опыт работы: От 1 года до 3 лет. Ключевые навыки: 'SQL', 'SCALA', 'Linux', 'Работа в команде', 'hadoop', 'Spark', 'Kafka', 'NiFi', 'Airflow', 'Python', 'Big Data', 'Cистемы управления базами данных'

  «Билайн» сейчас – компания изменений. В 2020 мы провели масштабную реструктуризацию и определили для себя следующие приоритеты:  Телеком и связь - основа бизнеса, которую мы планируем поддерживать сами. Развитие ключевых ИТ-компетенций внутри компании. Мы провели инсорс разработки, чтобы самостоятельно отвечать за решения, которые проектируем. Клиент в приоритете. Все, что мы делаем, мы делаем для клиента внутреннего (сотрудники компании, коллеги) или внешнего (клиент, который пользуется Билайн) Продуктовый подход и работа по Agile. Каждый сотрудник – владелец своего продукта, который отвечает за все его части, не важных частей нет.  Мы строим цифровую data-driven компанию, и ты можешь нам в этом помочь. Что и как мы делаем? Мы создаем продвинутое аналитическое хранилище (Data Lake) по принципам Data Mesh. Все данные мы описываем в каталоге, чтобы их можно было легко находить и переиспользовать. Для каждого куска данных мы определяем владельца, который относится к ним, как к продукту. Для этого в каждом подразделении должны быть люди с навыками data engineer, погруженные в предметную область. Под эту задачу мы сейчас активно набираем людей. Что для нас важно? Постоянное развитие – одно из условий успеха в компании. Мы берем на стартовые позиции с уровнем Junior и нам важно, чтобы сотрудник был готов обучаться и повышать квалификацию. У нас для этого есть все условия: периодическая оценка знаний и навыков, система обучения. Наши преимущества:  Мы развиваем свое сообщество DE. Сейчас в нем состоит 300 человек с разным уровнем навыков от Junior до Senior. Инженеры помогают друг другу бороться с трудностями и развиваться, делятся друг с другом кодом, всякими лайфхаками; Мы проводим митапы по инфраструктурным и софтовым темам. Коллеги делятся опытом, помогают разобраться в востребованных темах; Мы даем все инструменты для обучения и развития (в том числе, платные). Конференции, подписки, книги, курсы – все что помогает расти профессионально; Мы даем возможность выбрать удобный формат работы: удаленный или гибридный.  Типовые задачи DE:  Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами); Поиск и исследование источников данных для последующей интеграции; Оценка пригодности, качества исходных данных; Разработка ETL процессов на Spark; Оркестрация ETL процессов в Airflow; Проектирование баз данных; Создание конвейеров данных NiFi.  Мы понимаем, что каждый DE индивидуален. Поэтому даем описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас. DE в Билайн:  Любит работать в команде и умеет это делать; Проработал от 1 года и более в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы; Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции); Работал с Hive, PostgreSQL; Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество); Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron; Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче; Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink; Интересуется Flink, пробовал применять его в проектах; Умеет проектировать базы данных (знает Data Vault 2.0 например); Понимает принципы работы реляционных СУБД и HDFS; Имеет представление о колоночных и NoSQL СУБД; Понимает подходы к работе с качеством данных; Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям.  Наши проекты У нас все организовано в виде продуктов, имеющих бесконечный срок жизни. Продуктов очень много – несколько сотен. Если делить их по группам – получится так: Клиентский опыт:  обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором; прогнозируем и корректируем общую выручку от клиента на всем периоде жизни с компанией; боремся с фродом на стороне клиентских устройств сотовой связи; предсказываем отток и next-best-action для клиентов.  Управление оборудованием и качеством услуг связи:  собираем и анализируем метрики качества предоставления связи; выполняем интеллектуальное планирование постройки базовых станций; осуществляем предиктивное обслуживание оборудования.  Для продуктовых команд:  создаем для себя фреймворки и утилиты; развиваем сервис мониторинга как единую точку сбора и просмотра метрик.  Стек и технологии В своей работе DE используют следующий стек технологий:  Экосистема Hadoop – HDFS, YARN, Hive, HBase; ETL-процессы – Spark (Scala); Потоковая обработка – NiFi, Flink; Брокер сообщений – Kafka; Оркестрация ETL процессов – Airflow; СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server; CI/CD – GitLab.  Мы предлагаем успешному кандидату корпоративные бонусы:  Сообщество – поддержка, развитие и возможность учиться у профессионалов своего дела; Удобные инструменты разработки – компания предоставит тебе необходимое ПО и мощный ноутбук; Свобода - Beefree - гибкий рабочий график и возможность работать удаленно (рассматриваем кандидатов из разных локаций); Комфорт - личный полис добровольного медицинского страхования с комфортным пакетом опций и служебная сотовая связь.  Присоединяйся к лучшей команде в качестве Data Engineer! В Билайн мы развиваем и поддерживаем здоровую и безопасную рабочую среду. Каждый сотрудник соблюдает Кодекс поведения, внутренние правила компании и придерживается принципов деловой этики. Мы поступаем честно и этично как по отношению к друг другу, так и к нашим внешним партнерам.