Напиши текст вакансии для должности "Senior Data Engineer". Название компании: "Flocktory". Расположение: Москва. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'Python', 'Spark', 'SQL', 'PostgreSQL', 'SCALA', 'Redis', 'Airflow', 'Kafka', 'Настройка серверов Apache', 'ETL'

Flocktory (Qiwi Group) - IT-компания, резидент Сколково, один из лидеров рынка Marketing Technologies Дата основания: 2012 Наша команда: 100+ (Москва/Мадрид) Оборот: 700 млн.рублей в год (наша выручка стабильно растет на 40% от года к году) Клиенты: 200+ крупных ритейлеров, банков, страховых компаний (Lamoda, М.Видео, АльфаБанк, S7, L&#39;Oreal и др.) Награды: Только за последние несколько лет мы стали:  Победителем в в номинации «Innovation Award for email marketing» премии Mar Tech Star Победителем в номинации «Автоматизация маркетинга» и «Лояльность и Конверсия» крупнейшей отраслевой премии «Большой Оборот» Лауреатом премии Adindex Awards в номинации Direct Marketing и CRM, входит в число лидеров профессионального рейтинга Digital Index 2017 Одним из первых участников проекта AI Russia https://ai-russia.ru - открытой библиотеки проектов, созданных с использованием искусственного интеллекта (проект Альянса по развитию искусственного интеллекта, в который входят Mail.ru Group, МТС, «Яндекс», Сбер, «Газпром нефть», РФПИ.  Что и как мы делаем Аналитическое хранилище для BI, data science и бизнес-подразделений   Прорабатываем модель этих данных и решаем, как и где они будут храниться. Разные продукты = разные профили нагрузки; разные профили нагрузки = разные БД. Что Postgres-у хорошо, то для Redis-а смерть, и наоборот. Поэтому мы используем микс MPP-баз, традиционных RDBMS, Kafka, NoSQL и распределенных файловых систем.   Делаем data-self service. Чтобы полезно работать с данными, аналитически настроенные подразделения умеют в SQL и Python, а менее технические пользователи хотят красивые однокнопочные инструменты и chatops.   Автоматизируем работу с метаданными. Это чтобы аналитики всегда знали, какую схему имеет таблица X, что в ней означает столбец Y и для каких запросов оптимизирована таблица Z. Работа с Hive metastore, Glue, Apache Atlas и т. п. - это всё здесь.   ETL- и аналитические процессы   пакетные Spark-джобы на Scala;   стриминговые Flink-джобы - опять-таки на Scala;   пайплайны на Airflow;   кластер Kafka connect.   В общем, то, что называется “data-intensive” приложения, и порою довольно-таки за рамками простого filter + save. Иногда ещё и в реальном времени. Качество данных Вот как мы заботимся о качестве данных:   поднимаем на новые высоты автоматизированную и развесистую data quality систему на базе Airflow;   даём нетехническим пользователям интерактивные дашборды, где хорошо видно, всё ли в порядке с данными;   развиваем систему мониторинга и алертинга, постигая некоторые неочевидные тонкости Prometheus, Grafana и Cloudwatch.   Производительность ETL и аналитики Увлеченно воюем с проблемами вроде таких:   почему в стриминговой джобе без состояния столь неприлично долгие full GC-паузы;   затюнить использование off-heap памяти в Flink и при этом не сойти с ума;   оптимизировать вон тот запрос из 5 джойнов, который стал в последнее время подлагивать.   Кого мы ищем Человека, которого описание работы выше не оттолкнуло, а наоборот. Не знаете чего-то из этого? Не проблема, мы тоже много чего не знаем, будем разбираться вместе. Особенно легко будет разобраться, если вы:   работали с одним из open-source планировщиков: Apache Airflow, Apache Oozie, Luigi, да хоть cron;   умеете писать SQL-запросы с агрегацией, вложенностью и разными видами join-ов (а аналитические функции мы и сами каждый раз пишем со словарём);   писали / пишете на Scala (опыт type class-эквилибристики не обязателен);   знаете или готовы изучить Python;   работали с Apache Spark (batch / streaming / structured streaming) и / или Apache Flink;   запускали сервисы в AWS / GCE / Azure.   Мы предлагаем:  официальное трудоустройство, белая зарплата; ДМС со стоматологией после испытательного срока; частичную компенсацию аренды жилья рядом с офисом; внешние программы обучения и участие в конференциях; современный комфортный офис в двух минутах ходьбы от метро Тверская; классную команду профессионалов, где ценят поддержку, возможность дать и получить обратную связь и открытую коммуникацию с любым членом команды.