Напиши текст вакансии для должности "Data Engineer". Название компании: "Приложение «Кошелёк»". Расположение: Санкт-Петербург. График работы: Удаленная работа. Опыт работы: От 1 года до 3 лет. Ключевые навыки: 

Привет! Мы ищем data engineer&#39;а, который поможет нам поддерживать инфраструктуру хранения и обработки десятков терабайт данных. В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами. Всего у команды инженеров данных в нашей компании есть три направления работы: 1) Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов. Сейчас у нас используются MSSQL и Clickhouse. Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных. До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы поднимаем Greenplum. Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink&#39;ом. Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало и улучшать. 2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное. Для этого используются Airflow и Flink. 3) Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи. Мы ожидаем, что у тебя есть:  опыт поддержки инфраструктуры данных (devops, аналитические базы данных, ETL-инструменты, BI-инструменты); опыт коммерческой разработки (предпочтительно Python и Java); опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка); понимание принципов работы big data стека; опыт работы с терабайтами данных; умение работать с аналитиками (запросы на витрины данных и автоматизацию); желателен опыт администрирования и работы с Greenplum и Clickhouse; желателен опыт с Airflow, Flink и Minio.  Со своей стороны предлагаем:  участие в развитии полезного и популярного приложения; работу с сильной инженерной командой; оформление по ТК РФ, ДМС с первого дня работы; оплату мобильной связи, компенсацию оплаты питания; гибкий график работы, возможна полностью удалённая работа; welcome-бонус для кандидатов из других городов; оплату профильных курсов и конференций; спорт шесть раз в неделю в офисе — йога и силовые тренировки; командные мероприятия;  комфортные офисы в Санкт-Петербурге и Москве.