Напиши текст вакансии для должности "Middle / Senior / Lead Big Data developer". Название компании: "ЦРПТ (Центр развития перспективных технологий)". Расположение: Москва. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'SQL', 'Анализ данных', 'СУБД', 'Java', 'Python', 'Bash', 'ETL'

О компании: Мы создаем единую распределенную систему масштаба страны, которая преобразит опыт совершения покупок, а именно позволит &quot;оцифровать&quot; каждую единицу товара уже к 2025 году. Это позволит каждому покупателю быть уверенным в качестве и происхождении товара, а производителям и продавцам - не только уменьшить долю неоригинальной продукции на рынке, но и оптимизировать производственно-логистические процессы и сократить издержки за счет возможностей аналитической подсистемы. Уже сейчас система обрабатывает миллиарды транзакций ежедневно и оперирует петабайтами данных на скоростях десятки тысяч запросов в секунду. О команде: Команда занимается построением и развитием высоконагруженных аналитических сервисов для уникальной глобальной всероссийской информационной системы. АНАЛИТИЧЕСКАЯ BIGDATA -ПЛАТФОРМА В ЦИФРАХ:   240 млрд фактов по кодам маркировки   3Пб объем данных в HDFS   8 кластеров, больше 6000 ядер   ТЕКУЩИЙ СТЕК АНАЛИТИЧЕСКОЙ КОМАНДЫ:   Hadoop: Yarn/HDFS/HBase/Phoenix   ClickHouse   Spark/Spark Streaming/Spark SQL/Scala   Hive   Airflow   Parquet/Hudi   Zeppelin/Jupyter Notebook   Задачи, которые предстоит решать:  Проектирование и разработка процессов обработки большого объема данных (как batch, так и stream processing), а также системы их интеллектуальной агрегации), разработка модульных автоматизированных тестов Проработка алгоритмов преобразования данных для подготовки аналитических агрегатов и выборок на их основе Участие в организации нагрузочного и функционального тестирования  Пожелания к опыту:   Опыт разработки как batch, так и streaming ETL процессов в информационных системах типа Информационных Хранилищ (они же КХД, DWH и т.п.)   Хорошие знания и опыт применения SQL запросов для 2-3 распространённых СУБД   Опыт работы с продуктами Hadoop, Spark, AirFlow   Навыки разработки на одном из распространённых языков программирования: Java/Scala, SQL (хранимые процедуры), Python, bash   Опыт автоматизированного тестирования ETL процессов   Работа с OS Linux/Unix   Приветствуется:   Понимание принципов линейного масштабирования СУБД и прикладных систем   Знания и опыт работы с продуктами СУБД Clickhouse, Kafka, Nifi   Понимание и опыт использования docker контейнеров   Опыт работы с решениями/системами CI/CD   Что вам точно понравится:  Сложные и интересные задачи, работа с реально большими объемами данных и современным востребованным стеком. Возможность поработать с новыми технологиями и прокачать скиллы, постоянно развиваться. Молодая, экспертная, увлеченная и талантливая команда, у которой можно многому научиться, культура открытости и взаимопомощи. Конкурентная ЗП, оформление по ТК РФ. ДМС со стоматологией после испытательного срока, ДМС для семьи с корпоративными скидками. Страхование жизни и здоровья. Корпоративный психолог. Baddy-поддержка во время адаптации. Обеспечиваем рабочей техникой на базе последних MacBook / Windows. Возможность участия в митапах, конференциях. Гибкое начало рабочего дня. Возможность работать удаленно/частично удаленно, в офисе в Москве или Санкт-Петербурге. Корпоративный мерч. “Кафетерий” льгот (возмещение расходов на любое самообразование, спорт, ДМС для членов семьи, доступ к ИТ сервисам и т.д)