Напиши текст вакансии для должности "Big Data Developer". Название компании: "АЙТИ.СПЕЙС". Расположение: Москва. График работы: Удаленная работа. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'Jupyter Notebook', 'Big Data', 'SCALA', 'Python', 'Hadoop', 'ETL', 'Linux', 'SQL', 'DWH'

Мы занимаемся разработкой, внедрением и сопровождением программного обеспечения для высокотехнологичных заказчиков.Сейчас нам очень нужен Big Data developer. Описание проекта: АНАЛИТИЧЕСКАЯ BIGDATA -ПЛАТФОРМА В ЦИФРАХ: • 240 млрд фактов по кодам маркировки • 3Пб объем данных в HDFS • 8 кластеров, больше 6000 ядер Текущий стэк аналитической команды: • Hadoop: Yarn/HDFS/HBase/Phoenix • ClickHouse • Spark/Spark Streaming/Spark SQL/Scala • Hive • Airflow • Parquet/Hudi • Zeppelin/Jupyter Notebook Требуемые навыки: • Опыт разработки как batch, так и streaming ETL процессов в информационных системах типа Информационных Хранилищ (они же КХД, DWH и т.п.) • Хорошие знания и опыт применения SQL запросов для 2-3 распространённых СУБД • Опыт работы с продуктами Hadoop, Spark, AirFlow • Навыки разработки на одном из распространённых языков программирования: Java/Scala, SQL (хранимые процедуры), Python, bash • Опыт автоматизированного тестирования ETL процессов • Работа с OS Linux/Unix Условия: • возможна удаленная работа • гибкий график • оформление в соответствии с ТК, либо как ИП (предпочтительно)