Напиши текст вакансии для должности "Специалист по Big Data, Hadoop / Инженер данных / Data Engineer". Название компании: "Либерум Навитас". Расположение: Санкт-Петербург. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 

Обязанности:  Администрирование кластеров Apache Hadoop (HDP, CDP): установка, настройка, решение проблем, оптимизация производительности Работа с DWH, проектирование схем для хранения данных Загрузка данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH Автоматизация data-pipelines, ETL процессов Организация и поддержка миграции данных из различных источников Поиск ошибок и аномалий в данных, автоматизация проверок качества данных Подготовка витрин данных Подготовка и поддержание в актуальном состоянии каталога метаданных Организация CI/CD и мониторинга процессов обработки данных  Требования:  Высшее образование Опыт работы от 3-х лет Уверенный Linux администратор (память, процессоры, ввод-выводы (сетевой, дисковый), файловые системы, системы пакетов Стек технологий уверенный: Java, GRPC, Python (ETL utilities for python developers and scheduling), Scala, Spark, Airflow (backfilling and scheduling tasks), Apache Hadoop 3 (HDFS, Parquet), Apache Zeppelin, Apache Druid, Jupiter, Docker, Swarm Технический английский язык Уверенное знание архитектур, особенностей и применения SQL и No-SQL баз данных Опыт работы с системами очередей сообщений Опыт работы с поисковыми системами (Elastic и т.п)  Условия:  Удаленная работа Оформление по ИП либо Самозанятому График работы с 7:00 по МСК Хорошая компенсация по результатам собеседования