Напиши текст вакансии для должности "Инженер devops, Hadoop/Эксплуатация". Название компании: "Ozon". Расположение: Санкт-Петербург. График работы: Полный день. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'Python', 'Hadoop', 'Linux', 'Bash', 'Ansible', 'Разработка платформы', 'Prometheus', 'Grafana'

Почему у нас интересно:   У нас большой Hadoop кластер, который вырастет в несколько раз уже в этом году.   Мы готовимся перейти на мульти-ЦОД архитектуру, обеспечив максимальную надежность и доступность данных, что означает построение новых кластеров.   Команде предстоит совместно с инженерами Data Science построить полноценный DataLake на Hadoop.   Мы не сильно обросли legacy, есть возможность определять правила игры, выбирать технологии и подходы.   Есть широкий спектр задач на выбор — от повседневной эксплуатации до творческих rnd и исследований.   Мы — адепты концепции Everything as Code: минимум ручных действий, максимум автоматизации. Мы используем лучшие практики для построения внутренней экосистемы, позволяющей поддерживать множество проектов красиво и эффективно.   Вам предстоит:   Строить, развивать и эксплуатировать кластера Hadoop (HDFS/Hive, HBase, HDP, Ambari, Ranger, Spark, Hue, Yarn)   Сопровождать и развивать сервисы вокруг Hadoop (Jupyter, Airflow, KVM)   Разрабатывать инфраструктурный код для поддерживаемой инфраструктуры (Ansible)   Автоматизировать рутинные задачи, разрабатывать и развивать решения “as a Service”   Обеспечивать устойчивость инфраструктуры к отказам и катастрофам (HA &amp; DR)   Сотрудничать с командой инженеров Data Science (как последняя линия поддержки, &quot;никто кроме вас&quot;)   Траблшутить и мониторить поддерживаемую инфраструктуру и сервисы   Обязательно документировать сервисы   Мы ожидаем от вас:  Большой опыт эксплуатации/развития/построения кластеров на технологиях из стека Apache Hadoop. Понимание концепции хранилищ данных и ETL-процессов.  Умение писать и тестировать инфраструктурный код, понимание концепции Infrastructure as Code.   Понимание принципов, опыт построения отказоустойчивых сервисов и эксплуатации высоконагруженных систем.   Умение автоматизировать рутинные задачи, деплоймент сервисов и инфраструктуры, разрабатывать инструментарий и писать под них тесты (мы пишем на Python/Go/Bash).   Понимание архитектуры, принципов и механизмов работы ОС Linux (управление процессами, файловые системы, сетевой стек) на уровне системного администратора.   Опыт работы с технологиями виртуализации (оркестрация как плюс).   Понимание принципов мониторинга и навыки траблшутинга, как системных, так и прикладных компонентов: какие метрики собирать, куда смотреть при проблемах, какие дашборды для этого нужны (мы используем Prometheus/Grafana).   Что мы предлагаем:  Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе сделать лучший продукт на рынке e-commerce; Свободу действий в принятии решений; Достойный уровень заработной платы; Профессиональную команду, которой мы гордимся; Возможность развиваться вместе с нашим бизнесом.