Напиши текст вакансии для должности "Python-разработчик". Название компании: "Иннотех, Группа компаний". Расположение: Москва. График работы: Удаленная работа. Опыт работы: От 3 до 6 лет. Ключевые навыки: 'Hadoop', 'Python', 'Spark', 'Hive', 'Git'

Только ленивый не говорит о Big data, но что это такое и как это работает — понимает вряд ли. Начнём с самого простого — терминология. Говоря по-русски, Big data — это различные инструменты, подходы и методы обработки как структурированных, так и неструктурированных данных для того, чтобы их использовать для конкретных задач и целей. В современном мире Big data — социально-экономический феномен, который связан с тем, что появились новые технологические возможности для анализа огромного количества данных. Фактически, Big data — это решение проблем и альтернатива традиционным системам управления данными. Объёмы неоднородной и быстро поступающей цифровой информации обработать традиционными инструментами невозможно. Сам анализ данных позволяет увидеть определённые и незаметные закономерности, которые не может увидеть человек. Это позволяет оптимизировать все сферы нашей жизни — от государственного управления до производства и телекоммуникаций. Это и есть наш увлекательный проект в банке ВТБ. Задача: участие в разработке инновационного продукта для работы с данными и построения моделей в Банке. Обязанности:  коммуникация с аналитиком; изучение и проработка бизнес-требований, составленных аналитиком; реализация ETL-процессов на Python и Spark на основании бизнес-требований; реализация механизмов работы с внешними системами (брокеры сообщений, базы данных); реализация авто-тестов; построение CI/CD пайплайнов; проведение ревью-кода других разработчиков;  Мы ждем от вас:  опыт разработки на Python от 3 трех лет; опыт работы с Airflow или другими планировщиками; опыт работы с брокерами сообщений; знание основных алгоритмов и структур данных; знание SQL, Hive/Impala, Spark; умение работать с системами контроля версий (git); будет плюсом если у тебя есть: понимание особенностей СУБД – Hadoop, PostgreSQL; понимание концепций непрерывной интеграции и доставки; понимание подходов к оптимизации производительности Python и Spark приложений; знание Kubernetes.  Мы предлагаем:  оформление по ТК РФ, ДМС; возможность работы удаленно; команда профессионалов, готовых делиться опытом; социальный пакет, включающий ДМС, страхование выезжающих за рубеж; льготное кредитование, программа корпоративных скидок; профессиональные обучающие курсы и конференции в России и за рубежом.