Position: Big Data Engineer
Company: DataLabs UA
Category: Data Engineer
Experience: 2y
English level: intermediate

DataLabs – консалтингова бутік-компанія, яка надає комплексні рішення для вилучення, аналізу та візуалізації великих обсягів даних із різних джерел. 

Наша мета – розкрити весь потенціал даних клієнта та перетворити їх на цінну інформацію для успішного ведення бізнесу. 

Обов’язки: 

* Дослідження, проєктування та розробка відповідних алгоритмів для збору, обробки та аналізу великих даних;  
* Вибір та інтеграція інструментів та платформ для роботи з великими даними; 
* Визначення зовнішніх та внутрішніх джерел великих даних для проведення аналітичних робіт; 
* Отримання, обробка великих обсягів даних із гетерогенних джерел даних, розробка методів та регламентів необхідних ETL-процесів; 
* Розробка масштабованої та надійної інфраструктури обробки даних для задоволення потреб; 
* Визначення та розробка вибіркових конвеєрів даних задля узгодження розрізнених джерел даних; 
* Розробка структури обробки даних для отримання, очищення, узгодження та зберігання оброблених даних в озері даних або сховищі даних; 
* Виявлення та усунення проблем з якістю даних; 
* Виявлення  та створення платформи для автоматизації розгортання та інтеграції коду; 
* Розробка якісного коду та бібліотек; 
* Розробка конвеєрів CI/CD та середи контроля версій; 
* Розробка необхідних аналітичних звітів, розрізів і агрегатів великих даних; 
* Оцінка відповідності наборів даних предметній галузі та задачам аналітичних робіт; 
* Керування життєвим циклом даних (процеси отримання, розміщення, зберігання, розподілення, міграції, архівування та видалення великих даних); 
* Перетворення цілей високого рівня на досяжні, тестовані та вимірні функціональні специфікації; 
* Розробка рішень, які відповідають політикам безпеки та управління даними; 
* Надання доступу до даних; 
* Виявлення аномалій та аудит, моніторинг продуктивності. 

Вимоги: 

* Досвід роботи з великими даними; 
* Знання мов програмування (SQL, Java, Python, Scala, Shell та інших); 
* Знання та розуміння технологій (Spark, Databricks та інших); 
* Досвід в галузі будування сховищ даних та процесів видобутку, обробки та трансформування даних; 
* Досвід у моделюванні та аналізі даних; 
* Досвід інтеграції даних різних форматів та з декількох джерел; 
* Досвід у роботі з базами даних (Postgres, MongoDB та інших); 
* Знання інструментів управління даними; 
* Англійська мова – Intermediate та вище; 
* Знання Agile / Scrum  та принципів управління проектами (як додатковий плюс) 
* Висока мотивація; 
* Сильні комунікативні навички та навички роботи в команді