Position: Data Engineer with ML experience (AdTech)
Company: Sigma Software
Experience required: 5y
Category: Data Engineer
English level: upper
Published: 2023-03-01T00:00:00+02:00

We are seeking a Senior Data Engineer to join the a4 Engineering team. In this role, you will design and develop frameworks, tools, and processes for reliably ingesting and processing vast amounts of data within our various systems. The successful candidate will have considerable data engineering and data modeling experience, along with machine learning (ML) experience. We are looking for someone who has a working knowledge of statistics and is proficient in designing models for implementation in applications. This is an exciting opportunity to work with a team that is redefining the vision we have for our customers, enterprises, advertisers, and our people. 

**Сustomer**
Our customer is a major broadband communications and video services provider in the United States. It is a convergent global leader in telecom, content, media, entertainment, and advertising. The client was founded in 2001 and is committed to continuous innovation to provide the best services to its customers. 

**Project** 
As a Senior Data Engineer, you will work on a project that involves designing and developing frameworks, tools, and processes for reliably ingesting and processing vast amounts of data within our various systems. You will also work on machine learning models and implement them in applications. The project offers a great opportunity for personal and professional growth, as you will work with a highly collaborative and innovative team. 


**Responsibilities**
- Design and develop frameworks, tools, and processes for reliably ingesting and processing vast amounts of data within our various systems 
- Write advanced SQL queries for data structuring and job processing, and have experience with NoSQL data sources 
- Demonstrate experience with large relational databases and advanced understanding of data warehouse operations 
- Show fluency and ability to demonstrate coding experience in Python or C# 
- Demonstrate proficiency in statistical modeling and programming based on Python or another object-oriented language, knowledge of statistical algorithms, and code block implementation 
- Provide data processing and scripting solutions for implementation on short timescales and communicate with analytics engineers and software development teams 
- Have knowledge of GraphQL/Apollo, Azure Data Factory, and Airflow 


**Requirements**  
- 5+ years of relevant working experience 
- 3+ years of experience as a Python coder and adept at reading, writing, troubleshooting, and understanding Python and statistical models 
- Strong SQL programming skills, data structure in relational databases, data manipulation, and transformation knowledge are required 
- Experience with cloud environments and server management 
- Experience with multi-billion record datasets 
- Experience scripting and deploying ETL jobs, cron jobs, and code changes 
- Fluency with Airflow and/or Data Flow preferred 
- Experience with TDD, pair programming, and SOLID Principles  
 
Nice to have skills: 
 
- Experience working in Media, Television, or Digital Marketing 
- Experience working in Big Query and Google Cloud Server environments is a plus 
- Bachelor's/Master’s Degree in Computer Science/Computer Engineering/Information Science/Mathematics or equivalent field  

**Personal profile** 
- Communicative, collaborative, and open-minded, with a track record of working cross-functionally 
- Team-oriented and collaborative approach with a demonstrated aptitude and willingness to learn new methods and tools  
- Excited to explore technologies, develop new skills, and share knowledge 
 
Ми шукаємо Senior Data-інженера приєднатися до команди a4 Engineering. На цій посаді ти займатимешся проєктуванням та розробкою фреймворків, інструментів та процесів для надійного отримання та обробки великих обсягів даних у наших різноманітних системах. Найкращий кандидат матиме значний досвід в інженерії та моделюванні даних, а також досвід машинного навчання (ML). Ми шукаємо людину, яка володіє практичними знаннями у галузі статистики та майстерно проєктує моделі для їх впровадження в додатки. Це чудова можливість попрацювати з командою, яка переосмислює бачення щодо наших клієнтів, підприємств, рекламодавців та наших працівників. 

**Клієнт**
Наш клієнт - провідний провайдер широкосмугового зв’язку та відеопослуг у Сполучених Штатах. Це світовий лідер у сфері телекомунікацій, контенту, медіа, розваг та реклами. Компанію було засновано у 2001 році і вона прагне до постійних інновацій, щоб надавати своїм клієнтам найкращі послуги.  

**Проєкт**
Як Senior Data-інженер ти працюватимеш над проєктом, який передбачає створення та розробку фреймворків, інструментів та процесів для надійного отримання та обробки великого обсягу даних у наших різноманітних системах. Також ти працюватимеш над моделями машинного навчання та впроваджуватимеш їх у додатки. Проєкт пропонує чудову можливість особистого та професійного розвитку, оскільки ти працюватимеш у інноваційній команді з високим рівнем співпраці.  

**Обовʼязки**
- Проєктувати та розробляти фреймворки, інструменти та процеси для надійного отримання та обробки великих обсягів даних в наших різноманітних системах 
- Писати складні SQL-запити для структурування даних та обробки завдань, а також мати досвід роботи з джерелами даних NoSQL 
- Мати досвід роботи з великими реляційними базами даних та поглиблене розуміння операцій зі сховищами даних 
- Вільне володіння та здатність продемонструвати досвід кодування на Python або #C 
- Демонструвати професійні навички статистичного моделювання та програмування на основі Python або іншої об’єктно-орієнтованої мови, знання статистичних алгоритмів та реалізації блоків коду 
- Пропонувати рішення щодо обробки даних та написання сценаріїв для їх реалізації в короткі терміни, а також співпрацювати з інженерами-аналітиками та командами розробників програмного забезпечення 
- Знання GraphQL/Apollo, Azure Data Factory та Airflow 

**Вимоги**
- 5+ років відповідного досвіду роботи 
- 3+ досвіду роботи в якості Python-програміста, а також вміння читати, писати, усувати несправності та розуміти мови Python та статистичних моделей 
- Обов’язковими є сильні навички програмування на SQL, знання структури реляційних баз даних, а також управління та трансформації даних 
- Досвід роботи з хмарними середовищами та управлінням серверами 
- Досвід роботи з багатомільярдними наборами записів даних 
- Досвід написання сценаріїв та впровадження завдань ETL  або cron та змін коду 
- Бажано вільне володіння Airflow та/або Data Flow 
- Досвід роботи з TDD, парним програмуванням та SOLID Principles 

Бажані навички: 
 
- Досвід роботи в медіа, телебаченні або цифровому маркетингу 
- Досвід роботи в середовищах Big Query та Google Cloud Server є перевагою 
- Ступінь бакалавра/магістра в галузі комп’ютерних наук/ комп’ютерної інженерії/ інформатики/ математики та в аналогічних галузях 

**Персональні якості**
- Комунікабельність, готовність до співпраці та відкритість, з досвідом крос-функціональної роботи 
- Орієнтованість на командну та спільну роботу з продемонстрованою здатністю та бажанням вивчати нові методи та інструменти 
- Зацікавленість у вивченні технологій, розвитку нових навичок та обміні знаннями