Position: Principal/Architect Big Data Engineer (The Human Defense Platform)
Company: Sigma
Category: Data Engineer
Experience: 5y
English level: fluent

Ми шукаємо Архітектора Data-інженера, який має досвід роботи з хмарними технологіями, великими даними та розподіленими системами, приєднатися до нашої команди інженерії даних.

Що ми пропонуємо:

— Проєкт з нуля

— Керівництво досвідченою командою

— Можливість приймати технічні рішення та обирати технології

Ти станеш частиною першої ланки команди HUMAN, яка допоможе захистити компанії (а також їхніх клієнтів) від ризиків для доходів та репутації, спричинених зловмисними ботами.

Наш стек технологій: Golang, Airflow, BigQuery, Snowflake, GCP, Docker, Kafka, MongoDB, Redis та інші.

КЛІЄНТ

Компанія Human була заснована у 2012 році в Брукліні. Почавши з малого, ми врешті створили Human Defense Platform — фундамент всіх наших продуктів, який захищає підприємства від складних бот-атак, шахрайства та зловживань з акаунтами. Сьогодні ми перевіряємо безпеку понад 20 трильйонів взаємодій на тиждень для найбільших компаній та інтернет-платформ.

ПРОЄКТ

Ти приєднаєшся до нас у захоплюючий момент історіі HUMAN: ми об’єднали зусилля з двома великими компаніями в рамках злиття, яке змінить ринок. Разом під брендом HUMAN ми руйнуватимемо економіку кіберзлочинності. Сподіваємось, що ти приєднаєшся до нас у цій місії.

ОБОВ’ЯЗКИ

— Спроєктувати архітектурне рішення, яке об’єднає платформи даних двох гігантських компаній (а згодом і третьої)

— Досягти найкращого варіанту обґрунтування рішення

— Тісно співпрацювати з різними командами різних відділів, обговорюючи та підтверджуючи реалістичність, узгодженість, інноваційність та ефективність рішення

— Очолювати весь робочий цикл, беручи активну участь у конвеєрах розробки

ВИМОГИ

— Щонайменше 7+ років професійного досвіду розробки програмного забезпечення

— Щонайменше 5+ років досвіду розробки додатків для роботи з даними на Golang, Scala, Java та Python. Обов’язковий практичний досвід написання коду

— Глибокі знання з моделювання даних

— Попередній успішний досвід побудови сховища даних, озера даних або іншої парадигми моделей даних

— Сильні практики регулювання даних, з розумінням того, як реалізувати: нагляд за даними, якість даних, управління життєвим циклом даних, безпеку даних

— Майстерність у створенні пакетних і потокових (як в режимі реального часу, так і мікропакетних) конвеєрів даних

— Глибокі знання побудови, масштабування та управління конвеєром великого обсягу даних у хмарі (перевага надається GCP) з нуля

— Досвід у створенні проєктів рішень та архітектури великого масштабу, яка балансує між різними типами обмежень

— Сильні знання баз даних. Досвід роботи з реляційними базами даних (OLTP та OLAP) та з рішеннями NoSQL. Навички роботи з запитами DDL/DML/SQL

— Добре володіння інструментами обміну великими обсягами даних, такими як Kafka (обов’язково)

— Експерт з сучасних хмарних рішень для баз даних OLAP (наприклад, Snowflake, BigQuery, Redshift) для управління сховищем даних

— Здатність брати на себе відповідальність за технічні та інженерні рішення на проєкті

— Досвід підготовки пропозицій та написання документів з вмінням визначати плюси та мінуси

— Англійська мова на рівні Advanced

БУЛО Б ПЛЮСОМ

— Досвід проведення подібних міграцій раніше

ПЕРСОНАЛЬНИЙ ПРОФІЛЬ

Ми шукаємо людину, яка постійно самовдосконалюється, має орієнтований на результат світогляд, прагне пропонувати якісні рішення, відкрита до отримання зворотного зв’язку, дотримується взятих на себе зобов’язань та володіє ефективними комунікативними навичками

____________________________________________________________________________________________________

We are looking for a passionate Principal/Architect Big Data Engineer with experience in cloud technologies, Big Data, and distributed systems to join our Data Engineering team.

WHAT WE OFFER:
- project from scratch
- leading experienced team
- ability to make technical decisions, choose technologies

You will be a part of the HUMAN front line in our commitment to helping protect companies (and their customers in turn) from both revenue and reputation risk caused by malicious bots.

Our Technologies stack: Golang, Airflow, BigQuery, Snowflake, GCP, Docker, Kafka, MongoDB, Redis, and more.

CUSTOMER

HUMAN was founded in 2012 in Brooklyn. Our humble beginnings led to the creation of the Human Defense Platform, the backbone of all our products that safeguards enterprises from sophisticated bot attacks, fraud, and account abuse. Today we verify the humanity of more than 20 trillion interactions per week for some of the largest companies and internet platforms.

PROJECT

You’ll be joining us at an exciting moment in the HUMAN story: we joined forces with two big companies in a market-changing merger. Together under the HUMAN brand, we will disrupt the economics of cybercrime. We hope you can join us in that mission.

RESPONSIBILITIES
- Design an architectural solution that will merge data platforms of the two giant companies (and later the third one)
- Achieve the best-fit solution statement
- Work tightly with different teams from different departments, discussing and confirming feasibility, consistency, innovation, and efficiency of the solution
- Lead the whole work-cycle by taking active part in development pipelines

REQUIREMENTS
- At least 7+ years of professional software development experience
- At least 5+ years of working experience of developing data applications in Golang, Scala, Java, and Python. Hands-on coding experience required
- Strong knowledge of data modeling
- Previous success experience of building data warehouse, data lake or other data modelling paradigm Strong data governance practices, with understanding of how to implement: data stewardship, data quality, data lifecycle management, data security
- Proficiency in creating batch and streaming (both real-time and micro-batch) data pipelines
- Deep knowledge of building, scaling, and managing a large-scale data pipeline in the cloud (GCP preferred) from the ground up
- Experience in creating solution designs and large-scale architecture balancing between various types of constraints
- Strong database knowledge. Experienced with relational DBs (OLTP and OLAP) and with NoSQL solutions. Hands on DDL/ DML/ SQL queries
- Well-versed in large-scale messaging tools such as Kafka (must)
- Expert at cloud based modern OLAP database solutions (e.g., Snowflake, BigQuery, Redshift) for managing data warehouse
- Ability to take responsibility for technical and engineering decisions on the project
- Experience in proposals and write-up with proven ability to determine pros and cons
- Advanced level of English

NICE TO HAVE:
- Experience in similar migrations before would be a huge plus

PERSONAL PROFILE

We are looking for a person who is permanently working on self-development, has a goal-oriented way of thinking, strives to provide high-quality solutions, is open to feedback, keeps his or her commitment, and has effective communication skills