Design d’une pipeline de données cloud-native avec AWS (Arnaud Koster)
Channel: Voxxed Days Luxembourg
Date: 01/07/2022

Voxxed Days Luxembourg 2022
Room: NT
Type: Conference

Avec plus de 200 services AWS disponibles, il est parfois difficile de s'y retrouver et de démarrer le design de sa nouvelle application. A mes yeux, cet ensemble de services est une opportunité pour utiliser les bons outils, les bonnes technos, pour faire le job.

Aujourd'hui, nous allons donc nous pencher sur la conception d'une pipeline de données cloud-native (et serverless) avec AWS, capable de se mettre à l'échelle tout en restant efficace d'un point de vue des coûts.

Pour ce faire, nous allons progressivement architecturer la pipeline en couvrant les 6 grands domaines (Data ingestion, Storage, Cataloging, Processing, Consumption, Security & Governance), le tout en utilisant uniquement les services d'AWS dits cloud-native et serverless.