IOT & BIG DATA For Supporting and Developing Business

COURSE DESCRIPTION
Title

IOT & BIG DATA For Supporting and Developing Business

Period17-20/12/2017

Objectives

Le développeur Big Data après ce cours peutcomprendre le concept de Big Data, créer des requêtes
orientées des méga-données structurées, semistructurées et non-structurées. Conprendre Hadoop etles projets crées la dessus.
Pre-requisites :Connaissance generale de programmation et aussi des des systems degestion de base de données classiques.

Duration

4 jourLEARNING OUTCOMES
A la fin de cette formation vous devez être capable de :
Comprendre le concept de Hadoope écosystème et son implémentation
Ecrire des programmes de MapReduces.
Comprendre le concept de système de fichiers HDFS
Comprendre les projets de moteurs de recherché orientés Hadoop comme HIVE, HBASE, BIG SQL
Comprendre l'analyse des textes non-structurés
Les langages de requêtages orientés des données non-structurées

TARGET AUDIENCE
Ingénieurs, IT admistrateurs, Techniciens en informatique, des consultants et des adminstrateurs de bases dedonnées

TRAINERBIOGRAPHY
Actuellement, Maher HENI enseignant (Maître assistant à ISI KEF)
chercheur au laboratoire Innov'COM@ l'école Supérieur deCommunication SUP'COM, à TUNIS. Docteur ingénieur en Télécom
depuis Juin 2013.
Mon diplôme d'ingénieur est obtenu en 2008, de l'école nationaled'ingénieurs de Tunis(ENIT) suite à un PFE de recherche effectué ausein du laboratoire CITI @ INSA-Lyon sous la direction de Mme
Isabelle AUGE-BLUM portant comme thème l'évaluation desperformances des protocoles de routages pour les réseaux de capteurssans fil.

CONTACTMon diplôme de Mastère est obtenu en 2009, de l'école nationaled'ingénieurs de Tunis(ENIT) suite à un stage de Mastère 2 effectué ausein de l'Institut d'Electronique Fondamentale à l'Université de ParisSUD sous la tutelle de Mme Véronique VEQUE autour de l'optimisationénergétique dans les réseaux Ad Hoc. Simulations effectué avec JISTSWANS utilisant le langage de programmation JAVA.
Ma thèse de doctorat été une continuation sur le même thème deMastère2, la proposition de nouvelle approches pour l'optimisation dela consommation énergétique dans les réseaux sans fil soutenu en
JUIN 2013 avec la mention "très honorable". Mes travaux de thèse ont
fait l’objet de publications dans des revus et conférencesinternationales avec comité de lectures. J'ai aussi publié le rapport dethèse en tant que livre dans l'édition de publication européenne.
TRAINING SCHEDULE
jour 1
17/ 12 / 2018

Course's Content (Time)o Présentation d'Hadoopo Évaluer la valeur que peut apporter Hadoop à l'entrepriseo Examiner l'écosystème d'Hadoopo Choisir un modèle de distribution adaptéo Défier la complexité de la programmation parallèle
o Examiner les difficultés liées à l'exécution de programmes
parallèles : algorithmes, échange des donnéeso Évaluer le mode de stockage et la complexité du Big Datao Programmation parallèle avec MapReduceo Fragmenter et résoudre les problèmes à grande échelleo Découvrir les tâches compatibles avec MapReduceojour 2
18 /12 / 2017

oRésoudre des problèmes métier courants

Course's Content (Time)o Appliquer le paradigme Hadoop MapReduceo Configurer l'environnement de développemento Examiner la distribution Hadoopo Étudier les démons Hadoopo Créer les différents composants des tâches MapReduceo Analyser les différentes étapes de traitement MapReduce :fractionnement, mappage, lecture aléatoire et réductiono Créer des tâches MapReduce complexeso Choisir et utiliser plusieurs outils de mappage et de réduction,
exploiter les partitionneurs et les fonctions map et reduce
intégrées, coordonner les tâches avec le planificateur de workflowsOozie, rationaliser les tâches dans différents langages deprogrammation2

o Résoudre les problèmes de manipulation des données
Exécuter les algorithmes : tris, jointures et recherches parallèles,analyser les fichiers journaux, les données des média sociaux et lescourriels Mise en œuvre des partitionneurs et des comparateurs
oIdentifier les algorithmes parallèles liés au réseau, au processeur et aux E/S dedisqueo Répartir la charge de travail avec les partitionneurso Contrôler l'ordre de groupement et de tri avec les comparateurs
o Mesurer les performances avec les compteurso Bien-fondé des données distribuées
o Optimiser les performances du débit des donnéeso Utiliser la redondance pour récupérer les donnéeso Interfacer avec le système de fichiers distribué Hadoopo Analyser la structure et l'organisation du HDFSo Charger des données brutes et récupérer le résultat
o Lire et écrire des données avec un programmeo Manipuler les types SequenceFile d'Hadoopo Partager des données de référence avec DistributedCacheoojour 3
19 /12 / 2017jour 4
20/12 / 2017Course's Content (Time)Structurer les données avec HBaseo Passer du stockage structuré au stockage non structuréo Appliquer les principes NoSQL avec une application de modèle à lalecture, se connecter à HBase à partir des tâches MapReduce,comparer HBase avec d'autres types de magasins de donnéesNoSQLo Exploiter la puissance de SQL avec Hiveo Structurer bases de données, les tables, les vues et les partitionso Extraire, transformer et charger les donnéeso Lancer des requêtes avec HiveQLo Accéder aux servers Hive via IDBC, ajouter des fonctionnalités àHiveQL avec les fonctions définies par l'utilisateur
oCourse's Content (Time)

Exécuter des workflows avec Pigo Développer des scripts Pig Latin pour consolider les workflows,intégrer des requêtes Pig à Javao Interagir avec les données par le biais de la console Grunto Étendre Pig avec les fonctions définies par l'utilisateuro Tester et déboguer le code Hadoopo Enregistrer des événements importants à auditer et à déboguer
o Valider les spécifications avec MRUnito Déboguer en mode localo3

Déployer, surveiller et affiner les performanceso Déployer la solution sur un cluster de production, utiliser des outils
d'administration pour optimiser les performances, surveiller
l'exécution des tâches via les interfaces utilisateur webo4