Formation Hadoop - L'écosystème
dates des sessions
lieu
Toutes les dates
Objectifs
- Faire le point sur les différents éléments de l'écosystème Hadoop et leurs rôles respectifs
- Comprendre l'architecture des applicatifs hadoop
- Connaitre quels sont les apports et les cas d'usage des solutions hadoop
Public
- Chefs de projets, développeurs
- Toute personne souhaitant comprendre les mécanismes Hadoop et le rôle de chaque composant
Prérequis
- Connaissances générales des systèmes d'information
Programme
Introduction
- Rappels sur NoSQL
- Le théorème CAP
- Historique du projet hadoop
- Fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse…
- Exemples de cas d'utilisation sur des grands projets
- Les principaux composants : HDFS pour le stockage et YARN pour les calculs
- Les distributions et leurs caractéristiques (HortonWorks, Cloudera, MapR, EMR, Apache, …)
L'architecture
- Terminologie : NameNode, DataNode, ResourceManager
- Rôle et interactions des différents composants
- Présentation des outils d'infrastructure : ambari, avro, zookeeper
- Gestion des données : pig, oozie, tez, falcon, sqoop, flume
- Interfaçage avec les applications GIS
- Restitution et requêtage : webhdfs, hive, hawq, impala, drill, stinger, tajo, mahout, lucene, elasticSearch, kibana
- Les architectures connexes : spark, cassandra
Exemples interactifs
- Démonstrations sur une architecture Hadoop multi-noeuds
- Mise à disposition d'un environnement pour des exemples de calcul
- Travaux pratiques : intégration de données avec Flume, calculs map/reduce avec Pig, Hive, et Impala
Applications
- Cas d'usages de hadoop
- Calculs distribués sur des clusters hadoop
Moyens et Méthodes Pédagogiques
- La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
- Un poste par stagiaire
- Formateur Expert
- Remise d’une documentation pédagogique papier ou numérique pendant le stage
Validation des acquis
- Auto évaluation des acquis par le stagiaire via un questionnaire en fin de formation
- Attestation de fin de stage remise avec la facture