Formation Hadoop - Cloudera pour architectes et administrateurs
dates des sessions
lieu
Toutes les dates
Objectifs
- Comment élaborer une architecture Hadoop
- Comment Hadoop Distributed File System (HDFS) et YARN/MapReduce fonctionnent
- Comment exploiter et gérer un cluster Hadoop
- Comment configurer Hadoop et ses outils
- Comment mettre en œuvre un cluster Hadoop
- Comment gérer la maintenance des nœuds dans un cluster
- Comment déplacer et gérer les données dans un cluster
- Comment administrer un cluster Hadoop
Public
- Administrateurs systèmes
- Toutes personnes qui gèrent et maintiennent les clusters Apache Hadoop en production ou qui évoluent dans un environnement de développement
Prérequis
- Savoir naviguer et modifier des fichiers dans Linux
- Une connaissance préliminaire d’Hadoop n’est pas exigée
Programme
INTRODUCTION
- Présentation générale d’Hadoop
- Exemples d’utilisation dans différents secteurs
- Historique et chiffres clés : Quand parle-t-on de Big Data ?
- Les possibilités d’implantation de l’infrastructure et les coûts associés
L’ECOSYSTEME D’HADOOP
- Le système de fichier HDFS
- Le paradigme MapReduce et l’utilisation à travers YARN
- Le garant des informations : Zookeeper
- Le système de stockage de la donnée basé sur le socle : HBase
- La présentation de l’architecture globale : où installer les services ?
- La définition du dimensionnement pour un cluster Hadoop
- Les particularités de MapR
INSTALLATION DU SOCLE D’HADOOP
- Installation et configuration manuelle pas-à-pas sur plusieurs machines de : HDFS, YARN, Zookeeper, HBase
MANIPULATION DES DONNEES DANS UN CLUSTER HADOOP
- Architecture, Objectif et fonctionnement de : Hue, Hive, Pig, Oozie, Sqoop, Flume, Spark
- Mise en pratique sur les différents outils
EXPLOITATION D’UN CLUSTER HADOOP
- Architecture, objectif et fonctionnement du Manager : MapR Control System
- Mise en pratique
CONCEPTS D’ARCHITECTURE COMPLEXE
- Architecture en rack : les avantages et fonctionnement et paramétrage du rack awareness
- Scalabilité et performances : le Namenode Federation
- High Availability des serveurs maitres
- Utilisation des snapshots : sauvegarde et restauration
Moyens et Méthodes Pédagogiques
- La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
- Un poste par stagiaire
- Formateur Expert
- Remise d’une documentation pédagogique papier ou numérique pendant le stage
Validation des acquis
- Auto évaluation des acquis par le stagiaire via un questionnaire en fin de formation
- Attestation de fin de stage remise avec la facture