Formation Hadoop - Cloudera pour architectes et administrateurs

Objectifs

• Comment élaborer une architecture Hadoop
• Comment Hadoop Distributed File System (HDFS) et YARN/MapReduce fonctionnent
• Comment exploiter et gérer un cluster Hadoop
• Comment configurer Hadoop et ses outils
• Comment mettre en œuvre un cluster Hadoop
• Comment gérer la maintenance des nœuds dans un cluster
• Comment déplacer et gérer les données dans un cluster
• Comment administrer un cluster Hadoop

Public

• Administrateurs systèmes
• Toutes personnes qui gèrent et maintiennent les clusters Apache Hadoop en production ou qui évoluent dans un environnement de développement

Prérequis

• Savoir naviguer et modifier des fichiers dans Linux
• Une connaissance préliminaire d’Hadoop n’est pas exigée

Programme

INTRODUCTION

• Présentation générale d’Hadoop
• Exemples d’utilisation dans différents secteurs
• Historique et chiffres clés : Quand parle-t-on de Big Data ?
• Les possibilités d’implantation de l’infrastructure et les coûts associés

L’ECOSYSTEME D’HADOOP

• Le système de fichier HDFS
• Le paradigme MapReduce et l’utilisation à travers YARN
• Le garant des informations : Zookeeper
• Le système de stockage de la donnée basé sur le socle : HBase
• La présentation de l’architecture globale : où installer les services ?
• La définition du dimensionnement pour un cluster Hadoop
• Les particularités de MapR

INSTALLATION DU SOCLE D’HADOOP

• Installation et configuration manuelle pas-à-pas sur plusieurs machines de : HDFS, YARN, Zookeeper, HBase

MANIPULATION DES DONNEES DANS UN CLUSTER HADOOP

• Architecture, Objectif et fonctionnement de : Hue, Hive, Pig, Oozie, Sqoop, Flume, Spark
• Mise en pratique sur les différents outils

EXPLOITATION D’UN CLUSTER HADOOP

• Architecture, objectif et fonctionnement du Manager : MapR Control System
• Mise en pratique

CONCEPTS D’ARCHITECTURE COMPLEXE

• Architecture en rack : les avantages et fonctionnement et paramétrage du rack awareness
• Scalabilité et performances : le Namenode Federation
• High Availability des serveurs maitres
• Utilisation des snapshots : sauvegarde et restauration

Moyens et Méthodes Pédagogiques

• La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
• Un poste par stagiaire
• Formateur Expert
• Remise d’une documentation pédagogique papier ou numérique pendant le stage

Validation des acquis

• Auto évaluation des acquis par le stagiaire via un questionnaire en fin de formation
• Attestation de fin de stage remise avec la facture