Formation Hadoop - Data Analyst : Analyse de données en environnement

Objectifs

• Comment Hadoop Distributed File System (HDFS) et YARN/MapReduce fonctionnent
• Comment explorer HDFS
• Comment suivre l’exécution d’une application YARN
• Comment fonctionnent et comment utiliser les différents outils de manipulation de la donnée :
• Hue : Utilisation de l’interface unifiée
• Hive, Pig : Les générateurs de MapReduce
• Tez : L’optimisation des générateurs de MapReduce
• Sqoop : Comment importer les données de l’entreprise dans un cluster Hadoop?
• Oozie : Comment organiser les exécutions des différentes applications ?

Public

• Toutes personnes qui devront manipuler les données dans un cluster Apache Hadoop

Prérequis

• Avoir une expérience dans la manipulation de données
• Une connaissance préliminaire d’Hadoop n’est pas exigée

Programme

INTRODUCTION

• Présentation générale d’Hadoop
• Exemples d’utilisation dans différents secteurs
• Historique et chiffres clés : Quand parle-t-on de Big Data ?

L’ECOSYSTEME D’HADOOP

• Le système de fichier HDFS
• Le paradigme MapReduce et l’utilisation à travers YARN

MANIPULATION DES DONNEES DANS UN CLUSTER HADOOP

• Hue : Comment fonctionne cette interface web ?
• Hive : Pourquoi Hive n’est pas une base de données ?
• Requête sur Hive
• Utilisation de HCatalog
• Utilisation avancée sur Hive
• Utilisation de fonctions utilisateurs
• Paramétrage de requête

Pig : Fonctionnement de Pig

• Programmation avec Pig Latin
• Utilisation du mode Local
• Utilisation de fonctions utilisateurs

Tez : Qu’est-ce que Tez ?

• Comment et quand l’utiliser ?

Oozie : Fonctionnement de Oozie

• Création de Workflows avec Oozie
• Manipulation des workflows
• Ajout d’éléments d’exploitation dans les workflows
• Ajout de conditions d’exécution
• Paramétrage des workflows

Sqoop : A quoi sert Sqoop ?

• Chargement des données depuis une base de données relationnelle
• Chargement des données depuis Hadoop
• Utilisation et paramétrage avancée
• Les particularités des distributions : Impala, Hawq
• Quelles sont les bonnes pratiques d’utilisation des différents outils ?

Moyens et Méthodes Pédagogiques

• La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
• Un poste par stagiaire
• Formateur Expert
• Remise d’une documentation pédagogique papier ou numérique pendant le stage

Validation des acquis

• Auto évaluation des acquis par le stagiaire via un questionnaire en fin de formation
• Attestation de fin de stage remise avec la facture