Formation Hadoop - Cloudera Hortonworks pour développeurs
Objectifs
- Apprendre à définir et à développer des applications MapReduce(Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0.
- Les participants à ce cours apprendront à exploiter toute la puissance d’Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leurs de cluster Hadoop
Public
- Développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop
Prérequis
- Nécessite une expérience dans le développement, si possible avec Java
- Une connaissance préliminaire d’Hadoop n’est pas exigée
Programme
INTRODUCTION
- Présentation générale d’Hadoop
- Exemples d’utilisation dans différents secteurs
- Historique et chiffres clés : Quand parle-t-on de Big Data ?
HDFS : INTERFACAGE AVEC JAVA
- Le système de fichier Hadoop Distributed File System (HDFS)
- Lecture et écriture sur le HDFS
- Manipulation des types de fichier SequenceFile
- Qu’est-ce que le DistributedCache et comment partager les références ?
MAPREDUCE/YARN : PRINCIPE ET DEVELOPPEMENT JAVA
- Le paradigme MapReduce et l’utilisation à travers YARN
- Implémentation de problématiques réelles avec le paradigme MapReduce
- Implémentation de problématiques plus complexes
- Utilisation des combinateurs et partitionners
- Les bonnes pratiques pour le développement des applications MapReduce
MANIPULATION DES DONNEES AVEC UN QUERY LANGUAGE ET JAVA
- Présentation et fonctionnement de HBase, Hive et PIG
- HBase et Hive : JDBC et requêtes
- Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
- Pig : Développement et intégration avec JAVA
- Extension de PIG avec des fonctionnalités développées : UDF (User-Defined Functions)
Moyens et Méthodes Pédagogiques
- La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
- Un poste par stagiaire
- Formateur Expert
- Remise d’une documentation pédagogique papier ou numérique pendant le stage
Validation des acquis
- Auto évaluation des acquis par le stagiaire via un questionnaire en fin de formation
- Attestation de fin de stage remise avec la facture