Objectifs

Cette formation Hadoop – Hortonworks pour développeurs permettra aux programmeurs Java une étude en profondeur dans les développements des applications Hadoop 2.0. Les participants apprendront à définir et à développer des applications MapReduce(Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0. Les participants à ce cours apprendront à exploiter toute la puissance d’Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leurs de cluster Hadoop.

Public

Cette formation Hadoop - Hortonworks pour développeurs est destinée aux développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop.

Prérequis

Cette formation Hadoop - Hortonworks pour développeurs nécessite une expérience dans le développement, si possible avec Java. Une connaissance préliminaire d’Hadoop n’est pas exigée.

Programme

• INTRODUCTION

Présentation générale d’Hadoop Exemples d’utilisation dans différents secteurs Historique et chiffres clés : Quand parle-t-on de Big Data ?

• HDFS : INTERFACAGE AVEC JAVA

Le système de fichier Hadoop Distributed File System (HDFS) Lecture et écriture sur le HDFS Manipulation des types de fichier SequenceFile Qu’est-ce que le DistributedCache et comment partager les références ?

• MAPREDUCE/YARN : PRINCIPE ET DEVELOPPEMENT JAVA

Le paradigme MapReduce et l’utilisation à travers YARN Implémentation de problématiques réelles avec le paradigme MapReduce Implémentation de problématiques plus complexes Utilisation des combinateurs et partitionners Les bonnes pratiques pour le développement des applications MapReduce

• MANIPULATION DES DONNEES AVEC UN QUERY LANGUAGE ET JAVA

Présentation et fonctionnement de HBase, Hive et PIG HBase et Hive : JDBC et requêtes Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions) Pig : Développement et intégration avec JAVA Extension de PIG avec des fonctionnalités développées : UDF (User-Defined Functions)

Moyens et Méthodes Pédagogiques

• La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
• Un poste par stagiaire
• Formateur Expert
• Remise d’une documentation pédagogique papier ou numérique pendant le stage

Validation des acquis

• Auto évaluation des acquis par le stagiaire via un questionnaire en fin de formation
• Attestation de fin de stage remise avec la facture