Formation Big Data - Architecture et infrastructure

Objectifs

• Définir et identifier le contexte spécifique des projets Big Data
• Connaitre le panorama technologique et enjeux socio-économiques
• Mesurer l'impact des choix technologiques en matière d'analyse et de visualisation
• Connaitre la problématique et les enjeux de l'architecture distribuée
• Intervenir sur la qualité de la donnée en respectant les bonnes pratiques
• Respecter la propriété de la donnée, connaitre l'environnement juridique du traitement et mettre en oeuvre la sécurité des données
• Mettre en oeuvre une architecture et du calcul distribué
• Consolider ses connaissances à travers un cas d'usage

Public

• Administrateurs système, exploitants
• Architectes d'infrastructures Big Data

Prérequis

• Nécessite des connaissances dans l'architecture Linux (navigation et structure) et les fondamentaux de la gouvernance des données.

Programme

PANORAMA TECHNOLOGIQUE ET ENJEUX SOCIO-ECONOMIQUES

• Bâtir une vision Data Centric pour l'entreprise
• Etudier l'environnement concurrentiel de l'entreprise
• Comment créer de la valeur ou apporter de la valeur complémentaire aux données
• Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse
• Comprendre les acteurs du Big Data et leur positionnement
• Quelle vision à 3 ans

PROPRIÉTÉ DE LA DONNÉE, ENVIRONNEMENT JURIDIQUE DU TRAITEMENT, SÉCURITÉ

• La nécessité de la gouvernance des données
• Qu'est-ce qu'un CDO

ASPECTS JURIDIQUES ET ETHIQUES : QUELLES DONNEES POUR QUELS USAGES ?

• Données objectives
• Données à caractère personnel

Quelle gestion des données personnelles ? (donnée se rapportant à une personne physique, qui peut être identifiée quel que soit le moyen utilisé)

• Quels Impact sur la vie privée
• Surveillance et sanction de la CNIL
• Déclaration préalable
• Exemples
• Présentation du socle (la finalité du traitement) et de 4 conditions

Finalité explicite et légitime

• Loyauté dans la mise en oeuvre du traitement
• Données pertinentes
• Durée de conservation non excessive
• Sécurité

IMPACT DES CHOIX TECHNOLOGIQUES EN MATIERE D'INFRASTRUCTURE ET D'ARCHITECTURE BIG DATA

• Les impacts organisationnels
• Comment positionner le Big Data face à l'existant ?
• Quelles sont les possibilités offertes par le Big Data
• Quels sont les contraintes techniques du Big Data ?
• Quelles stratégies de conservation des données (chaudes, froides, "gelées") dans le temps ?
• Exemples de mise en oeuvre d'architectures Big Data
• Faut-il partir sur du commodity Hardware ou sur des appliances

QUALITE DES DONNEES DANS LES PROJETS BIG DATA

• Données, information, connaissance
• Le cycle de vie de l'information
• Les données.
• Qu'est-ce que la qualité des données ?

La fraîcheur

• La disponibilité
• La cohérence
• La traçabilité
• La sécurisation
• L'exhaustivité.
• La démarche qualité dans le Big Data

Motivation : Les besoins de qualité engendrés par le datalake

• La recherche de plus d'efficacité métier
• Facteurs clés de succès et bonnes pratiques

Les 7 piliers de la qualité des données

• Les bonnes questions à se poser
• Le pilotage du projet
• La gestion des grands volumes
• Les outils en charge de la gouvernance et du cycle de vie des données des Big Data

VERS DES ARCHITECTURES DISTRIBUEES

• Rappels des principes de base des architectures distribuées
• Le stockage distribué dans HDFS
• La data localité
• YARN, le super-chef d'orchestre des applications distribuées
• Les différents frameworks distribués
• Découvrir Hive, Pig, Spark, R et Python
• Calculs et traitements distribués de la donnée
• Avantages et inconvénients des architectures distribuées
• Les performances liées aux architectures distribuées

ETUDE DE CAS

• Mise en oeuvre d'une architecture Big Data chez Louis Vuitton Malletier, conception d'une application de reconnaissance d'images utilisant des Frameworks distribués (Pyhton, Spark)

Moyens et Méthodes Pédagogiques

• La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
• Un poste par stagiaire
• Formateur Expert
• Remise d’une documentation pédagogique papier ou numérique pendant le stage

Validation des acquis

• Auto évaluation des acquis par le stagiaire via un questionnaire en fin de formation
• Attestation de fin de stage remise avec la facture