Formation Big Data - Architecture et infrastructure
dates des sessions
lieu
Toutes les dates
Objectifs
- Définir et identifier le contexte spécifique des projets Big Data
- Connaitre le panorama technologique et enjeux socio-économiques
- Mesurer l'impact des choix technologiques en matière d'analyse et de visualisation
- Connaitre la problématique et les enjeux de l'architecture distribuée
- Intervenir sur la qualité de la donnée en respectant les bonnes pratiques
- Respecter la propriété de la donnée, connaitre l'environnement juridique du traitement et mettre en oeuvre la sécurité des données
- Mettre en oeuvre une architecture et du calcul distribué
- Consolider ses connaissances à travers un cas d'usage
Public
- Administrateurs système, exploitants
- Architectes d'infrastructures Big Data
Prérequis
- Nécessite des connaissances dans l'architecture Linux (navigation et structure) et les fondamentaux de la gouvernance des données.
Programme
PANORAMA TECHNOLOGIQUE ET ENJEUX SOCIO-ECONOMIQUES
- Bâtir une vision Data Centric pour l'entreprise
- Etudier l'environnement concurrentiel de l'entreprise
- Comment créer de la valeur ou apporter de la valeur complémentaire aux données
- Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse
- Comprendre les acteurs du Big Data et leur positionnement
- Quelle vision à 3 ans
PROPRIÉTÉ DE LA DONNÉE, ENVIRONNEMENT JURIDIQUE DU TRAITEMENT, SÉCURITÉ
- La nécessité de la gouvernance des données
- Qu'est-ce qu'un CDO
ASPECTS JURIDIQUES ET ETHIQUES : QUELLES DONNEES POUR QUELS USAGES ?
- Données objectives
- Données à caractère personnel
Quelle gestion des données personnelles ? (donnée se rapportant à une personne physique, qui peut être identifiée quel que soit le moyen utilisé)
- Quels Impact sur la vie privée
- Surveillance et sanction de la CNIL
- Déclaration préalable
- Exemples
- Présentation du socle (la finalité du traitement) et de 4 conditions
Finalité explicite et légitime
- Loyauté dans la mise en oeuvre du traitement
- Données pertinentes
- Durée de conservation non excessive
- Sécurité
IMPACT DES CHOIX TECHNOLOGIQUES EN MATIERE D'INFRASTRUCTURE ET D'ARCHITECTURE BIG DATA
- Les impacts organisationnels
- Comment positionner le Big Data face à l'existant ?
- Quelles sont les possibilités offertes par le Big Data
- Quels sont les contraintes techniques du Big Data ?
- Quelles stratégies de conservation des données (chaudes, froides, "gelées") dans le temps ?
- Exemples de mise en oeuvre d'architectures Big Data
- Faut-il partir sur du commodity Hardware ou sur des appliances
QUALITE DES DONNEES DANS LES PROJETS BIG DATA
- Données, information, connaissance
- Le cycle de vie de l'information
- Les données.
- Qu'est-ce que la qualité des données ?
La fraîcheur
- La disponibilité
- La cohérence
- La traçabilité
- La sécurisation
- L'exhaustivité.
- La démarche qualité dans le Big Data
Motivation : Les besoins de qualité engendrés par le datalake
- La recherche de plus d'efficacité métier
- Facteurs clés de succès et bonnes pratiques
Les 7 piliers de la qualité des données
- Les bonnes questions à se poser
- Le pilotage du projet
- La gestion des grands volumes
- Les outils en charge de la gouvernance et du cycle de vie des données des Big Data
VERS DES ARCHITECTURES DISTRIBUEES
- Rappels des principes de base des architectures distribuées
- Le stockage distribué dans HDFS
- La data localité
- YARN, le super-chef d'orchestre des applications distribuées
- Les différents frameworks distribués
- Découvrir Hive, Pig, Spark, R et Python
- Calculs et traitements distribués de la donnée
- Avantages et inconvénients des architectures distribuées
- Les performances liées aux architectures distribuées
ETUDE DE CAS
- Mise en oeuvre d'une architecture Big Data chez Louis Vuitton Malletier, conception d'une application de reconnaissance d'images utilisant des Frameworks distribués (Pyhton, Spark)
Moyens et Méthodes Pédagogiques
- La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
- Un poste par stagiaire
- Formateur Expert
- Remise d’une documentation pédagogique papier ou numérique pendant le stage
Validation des acquis
- Auto évaluation des acquis par le stagiaire via un questionnaire en fin de formation
- Attestation de fin de stage remise avec la facture