Résumé du cours
Maîtrisez l’ingénierie des données de bout en bout avec Azure Databricks et Unity Catalog. Cette formation couvre l’ensemble du parcours, depuis la configuration initiale jusqu’au déploiement en production, en abordant la mise en place de l’environnement et la gouvernance de niveau entreprise. Vous apprendrez à construire des pipelines d’ingestion robustes, à mettre en œuvre la sécurité avec Unity Catalog et à déployer des traitements optimisés. À l’issue de la formation, vous disposerez des compétences pratiques nécessaires pour mettre en œuvre, sécuriser et maintenir des solutions lakehouse évolutives répondant aux exigences les plus strictes des environnements d’entreprise.
Moyens d'évaluation :
- Quiz pré-formation de vérification des connaissances (si applicable)
- Évaluations formatives pendant la formation, à travers les travaux pratiques réalisés sur les labs à l’issue de chaque module, QCM, mises en situation…
- Complétion par chaque participant d’un questionnaire et/ou questionnaire de positionnement en amont et à l’issue de la formation pour validation de l’acquisition des compétences
A qui s'adresse cette formation
- Ingénieurs Data (Data Engineers).
- Professionnels travaillant dans l'ingénierie des données sur Azure.
- Utilisateurs maîtrisant SQL pour l'interrogation et la transformation des données.
- Développeurs ou ingénieurs utilisant Python et les notebooks pour les traitements de données.
- Professionnels disposant d'une expérience avec Azure Databricks et Unity Catalog.
- Spécialistes des données souhaitant développer des compétences en gouvernance, sécurité et gestion de solutions lakehouse à l'échelle de l'entreprise.
Pré-requis
Il est recommandé d'avoir :
- Une connaissance fondamentale des concepts d’analyse de données.
- Une compréhension de base des solutions de stockage dans le cloud.
- Une bonne connaissance des principes d’organisation et de gestion des données.
- Une maîtrise de SQL pour l’interrogation et la transformation des données.
- Une expérience pratique de Python, y compris l’utilisation des notebooks pour les traitements de données.
- Une connaissance des espaces de travail Azure Databricks et d’Unity Catalog.
- Une compréhension des modèles d’accès aux données ainsi que des concepts d’ingénierie des données et de data warehouse.
- Des connaissances de base en sécurité Azure, notamment Microsoft Entra ID.
- Une familiarité avec les principes fondamentaux de la gestion de versions avec Git.
Objectifs
A l'issue de ce cours, vous serez capable de :
- Configurer et administrer un environnement Azure Databricks en exploitant Unity Catalog pour la gestion centralisée des données.
- Concevoir et mettre en œuvre des modèles de données, des processus d’ingestion et des transformations de données robustes.
- Sécuriser et gouverner les données et objets Unity Catalog conformément aux exigences d’entreprise.
- Développer, déployer et maintenir des pipelines de données industrialisés et évolutifs avec Azure Databricks.
- Superviser, optimiser et dépanner les traitements de données afin de garantir performance, qualité et fiabilité des solutions lakehouse.
Contenu
Mettre en place et configurer un environnement Azure Databricks
- Découvrir Azure Databricks
- Comprendre l’architecture Azure Databricks
- Comprendre les intégrations Azure Databricks
- Sélectionner et configurer les ressources de calcul dans Azure Databricks
- Créer et organiser des objets dans Unity Catalog
Sécuriser et gouverner les objets Unity Catalog dans Azure Databricks
- Sécuriser les objets Unity Catalog
- Gouverner les objets Unity Catalog
Préparer et traiter les données avec Azure Databricks
- Concevoir et mettre en œuvre la modélisation de données avec Azure Databricks
- Ingérer des données dans Unity Catalog
- Nettoyer, transformer et charger des données dans Unity Catalog
- Mettre en œuvre et gérer les contraintes de qualité des données avec Azure Databricks
Déployer et maintenir des pipelines de données et des traitements avec Azure Databricks
- Concevoir et mettre en œuvre des pipelines de données avec Azure Databricks
- Mettre en œuvre des Lakeflow Jobs avec Azure Databricks
- Mettre en œuvre les processus du cycle de vie de développement dans Azure Databricks
- Superviser, dépanner et optimiser les traitements dans Azure Databricks
Français
Anglais
Allemagne
Pays-Bas
Moyens Pédagogiques :