Formation Cloud Computing : Data Engineer sur Microsoft Azure (DP-203)
Cellenza Training
Avantages de l'organisme
10 années d'expérience
Formations éligibles CPF
Formations courtes
Description de la formation
Nous formons les Data Engineers sur les principes d’intégration, de transformation et de consolidation des données provenant de divers systèmes de données structurées et non structurées dans des structures qui conviennent à l’élaboration de solutions analytiques. Cette formation vous aidera à maîtriser ces concepts en adoptant les meilleures pratiques dans le domaine du cloud computing.
Objectifs visés
- Concevoir une structure de stockage de données,
- Concevoir une stratégie de partition,
- Concevoir et mettre en œuvre des couches de service,
- Mettre en œuvre des structures de stockage de données physiques et de données logiques,
- Intégrer et transformer des données,
- Concevoir et développer des solutions de traitement par lot et par flux,
- Gérer les lots et les pipelines,
- Concevoir la sécurité des politiques et des normes de données,
- Mettre en œuvre la sécurité des données,
- Surveiller le stockage et le traitement des données,
- Optimiser et dépanner le stockage et le traitement des données.
Contenu
Connaitre Azure Synapse Analytics
- Identifier les problèmes métier traités par Azure Synapse Analytics adresse.
- Décrire les fonctionnalités principales d’Azure Synapse Analytics.
- Déterminer quand utiliser Azure Synapse Analytics.
Explorer Azure Databricks - Provisionner un espace de travail Azure Databricks.
- Identifier les principales charges de travail et personnes pour Azure Databricks.
- Décrire les concepts clés d’une solution Azure Databricks.
Introduire Azure Data Lake Storage
- Déterminer à quel moment il convient d’utiliser Azure Data Lake Storage Gen2.
- Créer un compte de stockage Azure en utilisant le portail Azure.
- Comparer Azure Data Lake Storage Gen2 et le Stockage Blob Azure.
- Explorer les phases du traitement du Big Data à l’aide d’Azure Data Lake Store.
- Lister les plateformes open source prises en charge.
Démarrer avec Azure Stream Analytics
- Comprendre les flux de données et le traitement des événements.
- Démarrer avec Azure Stream Analytics.
Utiliser un pool SQL serverless Azure Synapse pour interroger des fichiers dans un lac de données
- Identifier les fonctionnalités et cas d’usage des pools SQL serverless dans Azure Synapse Analytics.
- Interroger des fichiers CSV, JSON et Parquet avec un pool SQL serverless.
- Créer des objets de base de données externes dans un pool SQL serverless.
Créer une base de données lake dans Azure Synapse Analytics
- Comprendre les concepts et les composants de la base de données lake.
- Décrire les modèles de base de données dans Azure Synapse Analytics.
- Créer une base de données de lac.
Sécuriser les données et gérer les utilisateurs dans les pools SQL serverless Azure Synapse
- Choisir une méthode d’authentification dans les pools SQL serverless Azure Synapse.
- Gérer les utilisateurs dans les pools SQL serverless Azure Synapse.
- Gérer les autorisations utilisateur dans les pools SQL serverless Azure Synapse.
Utiliser Apache Spark dans Azure Databricks
- Décrire les éléments clés de l’architecture Apache Spark.
- Créer et configurer un cluster Spark.
- Décrire les cas d’usage pour Spark.
- Utiliser Spark pour traiter et analyser les données stockées dans des fichiers.
- Utiliser Spark pour visualiser les données.
Utiliser Delta Lake dans Azure Databricks
- Décrire les principales fonctionnalités de Delta Lake.
- Créer et utiliser des tables Delta Lake dans Azure Databricks.
- Créer des tables de catalogue Spark pour les données Delta Lake.
- Utiliser des tables Delta Lake pour la diffusion en continu de données.
Analyser des données avec Apache Spark dans Azure Synapse Analytics
- Identifier les principales fonctionnalités d’Apache Spark.
- Configurer un pool Spark dans Azure Synapse Analytics.
- Exécuter du code pour charger, analyser et visualiser des données dans un notebook Spark.
Intégrer des pools SQL et Apache Spark dans Azure Synapse Analytics
- Décrire les méthodes d’intégration entre les pools SQL et Spark dans Azure Synapse Analytics.
- Comprendre les cas d’utilisation de l’intégration des pools SQL et Spark.
- S’authentifier auprès d’Azure Synapse Analytics.
- Transférer des données entre des pools SQL et Spark dans Azure Synapse Analytics.
- S’authentifier entre des pools Spark et SQL dans Azure Synapse Analytics.
- Intégrer des pools SQL et Spark dans Azure Synapse Analytics.
- Externaliser l’utilisation des pools Spark dans l’espace de travail Azure Synapse.
- Transférer des données en dehors de l’espace de travail Synapse à l’aide de l’authentification
SQL.
- Transférer des données en dehors de l’espace de travail Synapse à l’aide du connecteur PySpark.
- Transformer des données dans Apache Spark et les réécrire dans un pool SQL au sein d’Azure Synapse Analytics.
Suivre les bonnes pratiques en matière de chargement de données dans Azure Synapse Analytics
- Comprendre les objectifs du chargement des données.
- Expliquer le chargement des méthodes dans Azure Synapse Analytics.
- Gérer les fichiers de données sources et les mises à jour de base de données unique.
- Configurer des comptes de chargement de données dédiées.
- Gérer l’accès simultané à Azure Synapse Analytics.
- Implémenter la gestion de la charge de travail.
Ingérer les données à l’échelle du pétaoctet avec un pipeline Azure Synapse ou Azure Data Factory
- Répertorier les méthodes d’ingestion de Data Factory.
- Décrire les connecteurs Data Factory.
- Comprendre les considérations relatives à la sécurité de l’ingestion des données
Intégrer des données à un pipeline Azure Data Factory ou Azure Synapse
- Comprendre Azure Data Factory.
- Décrire les modèles d’intégration de données.
- Expliquer le processus de fabrique de données.
- Comprendre les composants Azure Data Factory.
- Gérer la sécurité Azure Data Factory.
- Configurer Azure Data Factory.
- Créer des services liés.
- Créer les jeux de données.
- Créer des activités et pipelines de fabrique de données.
- Gérer un runtime d’intégration.
Effectuer une transformation à grande échelle sans code avec un pipeline Azure Data Factory ou Azure Synapse
- Expliquer les méthodes de transformation Data Factory.
- Décrire les types de transformation Data Factory.
- Déboguer le flux de données de mappage.
Orchestrer le déplacement et la transformation des données dans le pipeline Azure Data Factory ou Azure Synapse
- Comprendre le flux de contrôle d’une fabrique de données.
- Utiliser des pipelines de fabrique de données.
- Déboguer des pipelines de fabrique de données.
- Ajouter des paramètres aux composants de fabrique de données.
- Intégrer un notebook dans des pipelines Azure Synapse.
- Exécuter des packages de fabrique de données.
Planifier un traitement transactionnel et analytique hybride avec Azure Synapse Analytics
- Décrire les modèles de traitement transactionnel et analytique hybride.
- Identifier les services Azure Synapse Link pour HTAP.
Implémenter Azure Synapse Link avec Azure Cosmos DB
- Configurer un compte Azure Cosmos DB pour utiliser Azure Synapse Link.
- Créer un conteneur avec le magasin analytique activé.
- Créer un service lié pour Azure Cosmos DB.
- Analyser les données liées à l’aide de Spark.
- Analyser les données liées à l’aide de Synapse SQL.
Sécuriser un entrepôt de données dans Azure Synapse Analytics
- Découvrir les options de sécurité réseau pour Azure Synapse Analytics.
- Configurer un accès conditionnel.
- Configurer l’authentification.
- Gérer l’autorisation par le biais de la sécurité au niveau des colonnes et des lignes.
- Gérer les données sensibles avec le masquage dans Dynamic Data.
- Implémenter le chiffrement dans Azure Synapse Analytics.
Configurer et gérer des secrets dans Azure Key Vault
- Explorer l’utilisation correcte d’Azure Key Vault.
- Gérer l’accès à un coffre Azure Key Vault. - Explorer la gestion des certificats avec Azure Key Vault.
- Configurer une solution de génération de clés de module de sécurité matériel.
Implémenter des contrôles de compatibilité pour les données sensibles
- Planifier et implémenter la classification des données dans Azure SQL Database.
- Comprendre et configurer la sécurité au niveau des lignes et le masquage dynamique des
données.
- Comprendre l’utilisation de Microsoft Defender pour SQL.
- Découvrir comment fonctionne le Registre Azure SQL Database.
Activer une messagerie fiable pour des applications Big Data avec Azure Event Hubs
- Créer un hub d’événements à l’aide d’Azure CLI.
- Configurer des applications pour envoyer ou recevoir des messages par le biais d’Event Hub.
- Évaluer les performances d’Event Hub à partir du portail Azure.
Public Cible
- Data engineers
- Data scientists
Prérequis
Pour comprendre le contenu de la formation DP-303 – Data Engineering on Microsoft Azure, les participants doivent avoir une expertise en matière d’intégration, de transformation et doivent savoir consolider divers systèmes de données structurées et non structurées dans un outils adapté à la création de solutions d’analyses. Nous préconisons aussi une bonne connaissance des langages SQL, Python ou Scala et une compréhension de l’architecture des données. Nous demandons à ce que les candidats aient suivi la formation « AZ-900 : Azure Fundamentals » et « DP-900 : Azure Data Fundamentals » ou avoir un niveau d’expérience équivalent.
Les supports de cours et les travaux pratiques sont en anglais. Un niveau d’anglais B1 est requis pour suivre cette formation. Retrouvez les niveaux de langue sur ce lien : Classification des niveaux de langue Il est fortement recommandé de suivre ce cours sur un ordinateur et de disposer d’un double écran pour plus de confort.
Moyens Pédagogiques
Cette formation sera principalement constituée de théorie et d’ateliers techniques qui permettront d’être rapidement opérationnel.
- Support: un support de cours officiel Microsoft sera remis aux participants au format électronique.
- Evaluation: les acquis sont évalués tout au long de la formation par le formateur (questions régulières, travaux pratiques, QCM ou autres méthodes).
- Formateur: le tout animé par un consultant-formateur expérimenté, nourri d’une expérience de terrain, et accrédité Microsoft Certified Trainer.
- Satisfaction: à l’issue de la formation, chaque participant répond à un questionnaire d’évaluation qui est ensuite analysé en vue de maintenir et d’améliorer la qualité de nos formations.
- Suivi: une feuille d’émargement par demi-journée de présence est signée par chacun des participants.
- Cette formation peut être dispensée en format inter-entreprises ou intra-entreprise sur demande et en mode présentiel comme en distanciel.
Il est possible de vous inscrire jusqu’à 2 jours ouvrés avant le début de la formation, sous condition de places disponibles et de réception du devis signé.
Il est aussi possible – sur demande – d’adapter des moyens de la prestation pour les personnes en situation de handicap en fonction du type de handicap.
Visualiser la vidéo
Cette formation vous intéresse ?
Avis
Note moyenne 5
Basée sur 3 avisContact
Cellenza Training
Organisme de formation: Cellenza Training
Un organisme de formation certifié Microsoft Learning Partner
Cellenza Training est l'organisme de formation du cabinet de conseil Cellenza, expert sur les technologies Microsoft et son cloud Azure. Certifié Microsoft Learning Partner, nous proposons des formations pour accompagner la montée en compétences de tous profils techniques et métiers...
Un conseiller de l'organisme vous recontacte pour répondre à vos questions
Le contenu de la formation est dense en 4 jours, mais c'est très bien organisé : méthodologie le matin et application via les laboratoires l'après midi.