Talend Initiation

Introduction : Terminologie et Architecture

• Problématique d'intégration de données
• IntégrationOpérationnelle et Décisionnelle
• Outils ETL (Extract Transform Load) disponibles
• Talend Open Studio : présentation, licences, lien avec Eclipse
• Support disponible : documentation, communauté, …
  
  • Cas pratique : Installation et présentation de l'environnement Talend Open Studio

Module 1 : Découvrir l'interface

• Créer des sources et des cibles à partir de fichiers plats et de tables relationnelles Créer un mapping utilisant des sources et des cibles
• Les perspectives et les vues
• Talend Utilisation du Business Modeler
• Les jobs : grille, palette de composants
• Les flux principaux (main)
• La notion de schéma : types des colonnes
• Premiers composants : entrée, sortie, génération de flux
  
  • Cas pratique : création et exécution d'un job simple, génération de contenu dans un fichier

Module 2 : Les principaux composants de Talend

• Créer un workflow simple et relier ses tâches
• Composants d'entrée (tFileInput, tMysqlInput, …)
• Génération de contenu (tRowGenerator, tFixedFlowInput, ...)
• Sorties et affichage (tLogRow, tFileOutput, tMysqlOutput, …)
• Logique et chaînage des composants (OnSubjobOK/Error, OnComponentOK/Error ,if ...)
• Suivi pas à pas des traces de l'exécution du job
• Gestion des rejets
• Transformations simples (filtre, tri, remplacement, jointure)
  
  • Cas pratique : génération de contenu dans une base de données, extraction et traitement des données pour affichage en console

Module 3 : Expressions et Filtres

• Utiliser la transformation Expression pour effectuer des calculs sur les données
• Utiliser la transformation Filter pour supprimer des enregistrements selon une condition définie par l'utilisateur

Module 4 : Variables et contextes

• Mise en place d'un contexte local au job
• Groupes de contexte dans le référentiel
• Les métadonnées comme contextes
• Utiliser des variables dans un job (tSetGlobalVar)
  
  • Cas pratique : utiliser une variable dans un job, contextualiser les paramètres d'une métadonnées, créer un contexte de test, et de production

Module 5 : Garantir la pérennité des jobs

• Versions et statuts des jobs
• Les métadonnées : propriétés et schémas.
• La découverte de schéma pour les fichiers CSV
• Récupération des schémas de bases de données
• Mises à jour des jobs depuis les métadonnées
  
  • Cas pratique : insérer les sources et cibles de données dans les métadonnées du référentiel

Module 6 : Transformation Lookup & Mapping

• Le composant ETL par excellence
• Gérer les entrées : flux principal, secondaires, nommage des flux
• Gérer les sorties : l'éditeur intégré de la tMap
• Filtrer les données : en entrée, sortie
• Sorties conjointes, capture des rejets de sortie, de jointure interne
• L'éditeur d'expression
• Les performances
• Utiliser une transformation Update Stratégie afin de déterminer comment une cible doit être alimenté (insert/update/delete)
  
  • Cas pratique : extraction multi-sources, multi-destinations avec une tMap, sur un exemple complet

Module 7 : Orchestration des jobs, gestion d'erreurs

• Exécutions parallèles de sous-jobs
• Déclencheurs Talend (triggers)
• Enchaînement de sous-jobs et de composants (OnSubjobOK, OnComponentOK)
• Gestion des erreurs de composants, sous-job (OnComponentError, OnSubjobError)
• Composant de départ, et de fin (tPreJob, tPostJob)
• Attraper et lever des erreurs : tWarn, tDie, tLogCatcher
• Utiliser l'outil de débug pour débloquer et tester un mapping
  
  • Cas pratique : assembler plusieurs jobs en un seul, factoriser la gestion d'erreurs pour générer un fichier de compte-rendu

Module 8: Présentation des best practices de développement

• Appliquer une variété de best practices afin de développer efficacement surTalend et importer les flux Talend sur un environnement