Formation IA Générative et LLMs : Comprendre, Personnaliser et Déployer

Comprendre et Maîtriser les LLMs
Introduction et Contexte
● Les grandes étapes de l’évolution des modèles de langage : des premiers NLP aux
LLMs de dernière génération
● Pourquoi les LLMs marquent un tournant décisif dans l’IA ?
● Cas d’usage impactant divers secteurs : santé, finance, e-commerce, éducation…
● Démonstration en direct : génération de contenu, classification automatique et
analyse de sentiment avec un LLM
Fondamentaux des LLMs
● Décryptage de l’architecture Transformer : encoder, décodeur, attention multi-têtes
● Processus de tokenisation avancée (BPE, WordPiece, SentencePiece) et impact sur
la performance
● Comprendre comment un modèle apprend à « prédire » un mot et structurer
l’information
● Les limites et biais des LLMs : pourquoi hallucinent-ils parfois ?
● Démonstration : Exploration visuelle des poids et activations d’un modèle avec
TensorBoard
Cas d’usage avancés et mise en pratique
● Création d’un agent conversationnel intelligent
● Génération et amélioration de code avec des LLMs
● Extraction d’informations et clustering de texte à grande échelle
● Atelier pratique : utiliser GPT-4 et un modèle open-source (LLaMA, Mistral) sur des
tâches spécifiques
Choisir et Intégrer un LLM
● Comparaison des modèles : encodeur (BERT), décodeur (GPT), hybrides (T5,
FLAN-T5)
● APIs propriétaires (OpenAI, Claude, Gemini) vs modèles open-source (Mistral,
Falcon)
● Où et comment héberger un LLM ? Options cloud, edge computing, serveurs locaux
● Atelier : Benchmarking rapide entre différents LLMs sur une tâche spécifique

Personnalisation et Déploiement des LLMs
Prompt Engineering avancé
● Structure d’un prompt efficace et optimisation des paramètres
● Techniques avancées : Few-shot Learning, Chain of Thought, Tree of Thoughts,
ReAct
● Comment guider un modèle pour éviter les réponses vagues ou biaisées ?
● Atelier : Affiner un prompt pour maximiser la qualité des réponses sur des cas
concrets
LLMs Augmentés : Enrichissement et Contextualisation
● Pourquoi et comment enrichir un LLM avec des bases de connaissances externes
● RAG (Retrieval-Augmented Generation) : intégrer des données spécifiques et
structurer les réponses
● Embeddings et bases vectorielles : lier un LLM à une base documentaire
● Atelier : Construire un chatbot « augmenté » capable de répondre avec des
informations spécifiques
Fine-Tuning et Optimisation
● Différence entre Fine-Tuning et Prompt Engineering : quand utiliser quoi ?
● Introduction au tuning efficace : LoRA, QLoRA, Adapter Layers
● Étapes pratiques pour ajuster un LLM à un domaine spécifique sans exploser le
budget
● Atelier : Expérimentation avec un fine-tuning rapide sur un cas d’usage précis
Déploiement et intégration dans un environnement réel
● Différentes stratégies de déploiement : API, conteneurs, Kubernetes, serveur dédié
● Suivi et monitoring des performances d’un modèle en production
● MLOps et gestion des versions des modèles
● Atelier : Déploiement d’un modèle sur un environnement cloud et test d’interrogation
API
Synthèse et Perspectives
● Quels futurs pour les LLMs ? Vers des modèles plus petits et plus efficaces
● Discussion ouverte sur les implications éthiques et les réglementations à venir
● Échange autour des cas d’usage des participants et conseils personnalisés