Description de la formation
Ces dernières années ont vu le développement des technologies de l'intelligence artificielle et leurs applications à un grand nombre de domaines. Ces applications ont permis la valorisation des données dans des domaines aussi variés que la vision par ordinateur (classification de scène, détection d’objets, segmentation sémantique/d’instance, génération d’images) ou le traitement du langage naturel (traduction automatique, reconnaissance de la parole, analyse de corpus textuels). Le renouveau des réseaux de neurones ces 10 dernières années a profondément influencé ces applications et s’expliquent par plusieurs facteurs : une meilleure compréhension théorique de la structure et l’optimisation des réseaux de neurones, la disponibilité d’une masse de données, l’utilisation des puces GPUs pour accélérer le calcul.
Cette formation propose une introduction aux principales architectures de réseau de neurones pour adresser des problèmes en vision par ordinateur et en traitement automatique du langage naturel. Le contenu pédagogique est à la fois théorique et pratique, une partie étant consacrée à la réalisation de projets en Deep Learning avec accès à des ressources GPUs. Les TPs seront réalisés avec le framework pyTorch.
Prochaines sessions
Objectifs visés
A l’issue de cette formation, le participant sera en capacité de :
- FORMALISER un problème d’apprentissage automatique en vision par ordinateur et traitement du language naturel.
- IDENTIFIER les architectures de réseau les plus appropriées pour répondre à ce problème.
- CODER et DEPLOYER la solution identifiée.
Contenu
- Introduction aux réseaux de neurones (1 jour)
- Avoir un recul historique sur le développement des approches de deep learning.
- Introduction aux modèles linéaires, et aux fonctions de perte, convexité (régression linéaire, régression logistique binaire et multiclasse).
- Apprentissage d’un espace de projection : réseaux RBF, réseaux multicouches non-linéaires,
- Optimisation d’un réseau de neurone par descente de gradient, calcul du gradient par propagation arrière dans un graphe de calcul.
- Optimisation des réseaux de neurones (algorithmes d’optimisation du premier ordre à taux d’apprentissage constant ou adaptatif, initialisation).
- Améliorer la généralisation d’un réseau de neurone en utilisant des techniques de régularisation (L1/L2, early stopping, dropout).
- Être familiarisé avec l'écosystème de développement (frameworks, GPU).
L’après midi sera dédiée à la réalisation d’un TP d’introduction à pytorch montrant comment structurer proprement son projet et le coder avec les différents briques : chargement des données en minibatch, construction/initialisation d’un modèle, régularisation, boucle d’entrainement, monitoring de l’entrainement, sauvegarde/recharge du meilleur modèle, etc... - Réseaux convolutifs et applications (1 jour)
- Introduction à la structure des réseaux convolutifs (CNNs): un réseau feedforward fortement régularisé.
- Pré-apprentissage/Transfert et augmentation de données?
- Techniques d’interprétation des CNNs.
- Architectures pour la détection d’objets.
- Architectures pour la segmentation sémantique.
L’après midi sera dédiée à la réalisation d’un TP de segmentation sémantique avec un modèle de type U-Net sur les données Stanford-2D-3D-S. - Deep learning pour le traitement automatique du langage naturel (1 jour)
- Se familiariser avec les spécificités des données textuelles.
- Connaître les modèles adaptés aux différentes tâches/données.
- Connaître les outils permettant des visualiser et préparer des données (jupyter notebook, pandas, mathplotlib).
- Représentation de données textuels sous forme vectorielle.
- Introduction aux réseaux de neurones récurrents.
L’après-midi sera dédiée à la réalisation d’un TP mettant en application les notions abordés le matin dont l’extraction de représentations de mots ( word2vec ), l’analyse de sentiments et la génération de texte à l’aide d’un modèle de langue. - Mécanismes d’attention et Transformeurs (1 jour)
- Introduction aux mécanismes d’attention ainsi qu’aux modèles Transformeurs.
- Connaître les outils facilitant la réalisation et le monitoring d'expériences (tensorflow/tensorboard).
- Connaître les outils et modèles disponibles ainsi que les différents acteurs (Huggingface, Facebook AI Research, Google DeepMind, OpenAI, …).
L’après-midi sera dédiée à la réalisation d’un TP mettant en application les notions abordés le matin dont l’utilisation des transformeurs pour une tache d’interprétation en langage naturel (NLI) sur le corpus SNLI (Stanford Natural Language Inference). - Cas d’usage (1 jour)
- Mise en pratique sur deux cas d’usages des différentes notions abordées dans la formation.
- Savoir entraîner un modèle génératif sur des images.
- Savoir construire un agent conversationnel (chat-bot) personnalisé.
Modèles génératif pour l’image: La génération d’image a connu une grande évolution ces dernières années depuis l’introduction des modèles GANs en 2014 et leurs développements successifs (e.g. StyleGAN). Nous disposons aujourd’hui d’algorithmes capables de produire des images réalistes de très grande qualité, ce qui s’accompagne de questions autour de la génération de fausses informations. La matinée sera consacrée à la présentation de ces avancées sur les modèles génératifs ainsi qu’à une mise en pratique par l’entraînement d’un modèle pour la génération d’images.
Modèles de génération de texte: La récente mise à disposition de ChatGPT par OpenAI a mis en lumière les avancées spectaculaires du traitement automatique du language naturel de ces dernières années, ainsi que les futurs bouleversement sociétaux induits par cette nouvelle technologie. L’après-midi sera consacrée une présentation de ces modèles, ainsi qu’à la construction d’un agent conversationnel à l’aide d’un modèle transformeur auto-régressif (modèle utilisé par chat-GPT). Pour cela, nous exploiterons un modèle pré-entraîné sur de gros corpus textuels, que nous raffinerons sur un corpus dédié à l’apprentissage d’agents conversationnels.
Public Cible
Prérequis
Notions de probabilités et statistiques.
Notions de programmation (python).
Cette formation vous intéresse ?
CentraleSupélec Exed : Trois parcours de formation pour se spécialiser et développer les talents de l'entreprise
CentraleSupélec Exed est un organisme de formation certifié Qualiopi spécialisé dans les programmes Executive Education et les Mastère Spécialisé®. Il est directement dépendant de la grande École d'ingénieurs du même nom, CentraleSupélec. Avec ses différentes formations, CentraleSupélec Exed propose à ses...
Apprenez-en plus sur l'organisme et découvrez toutes leurs formations