Données numériques : "Apprentissage par renforcement et modèles génératifs II"

Les méthodes génératives profondes suscitent depuis récemment un très grand intérêt dans la société, pour les impressionnantes capacités que ces outils (e.g., Dall-E, ChatGPT, SORA) démontrent, en terme de qualité de contenu produit et d’interprétation des besoins de l’utilisateur. L’objectif de ce cours est de découvrir les concepts fondamentaux sous-jacents au fonctionnement de ces applications puissantes, en commençant par quelques fondamentaux sur l’apprentissage génératif, et les méthodes modernes pour guider cet apprentissage (VAE, VQ-VAE, GAN, Diffusion, apprentissage contrastif, etc.). L’idée de l’apprentissage génératif est de reproduire des distributions de données dont on observe des échantillons en apprentissage, ce cours se confronte à cet objectif ambitieux pour des distributions de données complexes, tels que des images ou du texte. Nous examinerons notamment comment les transformeurs révolutionnent la génération de texte en capturant des dépendances long terme, permettant d’envisager un très large spectre d’applications guidées par le langage. Nous explorerons comment l’apprentissage par imitation peut être utilisé pour générer des données en imitant des comportements ou des styles spécifiques.Enfin, nous verrons comment l’apprentissage par renforcement peut guider la génération de contenu créatif en optimisant les actions pour maximiser une récompense donnée.

1. Concepts Fondamentaux de l’Apprentissage Génératif
— Exploration des principes de base de l’apprentissage génératif.
— Présentation des grandes familles d’algorithmes d’apprentissage génératif: VAE (et VQ-VAE), GANs, modèles de diffusion, apprentissage contrastif, etc.

2. Architectures neuronales profondes pour la prise en compte de dépendances long terme
— Différentes familles d’architectures profondes : MLP, CNNs, RNNs, Transformers
— Applications pour la générations de données complexes
— Modèles de fondation guidés par le langage: techniques d’adaptation (in-context learning, LORA, mixture d’experts, etc.)

3. Apprentissage par Imitation et par Renforcement pour la Génération de Contenu
— Exploration de l’utilisation de l’apprentissage par renforcement pour guider la génération de contenu, en optimisant les actions pour maximiser une récompense donnée (e.g., RLHF)
— Apprentissage par imitation hors ou en ligne (BC, AWR, GAIL, iQL, etc.)

— Maîtriser les différents paradigmes de l’apprentissage génératif (optimisation bayésienne)
— Connaître les grandes familles d’architectures profondes adaptées aux données complexes
— Comprendre les enjeux de l’apprentissage par renforcement dans le domaine de la génération de données
— Savoir implémenter et appliquer les principaux algorithmes d’apprentissage ou d’adaptation des modèles génératifs modernes

Notions et contenus
— Solide bases fondamentales de l’apprentissage statistique, supervisé et par renforcement
— Notions en modélisation probabiliste et statistique
— Compétences en programmation Numpy et PyTorch
— Connaissances souhaitables en modélisation de données complexes, telles que du texte ou des images