Présidents de session
Introduction au Deep Learning: Introduction aux réseaux de neurones
- Inna Kucher (CEA-ISAS)
- Geoffrey Daniel (CEA/DES/ISAS/DM2S/SGLS/LIAD)
Introduction au Deep Learning: Techniques d'IA moderne
- Riccardo Finotello (CEA Paris-Saclay)
- Inna Kucher (CEA-ISAS)
Description
Introduction aux réseaux de neurones et leur utilisation
Cette seconde partie de la semaine se focalise sur les approches de Deep Learning. Ce cours introduit les modèles à la base de l'apprentissage profond : les réseaux de neurones. Il montre les principes mathématiques à la base de ces modèles et leur apprentissage. Enfin, il aborde leur utilisation dans le cadre de l'analyse de données de type image à travers les réseaux de neurones convolutifs.
Cette session de TP propose de développer des premiers réseaux de neurones appliqués à la reconnaissance d'images sur une base de données très classiquement utilisée en Deep Learning : MNIST pour la classification d'images de chiffres. Elle permet de se familiariser avec une des bibliothèques principales du Deep Learning : TensorFlow, ainsi que la surcouche de haut niveau Keras.
Cette session introduit les notions de quantification d'incertitudes en Deep Learning, fondamentales pour garantir la fiabilité des modèles. Ce sujet reste un problème ouvert dans la littérature sur le Deep Learning, et le cours propose de définir les concepts associés et d'explorer certaines méthodes de l'état de l'art.
Cette séance de TP propose de continuer l'implémentation des réseaux de neurones vues dans la matinée, en particulier en abordant les réseaux de neurones convolutifs. Pour celles et ceux qui seront suffisamment avancées et à l'aise avec les premiers exercices, des TP supplémentaires sont proposées pour aborder des concepts plus avancés, comme les auto-encodeurs, la quantification...
Cette session s'intéresse à des modèles avancés fondés sur les réseaux de neurones. Il aborde en particulier les Graph Neural Networks (GNNs), vus comme une généralisation des réseaux de neurones convolutifs pour des données qui peuvent se représenter sous forme de réseau. Puis, il introduit les modèles Transformers, à la base des algorithmes de traitement du langage naturel, en plein essor...
Du fait du coût calculatoire des entraînements de ces modèles avancés, des démonstrations sont proposées à la place des séances de TP. Cette séance de démo s'intéressera plus particulièrement à HuggingFace, qui est une plateforme de modèles de fondation utilisé pour aborder des problématiques variées en IA.
Cette dernière séance se concentrera sur l'IA générative, qui permet entre autres de générer du contenu réaliste, comme des fausses images. Le cours abordera la problématique de la génération de données à haute dimension et les méthodes, fondées sur les réseaux de neurones, qui ont été développées pour l'aborder, comme les Variational AutoEncoders, les Generative Adversarial Networks, les...
Cette séance de démonstration montrera la mise en œuvre de modèles de génération d'images, et le couplage avec des modèles de traitement du langage pour effectuer de la génération conditionnelle.
