Les transformers pour la science
Webinaire de l'Etat
Les réseaux de neurones Transformer, proposés par des chercheurs de Google en 2017 dans « Attention Is All You Need », ont profondément transformé le domaine de l’apprentissage profond. Initialement développés pour la traduction de langage naturel, ils sont maintenant la clé de voûte de tous les grands modèles de langage (LLM). Mais, même si ces modèles sont extrêmement doués pour traiter des données textuelles, ils peuvent aussi être très efficaces pour l’analyse de données scientifiques. Durant ce séminaire, après un bref rappel des bases de l’apprentissage profond, nous vous présenterons le Transformer, comment il fonctionne, comment en construire ou en entraîner un soi-même et à quelles tâches il est particulièrement adapté. En particulier, dans ce séminaire nous nous concentrerons sur l’utilisation des transformers liés au calcul scientifique. Les questions liées à l’IA générative et aux LLM ne seront pas abordées.
L'orateur
Corentin Allaire est ingénieur de recherche, spécialiste d'IA notamment pour la physique des hautes énergies à IJCLab.
Information de connexion
Le lien de connexion est ici.
Comme pour les éditions précédentes, ce webinaire sera enregistré puis rendu disponible dans la chaîne RI3 du webcast.
Cellule événement du RI3