IntheArt

2022

Weakly supervised Named Entity Recognition using Deep Neural Networks

Francesca Bugiotti, Centrale-Supelec 

13 décembre à 12h, salle Cassini, bat 709, Orme-des-merisiers

Applying Transfer-Learning based on pre-trained language models has

become popular in Natural Language Processing. In this paper, we present a weakly

supervised Named Entity Recognition system that uses a pre-trained BERT model

and applies two consecutive fine tuning steps. We aim to reduce the amount of

human labour required for annotating data by proposing a framework which starts

by creating a data set that uses lexicons and pattern recognition on documents.

This first noisy data set is used in the first fine tuning step. Then, we apply a

second fine tuning step on a small manually refined subset of data. We apply and

compare our system with the standard fine tuning BERT approach on large amount

of old scanned document.

 

A new method for the data driven estimation of background using GAN 

Victor Lohezic, CEA/Irfu/DPhP

25 novembre à 11h30, salle Cassini, bat 709, Orme-des-merisiers

 

In this contribution we present a novel data driven method for the estimation of background by generating a new misidentified object using generative adversarial networks (GAN). In High Energy Physics, characterizing signal hypothesis requires distinguishing its signature from a large number of background processes with similar final states. Machine learning (ML) classification algorithms are widely used to obtain the optimal separation between signal and background processes. However, constraints on the storage and computing power restrict the generated sample size, which may cause Monte Carlo (MC) simulation of events with large population weights. The training of ML algorithms with these limited size samples may degrade the classification performance.
Many of these background events come from processes similar to signal process, but with one (or more) misidentified object (such as 𝛾+jets background process for the H→𝛾𝛾 analysis). Therefore, a good description of these background processes is important for the sensitivity of the analyses. In this presentation, a novel technique using a GAN based object simulation is presented. A conditional GAN algorithm is used to simulate a new misidentified object for the data events that cannot pass the object identification criteria. Hence, this large sample of filtered out data events can be used in the description of the processes with misidentified objects. We demonstrate that using conditional GAN algorithm, the observables of the generated object retains the correlations with other features.

 

L'éthique du numérique et la création du COMOP-éthique au CEA

Alexei Grinbaum CEA/Larsim

14 juin à 11h30, salle Galilée, bat 713, Orme-des-merisiers

Depuis le 8 avril 2022, il existe au CEA un comité opérationnel pilote d’éthique du numérique. Mais qu’est-ce que l’ « éthique du numérique » ? À quoi ce comité sert-il, concrètement ? Comment peut-on profiter de ses recommandations ?

 

A review of mathematical issues and open problems in Echo State Networks
Luca Bonaventura, Politecnico di Milano, Dipartimento di Matematica
Application of Echo State Networks for the prediction of Dynamic Aperture
Maxime Casanova, Politecnico di Milano, CEA/DACM

7 juin à 11h30, salle Galilée, bat 713, Orme-des-merisiers

A review of mathematical issues and open problems in Echo State Networks

Echo State Networks (ESN) are recurrent artificial neural networks that belong to the class of machine learning approaches known as Reservoir Computing. These techniques, rather than training the network itself with data, use randomly defined networks and only train a readout functional that is usually much simpler and less computationally intensive to obtain. The mathematical properties of ESN will be reviewed, with special focus on their capability to approximate dynamical system, on the estimates of their memory capacity,  the Echo State Property  and the relationship of ESN and the chaotic dynamics of underlying dynamical systems. Finally, some  recent developments concerning deep ESN will also be reviewed.

Application of Echo State Networks for the prediction of Dynamic Aperture in circular accelerators

The Dynamic Aperture (DA) represents the region of stable motion of a particle after a certain number of revolutions in a circular accelerator.  Between the possible sources of the instable motion are magnetic fields and elements placement imperfections. DA is typically used to: define tolerances on magnetic field quality and define non-linear corrections schemes, in the design phase of the accelerator; verify the effect of correction in real running machines. Currently, dynamic aperture calculations of high-energy hadron colliders are performed through computer simulations, which are resource-heavy and time-costly processes. The aim of this study is to use a reservoir computing machine learning model in order to achieve a faster extrapolation of dynamic aperture values for large number of revolutions.
The recurrent echo-state network (ESN) architecture is chosen for this work, since it has been proven to approximate arbitrarily well dynamical systems.
The optimization of the ESN architecture and parameters for the prediction of time evolution of DA, also considering  analytical functions based on Nekhoroshev theorem, is discussed.

slides Luca Bonaventura

Slides Maxime Casanova

video

Application du calcul matriciel aux réseaux de neurones

Stéphane Bonnet, CEA/Leti

31 mars à 11h30, salle Galilée, bat 713, Orme-des-merisiers

L’algorithme de rétropropagation (backpropagation en anglais) est au cœur des réseaux de neurones. Il permet de calculer efficacement le gradient d’une fonction de coût (classification ou régression) par rapport à un nombre élevé de paramètres (les poids du réseau)

Le séminaire propose de détailler les fondements mathématiques de la  backprop par une approche purement matricielle. Le formalisme sera illustré sur plusieurs architectures et de manière générale donnera les outils pour mieux appréhender le calcul de gradient matriciel pour d’autres applications (factorisation non-négative, séparation de sources, …)

 

Incertitudes en Deep Learning

Geoffrey Daniel, DES/ISAS/DM2S

27 janvier 2022 à 11h, en distanciel

La montée en puissance du Deep Learning, fondé sur les réseaux de neurones profonds, a entraîné le déploiement de ces algorithmes pour un grand nombre d’applications, notamment en traitement d’images ou de données sonores. Au sein du réseau ALLEGRIA, nous étudions la pertinence de ces algorithmes pour les applications de l’ISAS, sur les thématiques couvertes par l’institut, et dans ce cadre, il est essentiel d’être en mesure de quantifier les incertitudes issues des méthodes utilisées. Or, dans leur utilisation classique, les réseaux de neurones profonds sont déterministes et ne font pas apparaître de notion d’incertitude sur la prédiction. Des travaux récents en pleine expansion dans la littérature s’intéressent au sujet et proposent des techniques pour modéliser ces incertitudes dans ces algorithmes et pour les estimer.

Pour ce séminaire, nous présenterons l’avancée de l’état de l’art sur le sujet. En particulier, nous nous intéresserons dans un premier temps aux notions mêmes d’incertitudes et à leur origine dans le cadre de prédictions par des modèles de machine learning (incertitudes issues des données et celles issues du modèle). Puis, nous présenterons des techniques à l’état de l’art pour quantifier ces incertitudes dans le cadre des réseaux de neurones profonds, ainsi que leurs limitations. Enfin, cela nous amènera à étudier une méthodologie pour essayer de valider les incertitudes obtenues, et à les calibrer si nécessaire.