Projets IN2P3 R&D transverse "Calcul&Données"

lundi 29 janv. 2018, 10:00 → 15:45 Europe/Paris

Amphi (CC-IN2P3)

Réunion d'information et d'échange consacrée aux projets de R&D transverse ouverte à toutes les personnes intéressées.
La réunion etait accessible à distance.
 

 

Journée projets IN2P3 de R&D transverses 'Calcul & Données'

10:00 Accueil

1 Introduction

L’IN2P3 a une longue histoire dans la gestion et analyse de grands flux de données ainsi que dans le calcul, l’organisation et la distribution du stockage. Néanmoins, les défis à venir dans les 5-10 prochaines années sont importants. Nous n’y verrons pas seulement un grand nombre de nouveaux projets avec des volumes de données très importants (de l'ordre de la dizaine de pétaoctets par an) entrer dans le jeu mais la déferlante de données qui résultera de la mise à niveau du LHC et de ses expériences sera encore plus significative.
L'application de nouvelles techniques, algorithmes et workflows est essentielle pour continuer notre travail avec succès. Plusieurs nouveaux projets d'informatique scientifique ont débuté en 2017 au sein de l'IN2P3, et d'autres sont prévus en 2018. Grâce à ces initiatives, l'IN2P3 maintiendra l'institut du CNRS avec une excellente capacité à traiter et analyser le tsunami des données qui nous attendent.

Orateur: Volker Beckmann (CNRS / IN2P3)

IN2P3_journee_projet_transverse_calcul_donnees_janvier2018.pdf

2 DecaLog

10 ans pour gagner un facteur 10 dans le Logiciel

3 Machine Learning group - CompStat

Motivated by the shortcomings of traditional data challenges, we have developed a unique concept and platform, called Rapid Analytics and Model Prototyping (RAMP), based on modularization and code submission. Open code submission allows participants to build on each other’s ideas, provides the organizers with a fully functioning prototype, and makes it possible to build complex machine learning workflows while keeping the contributions simple. We will start this presentation by describing the context and motivation, the guiding design principles, and some of the technical details (front and backend) of the platform. We will then walk you through some of the most interesting workflows and applications (e.g., anomaly detection in particle physics detectors, classifying molecular spectra for safe drug administration, spatio-temporal time series prediction in climate science). In the last third of the talk we will present a preliminary analysis of the RAMPs that touches on both the technical (machine learning) aspects of the tool and on the management of crowdsourcing data analytics.

More information:
https://drive.google.com/open?id=0BzwKr6zuOkdRNmQ0Q3djMTBzY2s

Orateurs: Balázs Kégl (LAL/CNRS), David Rousseau (LAL-Orsay)

slides_ccin2p3_ramp_1801.pdf

tr180129_davidRousseau_IN2P3_IN2P3ML.pdf

Motivated by the shortcomings of traditional data challenges, we have developed a unique concept and platform, called Rapid Analytics and Model Prototyping (RAMP), based on modularization and code submission. Open code submission allows participants to build on each other’s ideas, provides the organizers with a fully functioning prototype, and makes it possible to build complex machine learning workflows while keeping the contributions simple. We will start this presentation by describing the context and motivation, the guiding design principles, and some of the technical details (front and backend) of the platform. We will then walk you through some of the most interesting workflows and applications (e.g., anomaly detection in particle physics detectors, classifying molecular spectra for safe drug administration, spatio-temporal time series prediction in climate science). In the last third of the talk we will present a preliminary analysis of the RAMPs that touches on both the technical (machine learning) aspects of the tool and on the management of crowdsourcing data analytics.

More information:

https://drive.google.com/open?id=0BzwKr6zuOkdRNmQ0Q3djMTBzY2s

12:30 Pause Déjeuner

4 DIRAC

Le projet DIRAC développe un logiciel de type « interware » pour intégrer différentes ressources de calcul et de stockage de données en une seule infrastructure avec un accès transparent pour les utilisateurs. Ce logiciel permet de créer et gérer des flux des tâches complexes avec accès aux ressources de types HTC, HPC ou Cloud en fournissant une interface simple et compréhensive. Les services basés sur le logiciel DIRAC sont offerts aux utilisateurs de différentes grilles de calcul, y compris France-Grilles et EGI.

Orateur: Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France)

DIRAC_IN2P3_2017.pdf

5 CoreGEANT

Le projet Geant4 avait débuté il y a près de 25 ans au CERN avec le programme RD44 devant évaluer, pour la période du LHC qui s'ouvrait, l'intérêt des technologies Orientées Objet pour la modélisation de la simulation du transport des particules ionisantes dans la matière. Conçu à partir d'un coeur générique capable d'accepter la description de la physique sous forme de "plug-in", Geant4 a montré une grande capacité d'adaptation bien au-delà de la physique des hautes énergies et est aujourd'hui largement utilisé en physique nucléaire, médecine et imagerie nucléaire, spatial, science des matériaux, sécurité intérieure, etc.
Geant4 a connu plusieurs évolutions notables, la dernière étant la possibilité d'exploiter le mode multi-threading, avec le processing en parallèle des évènements. Une telle évolution permet aux grosses applications de type LHC de pouvoir tirer profit de la puissance de calcul des plateformes many-core, sans être limitées par des problèmes de saturation mémoire.
L'in2p3 a toujours joué dans Geant4 un rôle important, et moteur dans plusieurs domaines. Cette présentation fera un rappel de l'historique de Geant4, de ses capacités et domaines d'applications, exposera le mode multi-threading de Geant4 et ses performances. Elle soulignera ce qui se fait à l'in2p3 et elle mentionnera un certain nombre de pistes de développement qu'il serait envisageable de poursuivre à l'in2p3, et en France, tant sur le plan de la physique, que sur celui d'une meilleure exploitation des architectures modernes.

Orateur: Marc VERDERI (LLR)

Geant4-journees-RD-transverses-V2.pptx

6 PreSoft

Les objectifs de PRESOFT sont :
- de développer des procédures et modèles réalistes pour les plans de gestion du logiciel qui pourraient être proposés dans les laboratoires.
- d’étudier la faisabilité, les bénéfices par rapport aux contraintes, l’acceptabilité et les conditions pour une réelle adoption par les chercheurs, les thésards ou les responsables des projets de développement logiciel pour leur propre production de logiciels de recherche de plans de gestion du logiciel.
- d’évaluer l’impact pour une unité de l’implémentation de plans de gestion du logiciel sur sa connaissance du logiciel de recherche développé en son sein et sa gestion. Par exemple, sur la gestion des actifs logiciels internes, le coût de la pérennisation du logiciel, sa valorisation, les compétences internes...
La présentation donnera l’avancement du projet, les perspectives et les collaborations en cours

Orateur: Geneviève Romier (CNRS-IN2P3 CC-IN2P3)

PRESOFT-JourneeProjetsR&DIN2P3-Calcul&Donnees-janv2018v1.pdf

7 Beta

Orateur: Frederic Suter (CC IN2P3 / CNRS)

BETA.pdf

8 Workflows4NP

Orateur: Eric Legay (CSNSM)

2018-01-29 - IN2P3 - Réunion R&D transverse.pptx