Le RI3 est le Réseau des Informaticiens de l'IN2P3 et de l'Irfu. Sa mission
première est de favoriser l’échange d’information et le partage de compétences au sein de la communauté des informaticiens des 2 instituts. L'organisation de ces journées est l'une des actions récurrentes du RI3, pour ne pas dire son action PHARE.
Cette courte présentation sera l'occasion d'évoquer les actions du...
Participation in the development of scikit-learn (bibliothèque de Machine Learning pour python) and collaborative software development in general.
Pour le développement logiciel d'une partie du "Pipeline" de le l'observatoire CTA, nous avons utilisé la méthode Agile SCRUM pour la gestion de projet.
Je propose de faire un retour d’expérience sur l'utilisation de cette méthode SCRUM dans une équipe local de 7 personnes.
Présentation de la mise en place concrète d’une politique de gestion des données expérimentales au GANIL :
Rôle et responsabilité en matière de gestion des données
Gestion de l'Open Access (Utilisation d’iRODS et d’un Cloud temporaire)
Utilisation d’identifiants pérennes pour les jeux de données (DOI)
Catégorisation des données (Création de métadonnées)
Gestion du stockage et de l’archivage...
La communauté de la Physique des Hautes Énergies en général et le CC IN2P3 en particulier sont des utilisateurs de longue date de technologies de bandes magnétique. Ce média d’un faible cout unitaire est la solution privilégiée pour le stockage de masse de très grandes quantités de données. Lors des JI 2014 [1], j’avais retracé dans une rétrospective l’historique et les utilisations de telles...
La première version de Windows 10 (1607) déployée sur de nombreux postes de l'IRFU est maintenue par Microsoft uniquement jusqu'en octobre 2018.
L'IRFU a donc prévu une migration de ces postes au printemps/été 2018 vers Windows 10 1803.
Nous décririons les différentes procédures et tests que nous avons mis en place, sachant que ce type de mise à jour devra avoir lieu au minimum une fois par an.
L’IRFU a changé totalement sa méthode de gérer et d’installer les pilotes de machines Windows 10 ainsi que la mise à jour des bios en utilisant une nouvelle méthode appelée « Modern Drivers Management ». Cette méthode est basée sur un principe très simple de copie des pilotes dans un répertoire / package au nom très explicite de telle manière que le pc puisse facilement trouver et utiliser les...
Les services informatiques de nos laboratoires et centre de calcul ont besoin de superviser leurs ressources et leurs données. Cela nécessite parfois le développement d'applications sur mesure, adaptées à nos spécificités, et capables d’agréger, traiter et formater des données provenant de sources hétérogènes.
Lavoisier (http://software.in2p3.fr/lavoisier) est un framework qui permet de...
Pour la gestion d'un parc important de serveurs, nous avons besoin d'un outil de déploiement efficace et qui s'adapte à tous nos besoins.
- Doit être fonctionnel sans modification majeure.
- Doit s'intégrer dans le système d'information du CC.
- Doit prendre en charge les systèmes déjà déployés.
- Actif et largement utilisé dans des environnements équivalents à celui du CC
Je présente l'outil...
Nous allons voir à travers cette présentation :
- La gestion du réseau virtuel OpenStack depuis sa mise en place avec nova-network.
- Le développement du Cloud au CC et la nécessité d'une migration vers neutron.
- Les différentes fonctionnalités qu'offre neutron et leurs usages au CC.
- Les perspectives avec le développement du SDN/NFV.
Lors de cette discussion ouverte, nous évoquerons les solutions Dell-EMC Networking orientées Datacenter et Campus, et leur intégration dans des environnements réseaux existants, en particulier ceux s’appuyant sur des solutions d’autres constructeurs, tel que Cisco. Si le respect des standards protocolaires est un élément fondamental de cette intégration, nous aborderons également par...
A la suite d'un sondage adressé aux chefs de service informatique courant septembre, je dresserai un panorama des évolutions des infrastructures et des technologies de calcul utilisées à l'institut.
Go-HEP est un ensemble de bibliotheques et applications permettant d'écrire des codes d'analyse efficaces, concurrents et facilement déployables, en Go.
Dans une première partie, j'introduirai très rapidement les forces et faiblesses de Go, et donc les motivations pour l'écriture de Go-HEP et sa mise à disposition de la physique des...
L'expérience ALICE au LHC est met à jour son control framework pour faire face aux conditions de prise de données prevues pour le Run-3, tant dans le domaine du volume que de la frèquence d'acquisition des données: ALICE-O2.
Ce nouveau framework regroupe les communautés "online" et "offline" (O2) autour d'une architecture distribuée basée sur l'échange de messages et la bibliothèque...
Dans le cadre du projet européen PRACE, présentation de la mise en place d'un workflow "agile" sur la ferme GPU du CC-IN2P3, grâce à la conteneurisation, afin d'évaluer un framework de Deep Learning.
Dans un contexte technologique ou les données sont très faciles à produire, l’analyse quant à elle devient de plus en plus complexe. Les plateformes de calcul telles que MapReduce (HADOOP) ont été largement adoptées pour les traitements analytiques. Bien que ces plateformes offrent un modèle de calcul hautement parallélisable et tolérant aux pannes matérielles, elles demeurent néanmoins pour...
Smilei est un code de simulation de physique des plasmas de type Particle-In-Cell. Il est utilisé pour des simulations de jets relativistes astrophysiques aussi bien que pour la simulation d'accélérateur de particules par sillage laser.
C'est un code libre développé en collaboration avec des partenaires extérieurs physiciens et experts en calcul scientifique. Smilei est massivement parallèle...
Le projet PRESOFT (http://www.france-grilles.fr/presoft/) et son modèle de plan de gestion de logiciel de la recherche (http://www.france-grilles.fr/presoft-modeles-de-plan-de-gestion-de-logiciel/) ont été présentés début mai lors d'un webinaire RI3 (https://indico.in2p3.fr/event/17335/).
La proposition pour ces journées a deux objectifs :
donner l'occasion aux personnes présentes aux...
Après 6 mois de négociation avec Dell, l’IRFU a fait l’acquisition d’un nouveau cluster HPC « gonflé » à bloc (tout Intel CPU Gold 20 cœurs et réseau OmniPath 100Gb/s) pour le Département Astrophysique :
cosmologie et planétologie
La découverte de l’environnement de déploiement TrinityX développé par ClusterVision nous a incités à mettre en œuvre pour le recyclage d’un ancien cluster :...
Rapide mise à jour sur la ferme GPU au CC-IN2P3 et ses évolutions depuis son lancement, il y a 2 ans, au moment des JI 2016.
L'expérience SoLid installée auprès du réacteur nucléaire de recherche BR2 à SCK-CEN (Mol, Belgique), se propose d'étudier un des secteurs les plus prometteurs en terme de nouvelle physique: la physique des neutrinos.
Le dispositif expérimental est constitué de plusieurs cubes en PVT de 5x5x5 cm^3, placés dans un conteneur, à 5,5m du cœur.
La température de ce...
Dans cette brève présentation, je ferai part de mon expérience avec "Google Summer of Code" (GSoC).
Au cours de ces deux dernières années, j'ai encadré plusieurs étudiants lors de ce programme financé par Google.
Le CERN et la "HEP software foundation" (HSF) sont des organisations retenues par Google pour participer au GSoC: ici.
J'ai...
Je présenterai un prototype de site web cataloguant les piscines et tutoriels en-ligne de l'IN2P3, ainsi que les tutoriels externes recommandés par les collègues. Je compte intégrer au site tous les tutoriels et piscines prévus pources JI, donc c'est mieux si je suis plutôt en début de programme, pour que les participants puissent utiliser le site pour choisir leurs tutos (dans les limites de...
Au fil des ans s’accumulent de nombreux logiciels et leurs différentes versions déployés sur un nombre grandissant de versions de distribution, la mise en oeuvre de CVMFS est l’occasion d’élaguer et de rationaliser là l’intégration et le dépliement des binaires et librairies utilisés par les physiciens.
Singularity est un conteneur orienté HPC facile à utiliser et à déployer. Disponible au centre de calcul, il permet très simplement de transformer un logiciel ou une pile de logiciel en un fichier executable n'importe ou et compatible OpenMPI. Singularity permet de s'abstraire de l'environnement système pour se focaliser sur le code, du poste de travail jusqu'au centre de calcul et ainsi...
Cet atelier piscine présentera les différentes bibliothèques à disposition des scientifiques en Data Science et Machine Learning.
Au programme:
gonum/stat: outils pour les statistiques (variées et multi-variées)gonum/mat: bibliothèque de manipulation de matrices, avec un "backend" LAPACK + BLASgonum/optimize: outils concurrents pour la recherche d'extremagonum/diff/fd:...
Panorama du ML et utilisation dans la communauté Irfu / IN2P3
Le machine learning est un domaine en pleine expansion. Au sein de la DRF (direction de la recherche fondamentale), un groupe transverse qui regroupe des domaines aussi différents que l'étude du génome ou la physique des particules s'est constitué autour des méthodes d’apprentissage automatique. C'est de ce groupe, nommé InTheArt dont je vous parlerez.
La HEP Software Foundation (HSF), créé en en 2015 pour organiser la collaboration autour du logiciel dans la communauté HEP et ses partenaires, a conduit un processus de prospective en 2017, appelé le Community White Paper. Cette présentation rappellera l'originalité du processus, les grandes lignes de la roadmap publiée fin 2017 et les actions de R&D en cours depuis.
Conclusion des Journées Informatique
Dans cette présentation, nous nous attachons à étudier les évolutions des technologies matérielles et logicielles et leurs impacts sur l’exploitation des infrastructures. Aussi impressionnants que puissent paraitre les gains bruts en termes de performances, de capacité de traitement ou, encore, d’efficacité énergétique, il est tout aussi important d’améliorer l’utilisabilité des solutions...
