Orateur
Description
Le projet DIRAC@IN2P3, lancé en Janvier 2017, a pour objectif le développement de nouvelles composantes et fonctionnalités du logiciel DIRAC (http://diracgrid.org/), dans une optique de généralisation, afin de le rendre utilisable par une vaste communauté d’utilisateurs. DIRAC est un logiciel libre (sous licence GPL V3) de type interware pour gérer des ressources de calcul distribuées. Il est utilisé par de nombreuses expériences dans le domaine de la physique des hautes énergies, de l’astrophysique et du biomédicale. Les partenaires du projet sont le CPPM, porteur du projet, le CC-IN2P3, CREATIS, le LUPM et l’Université de Bordeaux. Le souci de généralisation est au cœur du projet, qui bénéficie de la contribution de partenaires issus de différentes communautés (LHCb, CTA, biomed) ainsi que des fournisseurs de ressources (CC-IN2P3, Université de Bordeaux).
Les activités du projet se déclinent selon 3 axes de développement principaux. Le premier axe concerne la gestion des ressources de calcul (HTC, HPC, Cloud). Les ressources HTC sont depuis l’origine intégrées dans le Workload Management System de DIRAC. Néanmoins, nous visons à augmenter la flexibilité d’utilisation des ressources multi-cœurs ou de ressources ayant d’autres spécificités. Les ressources HPC sont également de plus en plus disponibles. Afin de rendre leur utilisation efficace, nous nous proposons de développer un modèle élaboré pour la description de ce type de ressources, supporté également par un mécanisme d’attribution de ressources intelligent. Enfin, bien que DIRAC supporte déjà les ressources Cloud, un effort important reste à réaliser pour rendre effective une utilisation mutualisée et opportuniste de ce type de ressources. Le deuxième volet du projet concerne le développement d’un système de gestion de workflow complexes, basé sur un paradigme complétement ‘data-driven’. L’idée étant d’identifier des schémas communs aux différents types d’utilisateurs, afin de développer un système générique. Enfin, le troisième axe, concerne la gestion des données en masse au travers le concept de ‘dataset’, basé sur la caractérisation des données à travers des métadonnées définies par les utilisateurs.
Dans cette contribution, nous allons présenter les concepts évoqués dans les trois volets du projet, ainsi que les premiers résultats et l’organisation du projet.
Thèmes associés
Calcul distribué
