Choisissez le fuseau horaire
Le fuseau horaire de votre profil:
5th DIRAC project Face 2 Face meeting
→
Europe/Paris
Salle 323 (CC-IN3P3)
Salle 323
CC-IN3P3
Lyon
Description
- première réunion face à face depuis 2 ans !
Inscription
Participants
Présents : Ghita, Johan, Vanessa, Andrei, Luisa, Alice, Gino
Sébastien, Sorina, Axel
----------------------------
Update Projet Andrei
6 labos : CC, CPPM, LUPM, LPSC, IPHC, CREATIS
dans le consortium DIRAC
-> 14 ingénieurs mais 3 ETPs, renforts en développeurs nécessaire
Developpements en cours
OAuth2/OIDC AAI
Computing and Storage Resources
Production System
REST, Jupyter, COMDIRAC, WebAppDIRAC
Developments to support services and applications
OAuth2/OIDC
development delayed due to a long absence of Andrii
base feature included into v8r0
tests at IN2P3, in particular via CloudVM
Computing Resources - various
SSHComputingElement updated to python3
HPC Centers
large interest -> could contribute
exemple : PushJobAgent (development from LHCb)
Computing Resources - acces token
ComputingElement=> OSG.us HTCondorCE
Cloud -> openstack & libcloud based drivers
-> CloudDirector & VirtualMachine Manager
CloudComputingElement : dev GridPP
-> transparent interface as for a regular CE : available in next patch
-> Sorina interested to be beta tester
Production System update
Utiliser en 2021 dans le cadre de CTA, workflow assez simple
à bien fonctionner mais besoin de préparer un tuto
Travail d'Alice pour améliorer l'interface au production system
-> regarder PS LHCb et ILC
+ à noter problèmes de performance en production du TSCatalog
-> en cours d'investigation par Luisa
Interface REST
new HTTPS based client/server protocol implies new REST interface
-> old REST handlers to be reviewed and reimplemented in new framework
Jupyter notebooks
popular demand
have all ingredients to make DIRAC client available in the Jupyter env
-> conda env, docker container, cvmfs in notebook
forte demande de la communauté "Eiscat 3D"
COMDIRAC
developed by Pierre, maintained by Andrii
updated to python3, deploy to PyPi
-> developer needed, several ideas submitted #issues
WebAppDIRAC - maintained by Andrii
updated to support tokens
made uniform with HTTP/Tornado framework
more web app desirable : Monitoring, Community specific, Production System
Releases Update
v7r2p43, v7r3p20 -> minor fixes
v8r0p0-pre1
next hackathon on April 21st
but need TokenManager for minimal support
EGI services
running smoothly, 4M jobs in 2022
ESCAPE - no real news
Concordia : script based API for submission of grid jobs with containers
ESAP : integration with DIRAC (RCAuth, Andrii)
Dirac-Rucio
utilisé dans Belle-2 en prod
effort dans le cadre de CTA
-> possibilité de développement pour une meilleur implémentation
via une vrai intégration
------------------------------------
EGI Ace - Gino
Implement the Compute Platform of the European Open Science Cloud
VM infrastructure hosted at CC-IN2p3
User support via GGUS tickets
-> mais continuer utiliser contact direct au sein du projet
"Official" Developments (EGI JIRA):
-> EGI Cloud providers, EGI Check-in, Rucio, Notebooks
Procedures and Documentation (heavy load but mandatory!)
-> Privacy policy, VA reporting, WM capacity plan, Tech spec, Platform services
Change Management
gestion des changements du service EGI
-> estimate risks and submit to Change Advisory Board
Meetings and dissemination
2021 DUW, EGI COnf, JCAD
2022 -> journées R&T ? -> a priori plutôt développement
Resource providers information
pb de mise à jour des sites, où trouver les informations ?
cross-référence entre BDII et GOCDB
help of EGI Operations Portal (Cyril)
Installation and packaging
Helping DIRAC platform dissemination
Define Ansible procedure
server installation (Vobox, MariaDB, Dirac server)
-> to be made public soon
client installation (done by Biomed)
Tutorials (WebApp, File Catalog, RMS, TS, WMS...)
DIRAC EGI-WMS in the EOSC marketplace
life after EGI-ACE (3 years)...
ESCAPE to become an ESFRI cluster : formalize EGI-WMS continuation
-> DIRAC = WMS within ESAP
EGI-WMS should be part of the research infrastructures federated by the future ESCAPE cluster
--> engager des discussions avec ESCAPE Ian Bird / Giovanni
pour que Dirac devienne comme FTS, Rucio, DCache l'un des
outils de la nouvelle plateforme -> permettrait au LUPM d'intégrer
la nouvelle structure
--> ressources de développement pour cibler des communautés d'utilisateurs
--> discuter avec Sabine pour avoir son soutient
-> possibilité de recrutement dans les labos
--> *action pour Johan*
------------------------------------
Tokens
service id centralisé ?
utilisateur générique ?
place réminiscente du X509 ?
Initialement service VOMS pour gérer les communautés
-> à refondre pour utiliser OAuth/OIDC
phase de recouvrement X509/Token
-> WLCG AIM peut fournir des certificats et des token
Authentication Identity Management
pb de la définition des "nouvelles" communautés, par rapport à VOMS
-> plugins pour DIRAC
+ Tests en cours dans CMS (avec HTCondor)
DIRAC juste intermédiaire, registre interne reste mais ne doit pas être utilisé pour définir l'accès des utilisateurs aux ressources
Utilisateur se logue à DIRAC et apporte un token
gestion de communauté complètement déléguer par DIRAC au service externe
-> registre utilisateur dynamique : encore à implémenter dans DIRAC
Mais mécanisme de gestion des droits "multiples" des utilisateurs à redéfinir
-> comment gérer droits admin/utilisateur pour éviter confusions ?
------------------------------------
Dirac -- Rucio integration and on-going tests for CTA - Luisa
Work done in the context of Escape : F. Gillardo @ LAPP, PIC and C. Serfon (Belle 2 rucio)
UC1 rucio only: long haul ingestion and replication
data from La Palma to data-lake on European continent (PIC, CNAF ?)
UC2 rucio+Dirac: data reprocessing
data from DL0 on tape to DL3 on disk
CTADIRAC-Rucio integration
using the CTADIRAC certification instance (single VM with everythin)
RucioFileCatalog plugin in DIRAC v7.3.12
+ stopped DIRACFileCatalog
using Rucio instance at PIC
-> instance dedicated to CTA (there is exist also an ESCAPE instance)
-> hierarchical namespace to emulate Dirac File Catalog
Test putAndRegister
submit jobs accessing data registered in rucio
configure pilotes to access rucio
rucio configuration installed on cvmfs (stolen from Belle2)
Question sur les meta données, et la possibilité d'utiliser le TransformationSystem
-> plugin DIRAC-rucio n'implémente pas l'interface aux meta-données
-> à faire, sauf que metadonnées hiérarchiques DIRAC sont très différentes des namespaces/conteneurs rucio
------------------------------------
Monitoring - Luisa
CTA Monitoring system installed in 2020 on CTADIRAC instance (Patrick, Michelle + Fabien CC)
3 sub-systems: Component Monitoring, WMS history monitoring, RMS monitoring
ELK populated by WMS StatesAccountingAgent (that also populates the MySql Accounting system)
Monitoring system -> last 6 months ?
Accounting full history
Examples de visualisation avec Kibana/Grafana
aide de Fabien pour démarrer
documentation bien écrite
ComponentMonitoring partiellement cassé -> fix dans la v8
ComponentMonitoring inclu le JobAgent... qui rapporte tous les workers nodes comme host Dirac !
-> db remplis de workers nodes... *configuration à ajuster*.
JobParameters -> reste à explorer
RAM, CPU, ...
Besoin de faire DashBoard pour EGI -> volontaires bienvenus !
------------------------------------
Jupyter - Sébastien Gadrat
JupyterLab = modern GUI for notebooks accessible via an URL
Kernel : Julia, python, R, C++/ROOT, Golang
custom kernels can be easily created & used
unix terminal, similar to cca
-> GPU : 5 machines with Nvidia K80 providing 20 K80
can be used for high memory tasks 130 GB per machine
-> DASK : jobs distribués gérés par un module python
Accès software cvmfs, nécessite installation client dans le docker serveur de notebook
------------------------------------
Conseil Scientifique 23-24 juin
Luisa en charge de faire un rapport sur les logiciels développer à l'IN2P3, dont Dirac
Il y a un compte-rendu associé à cet événement.
Les afficher.
