Réunion Dirac November 19th 2019 (CR Johan)
------------------------------------------
New persons
CPPM Christophe Méceene: évalutation de Go pour Dirac
Andrei Lytovchenko: EOSC, A&A
CREATIS Axel Bonnet: VIP
IPHC Yannick Patois, computing admin, Dirac dev for user support
------------------------------------------
Dirac Update - Andrei
+ patches in v6r22
+ next major v7r1
includes Oauth/OIDC/SSO
+ VMDirac
running containerized applications
using Pilot 3.0 - dirac client on cvmfs
+ Eiscat 3D (CSC in Finland) tight to DIRAC4EGI but own web portal
+ M3AMU project (Marseille)
Users have a "Dirac" certificate, the pilots have a standard certificate
storage is provided by 3rd party
-> need to implement AMU SSO + OAuth via LDAP @ Mesocentre
configure multiple identity providers
+ ESCAPE
DIRAC as a service to run CORSIKA in a container through the Open Source Software Repository
+ FG-DIRAC : updated to v7r0
need to set up ELK stack (ElasticSearch/LogStash/Kibana)
+ python 3
python 2 EoL in January 2020
a python 3 version to test by Q2 2020
Fabio suggests to use Go (statistically linked)
Sorina - need to configure a DiracOS version per site
+ New Consortium CNRS, CERN, IHEP, KEK
still to sign/fix : University of Montpellier, PNNL, Imperial College
+ Conferences
ISGC 2020 abstract "EGI workload manager" accepted - Beijin
Grid 2020
ACAT 2020 South Corea
DI4R 2020
------------------------------------------
Christophe Meesseen - Go
+ create a client or server of Dirac in Go, compatible with python version
+ Go: compiled language, parallélisme (deadlocks, race condition)
http, crypto and SQL in std lib
arrays are called slice because they can grow
+ Work done
Configuration : service able to read a Dirac configuration from file or http
AuthManager : Query if method can be called by a user, returns a bool
implement the exact same logic to the python implementation
------------------------------------------
Anredi Lyvotchenko AAI - (contract ?)
+ X509 -> OAuth2.0 + OIDC (Open ID Connect) as a possible replacement
+ SSO -> many examples, EGI Check-in
+ Delegate Authentication to EGI Check-in SSO (OAuth2.0 based)
but still need an X509 certificate within Dirac
+ Makes possible to have a dynamic registry, because the user profile is
updated at each authentication through OAuth2.0 to the Identity Provider
+ storage authorization through certificate DN
+ EGI Check-In is a federation of Identity Provider, with the added value
of memberships, groups, etc... and should provide access to a proxy provider service
+ dirac-proxy-init -> EGI Check-in login pop up window -> get token/user profile back
+ cookies to be used for authentication through the https future DIRAC client/server protocole
------------------------------------------
Michèle Sanguillon - Provenance in CTADIRAC
+ DataManagement System -> Provenance DB, Service, Client, Scripts
+ Question : utiliser la Provenance DB pour les filtres des inputs des Transformations
comme LhCb, avec des "views" de la db
+ Intérêt d'avoir une interface "Catalogue" pour la db Provenance
+ GUID : pas forcément unique, à activer dans la configuration -> vérifie si le GUID existe
mais faire attention à prendre en main la génération du GUID
Dirac fait un file hash pour générer le GUID
+ ElasticSearch for Provenance DB ?
+ AMI for Provenance DB
+ https://boutiques.github.io/
------------------------------------------
Discussion rucio
+ ESCAPE
datalake -> rucio (DOMA-Fr)
expériences: Belle 2 (US BNL, cf ATLAS DMS) --- voir présentation CHEP 2019 (Paul Padelsky)
--> rucio vu comme un File Catalog avec des méta-data
namespace structuré potentiellement limité mais appeler à évoluer (CMS)
permet user metadata mais voir l'efficacité
correspondance LFN/PFN dans DFC -> rucio ? suivre conventions
rucio fournit une interface REST
Imperial College -> SKAO en lien avec CTAO
rucio = Martin Baristis au CERN
LSST déployer une instance de rucio pour test -> pas utilisable dans l'immédiat
développement d'un conteneur Docker rucio+FTS
rucio ne parle pas storage
brouillon de rapport à demander à Fabio -> à partager dans le cadre d'ESCAPE
-> commencer par l'évaluation de rucio: Fabio + LAPP
en incluant le modèle de données de CTA
Km3Net pourrait être intéressé à terme (ressources ESCAPE disponibles au CPPM)
------------------------------------------
IPHC Yannick Patois
+ utilisateurs des VO locales (labo + région) reposent sur Dirac via FG-Dirac
service critiques pour l'IPHC, nécessité de s'impliquer pour corriger quelques petites choses
+ examples : jobs MPI, jobs paramétriques
+ HTC, MPI, Cloud, GPU (hors grille)
--> visio zoom le 21 novembre à 14h pour setup Dirac dev environment
------------------------------------------
Fabio
+ work with Imperial College, use Dirac for LSST simulations
+ rucio evaluation for LSST -> no
------------------------------------------
Dirac container for MacOS
+ easy to get a Dirac shell
+ à rajouter dans le user guide de Dirac