4th DIRAC project Face 2 Face meeting

Europe/Paris
Salle 323 (CC-IN3P3)

Salle 323

CC-IN3P3

Lyon
Description
  • Dirac v7 ElasticSearch
  • EGI Check-in
  • Systèmes de workflow pour publi TS

Réunion Dirac November 19th 2019 (CR Johan)
------------------------------------------
New persons
CPPM Christophe Méceene: évalutation de Go pour Dirac
     Andrei Lytovchenko: EOSC, A&A

CREATIS Axel Bonnet: VIP

IPHC Yannick Patois, computing admin, Dirac dev for user support

------------------------------------------
Dirac Update - Andrei
+ patches in v6r22
+ next major v7r1
  includes Oauth/OIDC/SSO
+ VMDirac
  running containerized applications
  using Pilot 3.0 - dirac client on cvmfs
+ Eiscat 3D (CSC in Finland) tight to DIRAC4EGI but own web portal
+ M3AMU project (Marseille)
  Users have a "Dirac" certificate, the pilots have a standard certificate
                                    storage is provided by 3rd party
  -> need to implement AMU SSO + OAuth via LDAP @ Mesocentre
     configure multiple identity providers
+ ESCAPE
  DIRAC as a service to run CORSIKA in a container through the Open Source Software Repository
+ FG-DIRAC : updated to v7r0
             need to set up ELK stack (ElasticSearch/LogStash/Kibana)
+ python 3
  python 2 EoL in January 2020
  a python 3 version to test by Q2 2020
  Fabio suggests to use Go (statistically linked)
  Sorina - need to configure a DiracOS version per site

+ New Consortium CNRS, CERN, IHEP, KEK
  still to sign/fix : University of Montpellier, PNNL, Imperial College

+ Conferences
  ISGC 2020 abstract "EGI workload manager" accepted - Beijin
  Grid 2020
  ACAT 2020 South Corea
  DI4R 2020

------------------------------------------
Christophe Meesseen - Go
+ create a client or server of Dirac in Go, compatible with python version
+ Go: compiled language, parallélisme (deadlocks, race condition)
      http, crypto and SQL in std lib
      arrays are called slice because they can grow
+ Work done
  Configuration : service able to read a Dirac configuration from file or http
  AuthManager : Query if method can be called by a user, returns a bool
                implement the exact same logic to the python implementation


------------------------------------------
Anredi Lyvotchenko AAI - (contract ?)
+ X509 -> OAuth2.0 + OIDC (Open ID Connect) as a possible replacement
+ SSO -> many examples, EGI Check-in
+ Delegate Authentication to EGI Check-in SSO (OAuth2.0 based)
  but still need an X509 certificate within Dirac
+ Makes possible to have a dynamic registry, because the user profile is
  updated at each authentication through OAuth2.0 to the Identity Provider
+ storage authorization through certificate DN
+ EGI Check-In is a federation of Identity Provider, with the added value
  of memberships, groups, etc... and should provide access to a proxy provider service
+ dirac-proxy-init -> EGI Check-in login pop up window -> get token/user profile back
+ cookies to be used for authentication through the https future DIRAC client/server protocole

------------------------------------------
Michèle Sanguillon - Provenance in CTADIRAC
+ DataManagement System -> Provenance DB, Service, Client, Scripts
+ Question : utiliser la Provenance DB pour les filtres des inputs des Transformations
             comme LhCb, avec des "views" de la db
+ Intérêt d'avoir une interface "Catalogue" pour la db Provenance
+ GUID : pas forcément unique, à activer dans la configuration -> vérifie si le GUID existe
         mais faire attention à prendre en main la génération du GUID
         Dirac fait un file hash pour générer le GUID
+ ElasticSearch for Provenance DB ?
+ AMI for Provenance DB
+ https://boutiques.github.io/


------------------------------------------
Discussion rucio
+ ESCAPE
  datalake -> rucio (DOMA-Fr)
  expériences: Belle 2 (US BNL, cf ATLAS DMS) --- voir présentation CHEP 2019 (Paul Padelsky)
               --> rucio vu comme un File Catalog avec des méta-data
                                  namespace structuré potentiellement limité mais appeler à évoluer (CMS)
                                  permet user metadata mais voir l'efficacité
                                  correspondance LFN/PFN dans DFC -> rucio ? suivre conventions
                   rucio fournit une interface REST
  Imperial College -> SKAO  en lien avec CTAO
  rucio = Martin Baristis au CERN
  LSST déployer une instance de rucio pour test -> pas utilisable dans l'immédiat
       développement d'un conteneur Docker rucio+FTS
       rucio ne parle pas storage
       brouillon de rapport à demander à Fabio -> à partager dans le cadre d'ESCAPE
  -> commencer par l'évaluation de rucio: Fabio + LAPP
     en incluant le modèle de données de CTA
  Km3Net pourrait être intéressé à terme (ressources ESCAPE disponibles au CPPM)
   
------------------------------------------
IPHC Yannick Patois
+ utilisateurs des VO locales (labo + région) reposent sur Dirac via FG-Dirac
  service critiques pour l'IPHC, nécessité de s'impliquer pour corriger quelques petites choses
+ examples : jobs MPI, jobs paramétriques
+ HTC, MPI, Cloud, GPU (hors grille)
--> visio zoom le 21 novembre à 14h pour setup Dirac dev environment

------------------------------------------
Fabio
+ work with Imperial College, use Dirac for LSST simulations
+ rucio evaluation for LSST -> no

------------------------------------------
Dirac container for MacOS
+ easy to get a Dirac shell
+ à rajouter dans le user guide de Dirac

 

There are minutes attached to this event. Show them.
    • 11:15 11:45
      Nouvelles du projet et nouveaux membres 30m
      • bienvenue au nouveaux membres et tour de table
      • DIRAC project update
      • ESCAPE update
      • Dirac v7 status
      • ElasticSearch and RabbitMQ - central service?
      • FG Dirac news
      • EGI check-in
      Speaker: Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France)
    • 11:45 12:05
      Etude d'un cadre des services DIRAC en langue de programmation Go 20m
      Speaker: Mr Christophe Meesen
    • 12:05 12:25
      Solution AAI basée sur OAuth/OIDC 20m
      Speaker: Mr Andrei Lytovchenko
    • 12:25 12:45
      Rucio - Dirac 20m
      • Better understanding of Rucio
      • How to develop a rucio-Dirac interface
      Speakers: Fabio Hernandez (CC-IN2P3), Luisa Arrabito (LUPM)
    • 12:45 13:45
      pause déjeuner 1h
    • 13:45 14:15
      Intégration d'un service de 'provenance' dans CTADIRAC. 30m
      Speakers: Luisa Arrabito (LUPM), Michèle Sanguillon (LUPM)
    • 14:15 14:45
      Docker Container to run the Dirac client on MacOS 30m
      • pb with the Dirac client installation on the latest version of MacOs
      • use a docker container
      Speakers: Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France), Luisa Arrabito (LUPM)
    • 14:45 15:45
      Conférences et Publication 1h
      • Paper on Transformation System
      Speaker: Johan Bregeon (IN2P3 LUPM)