DIRAC Project meeting

→ Europe/Paris
Visio Zoom

Visio Zoom
Vanessa Hamar (CC-IN2P3 / CNRS)
Description

DIRAC@IN2P3

Time May 22, 2023 02:00 PM Paris

Meeting ID 967 7700 5831

Passcode f7AGKV

Participants
  • Andrei Tsaregorodtsev
  • Gino Marchetti
  • Jerome Pansanel
  • Johan Bregeon
  • Luisa Arrabito
  • Sorina POP
  • Vanessa Hamar
  • Yannick Patois
Cacher

Compte rendu réunion DIRAC@IN2P3

Lundi 22 mai 2023

 

Étaient présents : 

  • Alice FAURE 
  • Andrei TSAREGORODTSEV
  • Bertrand RIGAUD
  • Gino MARCHETTI
  • Johan BREGEON
  • Luisa ARRABITO
  • Natthan PIGOUX
  • Sorina POP

Secrétaire :

  • Vanessa HAMAR

Ordre du Jour :

  • État du Projet
  • Update CTA
  • Update Biomed
  • Retours CHEP / FluentD
  • Publications / Conférences

 

1. État du Projet

 

1.1 Versions :

  • 2 patchs releases : 
    • V7r3p36 pas des changements
    • 8.0.20 
    • Fixes mineurs
      • AREX-CE
      • Remote runner pour des sites HPC => Discussion avec Alexandre du CERN
    • 8.1.0 pas de hackathon => pas d’avancement.

1.2 Développements :

  • OAUTH/OIDC AuthN/AuthZ
    • Réunion avec les développeurs comme d’habitude. 
    • Galaxy commence avec les tokens et les certificats
    • Utilisation des tokens à travers CLI
      • Obtenir les tokens utilisateurs => C’est fait
      • Le mapping DIRAC utilisateur / group => C’est fait
      • Renouvellement des tokens des utilisateurs à vérifier. Il y a des pertes des composants après le renouvellement. 
    • Soumission des jobs avec les tokens Check-In à faire. HTCondor attends des tokens avec le champ « audience » qui a été fait, mais check-in est déprive des ressources. Les experts HTCondor seront contactés.
    • WMS avec tokens
      • Tous les services WMS dans la plateforme de tests du CC (cctbdirac01,02) est fait.
      • SandboxStore service ajouté récemment, mais pas dans un PR. 
    • A faire : 
      • Obtenir les tokens des utilisateurs dans les pilots.
      • Préparer la session de formation de la conférence EGI pour être exécuté avec des tokens. 
  • FluentD/bit logging (Bertrand)
    • Kibana dashboards
    • Des fichiers locaux par service 

1.3 Services EGI :

  • 4M jobs depuis 2022, 800 en moyen le mois dernier. 
  • 1 seul problème, le serveur VOMS de WeNMR a changé le DN par conséquence le changement du fichier lsc a été fait après. 
  • Tous les serveurs ont la version 8.0 de DIRAC, et aussi quelques changements pour les tokens.

 

1.4 Européen/Nationaux Projets : 

  • GreenDIGIT –technologies and practices for sustained RI computing environments => Fortes chances d’être acceptés !
  • PEPR STEEL pas des nouvelles.
  • ESCAPE => RAS.
  • Galaxy
    • Les discussions avec les développeurs ont recommencé
    • Les setups des pilots avec les tokens sont OK, il y a des problèmes avec les certificats X509 et le serveur VOMS de BIOMED.

 

1.5 Workshops :

  • DIRAC Community workshop pendant la conference EGI (propose par EGI) – 18-23 juin 2023
    • Une session de training de 90 mins – Proposition : Full token WMS démo.
    • Une deuxième session démo de 25 mins.
  • ISGC’23 paper envoyé => DIRAC: OIDC/OAuth2 based security framework
  • CHEP 
    • Presentation fait par Alice. 
  • Joint DIRAC + Rucio Workshop (KEK) 16-20 Octobre 2023
    • La première réunion du comité de programme a été fait, l’agenda est déjà en cours de préparation.

 

1.6 Consortium :

  • Consortium Agreement Amendement : en cours
    • La participation de l’UM est arrêté
    • La procédure de la signature est commencée mais bloqué au niveau du CNRS/IN2P3.

 

2. Retour CTA

 

  • Alice a présenté « The Cherenkov Telescope Array Observatory workflow management system » au CHEP
    • Les « procedings » sortiront en Juillet. Le paper doit avoir entre 8 et 12 pages.
    • Serai le premier paper du Workflow Management System de DIRAC.

 

3. Retour Biomed

 

  • Les prochaines test à faire : 
    • Envoyer un job pilot Biomed avec les tokens.
    • Finir les test des jobs utilisateurs avec le token et le certificat proxy au même temps.
    • Utiliser un terminal Jupyter pour faire des tests avec tokens. 
    •  

4. Retours CHEP / FluentD

  • CHEP : voir point 2
  • FluentD : 
    • Des lignes des logs intègres dans le portail DIRAC (Log View, Low View Single Line et Log Count) 
    • Des fichiers texte par service sont aussi peuples.
    • Le schéma utilisé est montre dans la figure a continuation.

 

 

  • Natthan va contacter Bertrand pour l’accès au repo gitlab FluentD/bit DIRAC et parler de l’utilisation de FluentD/bit

5. Publications / Conférences

  • Voir points 1.5 et 2

 

 

Actions :

 

  • Contacter les développeurs HTCondor en relation aux tokens Check-IN 
  • Préparer le Paper pour les procedings du CHEP
  • Faire des tests avec tokens et la VO Biomed
  • Ouvrir le repo gitlab FluentD/bit

 

 

Il y a un compte-rendu associé à cet événement. Les afficher.