DIRAC Project meeting

Europe/Paris
Visio Zoom

Visio Zoom

https://univ-grenoble-alpes-fr.zoom.us/j/94728975109?pwd=cmJsZWFpWGFHUG0wMTN6Nm1zSFVMZz09
Johan Bregeon (IN2P3 LSPC)
Description

Topic: Réunion projet DIRAC@IN2P3

Time: Jan 21, 2022 02:00 PM Paris

Join Zoom Meeting

https://univ-grenoble-alpes-fr.zoom.us/j/94728975109?pwd=cmJsZWFpWGFHUG0wMTN6Nm1zSFVMZz09

Participants
  • Andrei Tsaregorodtsev
  • Andrii Lytovchenko
  • Fabio Hernandez
  • Gino Marchetti
  • Jerome Pansanel
  • Johan Bregeon
  • Luisa Arrabito
  • Paul MUSSET
  • Pierre Gay
  • Sorina POP
  • Vanessa Hamar
  • Yannick Patois

Dirac project status - Andrei
+ 3 patch releases
  v7r2p37
  v7r3p14 -> buggé et retiré des releases
  v7r3p15 !
  Job State Machine enhancements
  Support for HPC centers without external connectivity
    -> new job agent (work within LHCb), alternative to installing Dirac gateway at HPC center
  Package Benchmark db12 now independent
+ COMDIRAC 1.3.2, python3 -> on PyPi !
+ pre-release 8.0.0a12
  python3 only
  OAuth2/OIDC AAI -> all PRs are merded
  encore 2 ou 3 hackaton de certification avant release

+ OAuth etc (Andryii)
  Base features merged in v8 pre-release
  documentation of new APIs
  TokenManager service to be finalized and merged into 8.0
    -> tests with 3rd party services to begin (Clouds, HTCondorCE)
    -> Test with EGI service possible : upgrade ccdiracli with pre8.0 ?

+ EGI
  smooth operations 11.5M jobs since January 2021
  all servers are v7r3p9
  move all servers to python3 installation -> next week !
    (same Dirac version just change from python2 to python3 install)
  Commentaire Luisa : installation Dirac en python3
    des scripts existent pour la première install python3
    puis future upgrade via 'pip install' ?
    -> n'a pas fonctionné à cause du version de DiracOS2 pas appropriée...
    -> Chris : si l'on fait l'update via la *console du système d'administration*
               normalement la mise à jour des bonnes versions est fait automatiquement
    -> *ne plus faire l'upgrade directement sur les serveurs* = changer d'habitude !
    
  VMDIRAC : 3 sites now configured (Padova, ULAKBIM, IPHC)
  Running Biomed applications at IPHC cloud -> now works !
 
+ ESCAPE - no news, still waiting for Luigi to start working again in Italy


+ Tour de table
  Luisa
    transfert de données 1.5 Pb vers des tapes
    divers problèmes rencontrés FTS, pb version DIRACOS2, surcharge SE destination
    développement commandes dans CTADIRAC pour réaliser migration et monitoring
    commande pour récupérer la liste des SE sur lesquels se trouvent un dataset
    très bon démarrage des transformations, mais maintenant avancement très lent
      optimisation : utilisation priorité FTS pour que les TS qui soient presque finies passent en avant
      décalage en transfert effectif vu via FTS et statut des TS dans Dirac
      -> voir avec Chris et Federico
 
  Luisa
    configuration de Dirac avec python3
    problème comment spécifier une liste de endpoint dans le fichier de configuration
    
  Axel
    + travail sur l'installation du client python3 via pip install
       -> comment installer les bonnes configurations GridFr, EGI, GridPP automatiquement ?
       --> Andrei : pas possible pour le moment, il faut faire un dirac-configure générique
                 puis copier l'ancien répertoir etc/grid...fr dans répertoire diracos2
    + utilisation de Dirac sans proxy, car difficile pour les utilisateurs d'avoir des certificats
      -> peu utiliser Dirac avec token si enregistrer dans EGI check-in
      -> pour avoir les drois Biomed, il faut Dirac v8.0
      --> possible example pour développement
 
------------------------
prochaine réunion le 22 janvier à 14h
réunion face à face au CC le 14 avril 10h - 16h

 

Il y a un compte-rendu associé à cet événement. Les afficher.
    • 14:00 14:15
      Etat du projet 15m
      • Update Dirac v7 et v8
      • pip install COMDIRAC?
      • Tour de table
      • Réunion face à face au printemps ?
      Orateurs: Dr Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France), Johan Bregeon (IN2P3 LSPC)
    • 14:15 14:25
      Update CTA 10m
      • COMDIRAC
      Orateur: Luisa Arrabito (LUPM)
    • 14:25 14:30
      ELK & Monitoring 5m
      • CTA Instance - filling CPU, and WMS monitoring
      • FG-Dirac/DIRAC4EGI configuration
      Orateur: Michèle Sanguillon (LUPM)
    • 14:50 15:00
      Publications / Conférences 10m

      Publications

      • Transformation System
      • Meta Query

      Conferences

      • ACAT 2022, Oct 24-28, Bari, https://indico.cern.ch/event/1106990/
      Orateurs: Dr Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France), Johan Bregeon (IN2P3 LSPC), Pierre Gay (Université de Bordeaux)