DIRAC Project meeting

Europe/Paris
Visio Zoom

Visio Zoom

https://zoom.us/j/200895202
Johan Bregeon (IN2P3 LUPM)
Description

The DIRAC@IN2P3 Project meeting to review the progress in various activities.

Visioconference access:

Topic: DIRAC@IN2P3 Meeting
Time: Feb 26, 2019 10:00 AM Paris

Join Zoom Meeting
https://zoom.us/j/200895202

Participants
  • Andrei Tsaregorodtsev
  • Fabio Hernandez
  • Johan Bregeon
  • Luisa Arrabito
  • Pierre Gay
  • Sorina POP
  • Vanessa Hamar
Minutes réunion du 20 mars 2019

Présents: AT, LA, SP, VH, FH
JB excusé

1. Nouvelles (AT):

- La release v6r21 est sortie. La dernière avant v7r0.
- La certification de v7r0 a pris du retard aussi à cause d'un problème de DB au CERN, qui est maintenant résolu.
- Entre temps il y aura des patchs sur la v6r21
- Dans la v6r21 il y a un prototype du système de Central Logging
-- Travail en cours pour alléger les messages dans les logs qui sont trop verbose
-- Au CPPM Christophe Messen a rejoint le groupe Calcul et Données et il a commencé à faire un service Central Log Collector sans MQ en GO -> On obtient un taux de messages plus intéressant qu'avec MQ

- Dans v7r0:
-- Possibilité utilisation SSO. Pas seulement pour l'auth. sur le portail web mais aussi pour le client en CLI.
Version de dirac-proxy-init qui demande SSO. L'user reçoit une url qui mets dans un browser -> Lance la procédure de SSO ->
Il reçoit un token pour le client en ligne cmd. Le token est un proxy généré à la volé. Ce schéma est actuellement réalisé pour certains cas (e.g. cas EGI: Service SSO EGI Check-in -> gen. proxy à la volé). Pour les users du campus Luminy ça sera la solution.
-- DIRACOS, ProdSys
-- Réorganisation de la doc.

- Effort en cours pour rendre le code DIRAC plus pret pour python3. Dans les unit tests: test de compatibilité avec python3
-- Marco Petrivic a analysé la compatibilité avec des outils. Il a fait beaucoup de changements qui ne changent pas la logique, mais qui rendent le code compatible.
-- Il y aura certainement des changements plus profondes à prévoir
-- Tous les nouveaux devs doivent etre compatibles avec python3

- Changements aussi dans VMDIRAC
-- 2 plugins OCCI sont obsolètes: OCCI REST, ROCCI et également le plugin basé sur apache libcloud.
-- Avec la nouvelle release de VMDIRAC, il sera nécessaire de reconfigurer les endpoints cloud
-- VH: Au CC le cloud sera utilisé pour les devs. ou les services mais pas pour le calcul. Le calcul sera toujours sur le batch.

2. Tour de table

- Luisa:
Dev. en cours sur les Job Interfaces de CTADIRAC pour intégrer le pipeline de CTA

- Sorina:
-- Migration vers le DFC terminée: 30k files
-- Depuis 1 jour VIP tourne avec le DMS de DIRAC.
-- Quelques problèmes concernant la récupération de la date d'un fichier dans le catalog.
-- Des problèmes rencontrés lorsque l'upload d'un fichier sur un SE est brusquement interrompu. La deuxième tentative d'upload échoue, car le fichier (ou une partie) est phyisquement déjà sur le SE. Andrei invite Sorina à utiliser le forum.

- Fabio:
-- Fabio a participé au Rucio workshop.
-- Il y a pas mal de communautés qui s'intéressent à Rucio, dont Belle2.
-- A RAL ils vont embuacher quelqu'un pour travailler sur l'intégration DIRAC-Rucio.
-- Fabio, voit cette intégration comme une opportunité pour le projet DIRAC.
-- Selon Andrei l'intégration est faisable, mais il y plusieurs manières de faire. Au minimum on pourrait créer quelques passerelles entre les deux (par exemple créer un RucioFileCatalog). Au DUW on discutera de la position de DIRAC vis à vis de l'intégration avec Rucio. Car si on met des efforts la dessus on pourrait donner l'impression aux communautés que c'est une nécessité. Selon Andrei combiner 2 systèmes de WM et DM complètement différents ce n'est pas la solution la plus efficace pour la plupart des communautés.
-- Luisa est d'accord avec Andrei et elle pense que dans CTA, si il y a une évaluation de Rucio, il faudrait également faire une évaluation du DM de DIRAC.

3. Autres:

- Conférences:
-- Sorina participera à la conf. EGI à Amsterdam et elle est disponible pour faire un poster DIRAC
-- Andrei est en train de préparer les slides pour ISGC à Taipei et il va les partager pour que Luisa et Johan contribuent

- Préparation du DUW:
AT: Il faudra préparer un tutorial TS+PS en partant de celui de l'année dernière mais avec l'accent sur le PS.

Il y a un compte-rendu associé à cet événement. Les afficher.
    • 10:00 10:15
      Etat du projet 15m

      Update Andrei

      • v7r0 ?
      • spring face to face meeting?
      • DUW 2019, London

      Question

      • CTA Sandbox incident
      • CTA instance version upgrade v6r19p10 to ?
      • CTA DIRAC SLA with computing centers
      Orateurs: Dr Andrei Tsaregorodtsev (CPPM, Marseille), Johan Bregeon (IN2P3 LUPM)
    • 10:50 11:05
      Publications / Conférences 15m

      Publications

      • COMDIRAC
      • Transformation System
      • Meta Query

      Conferences

      • The International Symposium on Grids and Clouds (ISGC) 2019 (http://indico4.twgrid.org/indico/event/8/)
      • ACAT 19th International Workshop on Advanced Computing and Analysis Techniques in Physics Research - 11-15 Mars 2019 (https://indico.cern.ch/event/708041/)
      Orateurs: Dr Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France), Johan Bregeon (IN2P3 LUPM), Pierre Gay (Université de Bordeaux)