Note
Seules les adresses mails institutionnelles sont acceptées lors de la création d'un compte. La création de compte est modérée, merci d'attendre leur validation. Only institutional email addresses will be accepted when asking for an account. Account creation is moderated, please wait until then.

2nd DIRAC Project face to face meeting

Europe/Paris
Salle Orion 4ième étage (LUPM)

Salle Orion 4ième étage

LUPM

Bat. 13
Description

The DIRAC@IN2P3 Project meeting to review the progress in various activities

 

Connexion à la conférence
Connexion depuis un terminal individuel (PC, Mac, Tablette, Smartphone ...)

http://desktop.visio.renater.fr/scopia?ID=728852***6429&autojoin
Manuel d'installation de Scopia Desktop    doc_scopia_desktop-fr.pdf
IP    194.214.202.146
Téléphone ou RNIS    +33 (0)1 85 58 86 07
GDS    +33 (0)1 85 58 86 07 728852
SIP    sip:728852@195.98.238.109
H.323    h323:728852@mgmt.visio.renater.fr
Numéro de la conférence    728852 (terminer par #)
Code d'accès    6429 (terminer par #)

Conférence
Titre    DIRAC project
Début    2017-07-17 09:45 Europe/Paris
Durée    06:00
Nombre de connexions estimé    3
Commentaires    
Lien de modification de la conférence    https://renavisio.renater.fr/Conference/234724/update

Participants
  • Andrei Tsaregorodtsev
  • Fabio Hernandez
  • Johan Bregeon
  • Luisa Arrabito
  • Pierre Gay
  • Sorina POP
  • Vanessa Hamar
Réunion Projet Dirac@IN2P3 Face à Face au LUPM
    17 Juillet 2017
    présents : Johan, Luisa, Andrei, Sorina, Vanessa, Fabio (visio)

------------------------------------
1. Nouvelles du projets

FG-DIRAC
    5e6 jobs en 6 mois
    VO les plus actives : Complex system, beaucoup de petits jobs - ok
    une mise à jour du soft v6r17
        pb certificats voms, pas entièrement automatique

    Nouveau test bed "cctbdirac01.in2p3.fr" (vobox openstack au CC)
        fonctionnel, sera utilisé pour la certification de v6r19
        Test avec MariaDB au lieu de mysqldb
            tests prélimiaires ok, pas encore de tests complets
        Complémentaire au test bed du CERN (plus orienté LHCb)
    
    Accueil VO HESS à discuter avec Jean-Philippe Lenain (fin support wms d'egi)


DIRAC4EGI
CPPM (CNRS), UAB, Cyfronet to maintain the service
EGI réponse très positive : H2020 -> 1 FTE pendant 3 ans à partir de Janvier 2018
Etat de service : tourne sans problème, beaucoup de jobs from WeNMR, West Life, CompChem
Operation Level Agreement jusqu'à la fin de 2017 (EGI finit en Aout 2017)
Ingénieur au CPPM pour 2 mois, Juillet-Aout, travail sur l'adminstration des services
    Sondes NAGIOS à de Dirac pour intégrer dans l'EGI Operation portal
    Eiscat 3D Use case (data management, file catalog, VMDIRAC Federated Cloud)
        specific data access policies (data age, etc...)

Releases
v6r18 done just before DIRAC workshop -> retracted
    client/server backward incompatibilities in the RSS
    change in interface, not possible to patch, go for the next release
v6r19-pre release
    fix problems of v6r18
    New Externals v6r6p2, update openssl in particular (security fixes)
Development
    Multi-core (IHEP, PNNL): multicore, configuration, scheduling
    VMDIRAC
    Using RSS for Computing Elements: finalize for v6r19, extend RSS to queues, define RSS per VO
    Logging in native python, centralized logging

Consortium
PNNL new partener
UB suspended but waiting for official letter
UM to sign current agreement

------------------------------------
2. VMDIRAC
https://forge.in2p3.fr/projects/cta_dirac/wiki/VMDIRAC

Tests de connection entre Cloud.LUPM et les SEs de CTA : pb connection avec LAPP
Introduire dans Dirac une notion de "ressource générique", pour spécifier non seulement le CPU, mais aussi l'I/O réseau ou stockage, ou la RAM, ou le nombre de coeur...
Monitorage de la charge de nos jobs sur les éléments de stockage utilisé
Simple outil de test de connection réseau dans Dirac ?

Test "scalabilité" sur le cloud LUPM
job sans input data -> tout ok
job avec input data -> large fraction de jobs stalled très rapidement (16 instances de 4 coeurs = 50% failed)
    suggestions : test avec différentes configuratin d'address IP nat/bridge
              Vanessa mentione sur un serveur Irods, utilisation seulement moitié de bande passante quand tout passe par une seule adresse IP

Test prévu sur le cloud du CC dès que possible

Test sur cloud TSystem dans le cadre HNSciNebula
    fonctionnel mais pas de test de scalabilité possible, réseau pourri

Identification au cloud via certificat, update nécessaire à chaque release openstack
    utilisation interface REST
    voir projet VAC VCycle

VMDIRAC v2.2 to be released soon

------------------------------------
3. HNSciNebula
démo day à DESY Hambourg, fin septembre
début phase de prototype
Janvier 2018 - 10k VMs disponibles pour tests de plus grande ampleur
CTA propose une série de test simple, similaire à ceux fait sur Cloud.LUPM
    potentiel développement plugin interface IBM (interface REST)
    plus éventuellement accès OneData si aide disponible dans/or CTA

Cloud endpoints
    disponible ApacheLibCloud, Rocci, EC2    
    à développer IBM (dans le cadre HelixNebula, Luisa), Google, Azure


------------------------------------
4. DIRAC Configuration des sites Cloud
Session de travail pour expliquer les différents champs de la configuration d'un site cloud.
cf snapshot of a Cloud configured via Rocci API
nb : on peut spécifier proxy squid pour CVMFS, intérêt d'installer un proxy squid au LUPM ?
cf mail d'Andrei avec extrait de configuration

------------------------------------
5. Docker/Singularity
Singularity dans VMDirac, ajout d'un flag dans la configuration
Possibilité de faire tourner un container sur un server dédié à Docker ("Computing Element" pour les containers)
    installation du client Dirac à la volée

CC-IN2P3 : Queue CREAM qui accepte CentOS7 intègre Singularity (qsub -l os=cl7 my_singularity_script.csh)
       lcg bindings dans cvmfs cern
       image dans cvmfs openscience grid
       Vanessa tests tokens etc pour LSST, flat image

------------------------------------
6. Transformation System
developpements de Luisa (input data query) en Tech preview depuis v6r17
manque juste un script de test pour finaliser la certification (sera fait en Aout)

publication
    discussion rapide sur canevas présenté par Johan
    https://gitlab.in2p3.fr/DiracIN2P3/TSPaper2017/blob/master/tspaper.tex    

Production System
    discussion rapide sur premiers jets d'idée écrits sur page wiki
    https://forge.in2p3.fr/projects/dirac-in2p3/wiki/Production_System
    discussion étendue le mardi 18, Andrei, Johan, Luisa
    Build Production: compare Meta-Query metadata dictionnary to match i/o and build graph with pydot
    Production to use python collections module ?

------------------------------------
7. Prochains meetings
Réunion Téléphonique : Septembre 2ième Jeudi de Septembre = 14 Septembre
Prochain F2F : Doodle sur les 2 denières semaines de Novembre

------------------------------------
8. Discussions Diverses

Vanessa mentione le problème d'un utilisateur qui a un proxy valide mais que le pilote ne peut pas utiliser car il ne peut pas vérifier l'exension voms.

Andrei mentione Publication très intéressante pourrait être faite sur la gestion ressources multi-coeurs

Connection sites HPC
    VPN+SSH pour attaquer le système de batch
    est-ce que les workers communiquent avec l'"extérieur" (pilotes, sandbox) ?
    besoin d'installation d'un service Dirac "Gateway" sur le gateway du site HPC ?
    sites HPC, quel OS ? pb validation des résultats vs install grille standard
    
Jobs qui voudraient utiliser les instructions AVX des CPU
    mesure sur place par le pilot et ajout d'un tag au job
    
CentOS7
    peut-on configurer la queue CentOS7 du CC pour CTA ?
        -> CTA validation binaires SL6 qui tournent sur CentOS7
        -> test minimal utilisation d'un container Singularity 

ATLAS event by event stream processing (Event Service)
    plus besoin de fichiers... intéressant pour CTA ?

    





Il y a un compte-rendu associé à cet événement. Les afficher.
    • 10:00 11:00
      Nouvelles du projet 1h
      Orateur: Dr Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France)
      Slides
    • 11:00 12:30
      VMDirac 1h 30m
      https://forge.in2p3.fr/projects/cta_dirac/wiki/VMDIRAC
      Orateur: Mme Luisa Arrabito (LUPM)
      pictures
    • 12:30 13:30
      Pause déjeuner 1h
    • 13:30 14:30
      Docker/Singularity 1h
      Orateurs: Mlle Sorina POP (CNRS) , Vanessa Hamar (CC - IN2P3)
    • 14:30 15:30
      Transformation System 1h
      Orateur: Mme Luisa Arrabito (LUPM)
      Transparents
    • 15:30 16:00
      Pause Café 30m
    • 16:00 16:30
      Publications 30m
      Orateurs: Dr Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France) , Johan Bregeon (IN2P3 LUPM) , Mme Luisa Arrabito (LUPM)
    • 16:30 17:00
      Plan de Travail 30m
      Orateur: Dr Andrei Tsaregorodtsev (Aix Marseille Univ, CNRS/IN2P3, CPPM, Marseille, France)
Your browser is out of date!

Update your browser to view this website correctly. Update my browser now

×