2nd DIRAC Project face to face meeting
→
Europe/Paris
Salle Orion 4ième étage (LUPM)
Salle Orion 4ième étage
LUPM
Bat. 13
Description
The DIRAC@IN2P3 Project meeting to review the progress in various activities
Connexion à la conférence
Connexion depuis un terminal individuel (PC, Mac, Tablette, Smartphone ...)
http://desktop.visio.renater.fr/scopia?ID=728852***6429&autojoin
Manuel d'installation de Scopia Desktop doc_scopia_desktop-fr.pdf
IP 194.214.202.146
Téléphone ou RNIS +33 (0)1 85 58 86 07
GDS +33 (0)1 85 58 86 07 728852
SIP sip:728852@195.98.238.109
H.323 h323:728852@mgmt.visio.renater.fr
Numéro de la conférence 728852 (terminer par #)
Code d'accès 6429 (terminer par #)
Conférence
Titre DIRAC project
Début 2017-07-17 09:45 Europe/Paris
Durée 06:00
Nombre de connexions estimé 3
Commentaires
Lien de modification de la conférence https://renavisio.renater.fr/Conference/234724/update
Réunion Projet Dirac@IN2P3 Face à Face au LUPM
17 Juillet 2017
présents : Johan, Luisa, Andrei, Sorina, Vanessa, Fabio (visio)
------------------------------------
1. Nouvelles du projets
FG-DIRAC
5e6 jobs en 6 mois
VO les plus actives : Complex system, beaucoup de petits jobs - ok
une mise à jour du soft v6r17
pb certificats voms, pas entièrement automatique
Nouveau test bed "cctbdirac01.in2p3.fr" (vobox openstack au CC)
fonctionnel, sera utilisé pour la certification de v6r19
Test avec MariaDB au lieu de mysqldb
tests prélimiaires ok, pas encore de tests complets
Complémentaire au test bed du CERN (plus orienté LHCb)
Accueil VO HESS à discuter avec Jean-Philippe Lenain (fin support wms d'egi)
DIRAC4EGI
CPPM (CNRS), UAB, Cyfronet to maintain the service
EGI réponse très positive : H2020 -> 1 FTE pendant 3 ans à partir de Janvier 2018
Etat de service : tourne sans problème, beaucoup de jobs from WeNMR, West Life, CompChem
Operation Level Agreement jusqu'à la fin de 2017 (EGI finit en Aout 2017)
Ingénieur au CPPM pour 2 mois, Juillet-Aout, travail sur l'adminstration des services
Sondes NAGIOS à de Dirac pour intégrer dans l'EGI Operation portal
Eiscat 3D Use case (data management, file catalog, VMDIRAC Federated Cloud)
specific data access policies (data age, etc...)
Releases
v6r18 done just before DIRAC workshop -> retracted
client/server backward incompatibilities in the RSS
change in interface, not possible to patch, go for the next release
v6r19-pre release
fix problems of v6r18
New Externals v6r6p2, update openssl in particular (security fixes)
Development
Multi-core (IHEP, PNNL): multicore, configuration, scheduling
VMDIRAC
Using RSS for Computing Elements: finalize for v6r19, extend RSS to queues, define RSS per VO
Logging in native python, centralized logging
Consortium
PNNL new partener
UB suspended but waiting for official letter
UM to sign current agreement
------------------------------------
2. VMDIRAC
https://forge.in2p3.fr/projects/cta_dirac/wiki/VMDIRAC
Tests de connection entre Cloud.LUPM et les SEs de CTA : pb connection avec LAPP
Introduire dans Dirac une notion de "ressource générique", pour spécifier non seulement le CPU, mais aussi l'I/O réseau ou stockage, ou la RAM, ou le nombre de coeur...
Monitorage de la charge de nos jobs sur les éléments de stockage utilisé
Simple outil de test de connection réseau dans Dirac ?
Test "scalabilité" sur le cloud LUPM
job sans input data -> tout ok
job avec input data -> large fraction de jobs stalled très rapidement (16 instances de 4 coeurs = 50% failed)
suggestions : test avec différentes configuratin d'address IP nat/bridge
Vanessa mentione sur un serveur Irods, utilisation seulement moitié de bande passante quand tout passe par une seule adresse IP
Test prévu sur le cloud du CC dès que possible
Test sur cloud TSystem dans le cadre HNSciNebula
fonctionnel mais pas de test de scalabilité possible, réseau pourri
Identification au cloud via certificat, update nécessaire à chaque release openstack
utilisation interface REST
voir projet VAC VCycle
VMDIRAC v2.2 to be released soon
------------------------------------
3. HNSciNebula
démo day à DESY Hambourg, fin septembre
début phase de prototype
Janvier 2018 - 10k VMs disponibles pour tests de plus grande ampleur
CTA propose une série de test simple, similaire à ceux fait sur Cloud.LUPM
potentiel développement plugin interface IBM (interface REST)
plus éventuellement accès OneData si aide disponible dans/or CTA
Cloud endpoints
disponible ApacheLibCloud, Rocci, EC2
à développer IBM (dans le cadre HelixNebula, Luisa), Google, Azure
------------------------------------
4. DIRAC Configuration des sites Cloud
Session de travail pour expliquer les différents champs de la configuration d'un site cloud.
cf snapshot of a Cloud configured via Rocci API
nb : on peut spécifier proxy squid pour CVMFS, intérêt d'installer un proxy squid au LUPM ?
cf mail d'Andrei avec extrait de configuration
------------------------------------
5. Docker/Singularity
Singularity dans VMDirac, ajout d'un flag dans la configuration
Possibilité de faire tourner un container sur un server dédié à Docker ("Computing Element" pour les containers)
installation du client Dirac à la volée
CC-IN2P3 : Queue CREAM qui accepte CentOS7 intègre Singularity (qsub -l os=cl7 my_singularity_script.csh)
lcg bindings dans cvmfs cern
image dans cvmfs openscience grid
Vanessa tests tokens etc pour LSST, flat image
------------------------------------
6. Transformation System
developpements de Luisa (input data query) en Tech preview depuis v6r17
manque juste un script de test pour finaliser la certification (sera fait en Aout)
publication
discussion rapide sur canevas présenté par Johan
https://gitlab.in2p3.fr/DiracIN2P3/TSPaper2017/blob/master/tspaper.tex
Production System
discussion rapide sur premiers jets d'idée écrits sur page wiki
https://forge.in2p3.fr/projects/dirac-in2p3/wiki/Production_System
discussion étendue le mardi 18, Andrei, Johan, Luisa
Build Production: compare Meta-Query metadata dictionnary to match i/o and build graph with pydot
Production to use python collections module ?
------------------------------------
7. Prochains meetings
Réunion Téléphonique : Septembre 2ième Jeudi de Septembre = 14 Septembre
Prochain F2F : Doodle sur les 2 denières semaines de Novembre
------------------------------------
8. Discussions Diverses
Vanessa mentione le problème d'un utilisateur qui a un proxy valide mais que le pilote ne peut pas utiliser car il ne peut pas vérifier l'exension voms.
Andrei mentione Publication très intéressante pourrait être faite sur la gestion ressources multi-coeurs
Connection sites HPC
VPN+SSH pour attaquer le système de batch
est-ce que les workers communiquent avec l'"extérieur" (pilotes, sandbox) ?
besoin d'installation d'un service Dirac "Gateway" sur le gateway du site HPC ?
sites HPC, quel OS ? pb validation des résultats vs install grille standard
Jobs qui voudraient utiliser les instructions AVX des CPU
mesure sur place par le pilot et ajout d'un tag au job
CentOS7
peut-on configurer la queue CentOS7 du CC pour CTA ?
-> CTA validation binaires SL6 qui tournent sur CentOS7
-> test minimal utilisation d'un container Singularity
ATLAS event by event stream processing (Event Service)
plus besoin de fichiers... intéressant pour CTA ?
Il y a un compte-rendu associé à cet événement.
Les afficher.
