Réunion Dirac IN2P3 Face to Face 16/02/2017
-------------------------------------------

+ Quel est le projet scientifique DIRAC-IN2P3 ?

+ Site Web - diracgrid.org
  migration du site sur une machine CC
  mise à jour du contenu - tous
  étude plugin wiki 

+ Mailing list sur listsrv
  Créer un ticket

+ Réunion tous les 2iemes jeudi du mois à 2h
  Jeudi 9 Mars
  Indico Clone page, template à définir

+ Gitlab ou github pour écrire les publications

+ Workflow
  Luisa présente les besoins en terme de gestion de workflow pour CTA
  basé sur le Transformation System
  workflow non linéaire
  LHCb a un Production System spécifique
  on veut développer un système plus générique, qui puisse être utilisé par tous
  collaboration avec ILC, Belle
  Sorina mentione utilisation de "vrais" workfow par Biomed, la partie workflow est externalisée
         -> partage information nécessaire
  Intéret d'intégration d'un Production System : meilleur communication workflow-Dirac, localisation des jobs, état du processing des données, meta données associées aux fichiers
  Fabio : LSST, moteur de workflow Pegasus et jobs sur HTCondor
  si on change une meta donnée sur un fichier, il peut devenir "à processer" : difficile à gérer si moteur de worflow externe
  scientifiquement : notion de data/meta-data driven dynamic workflow processing
  plugin de validation asynchrone, replication, removal (données intermédiaire)
  supprimer le TS Catalogue, utilisation du data catalogue global

+ Cloud
  VMDirac scheduler de machine virtuelle : VM = batch slot, stop VM when not used
  Indigo Data Cloud Synergy
  OCCI compliant clouds : OpenStack, OpenNebula
  Cloud entpoint abstraction, 3 implementations Apache-libcloud, ROCCI, EC2
  Apache-libcloud top level API with drivers for most clouds
  CloudDirector similar to SiteDirector
  TODO : cloud endpointt testing/monitoring tools for site debugging
         follow the endpoint interface evolution
  Contextualization : std minimal image, cloudinit, passwordless certificate passed as user data, bootstrapping scripts LHCb Vacc/Vcycle with pilot 2.0
  on the fly installation of DIRAC, CVMFS (flag passed via user data)
  how to pass VM config info to pilot
  start VirtualMachineMonitorAgent : monitor, report VM state, halt VM, talk to central service
  start as many pilots as cores, or one pilot
  on peut spécifier une "image" = OS + Config (small, medium, large)
  les "images" doivent être définies dans la configuration pour chaque site
  Test Sorina : quelques jobs sont passés, puis problèmes divers
                volonté d'utilisation plus poussée, notamment avec docker
  Projet Dirac IN2P3 : fair share, scheduling...

+ Batch front end - Vanessa
  Permettre aux utilisateurs du CC qui n'ont pas de certificats d'envoyer des jobs à la ferme via Dirac
  Utiliser une fédération d'identité : login/passwd, certificat
  Exemple login CNRS (infos labo), utilisateur existant au CC (infos groupe), mappé à un utilisateur Dirac (un utilisateur par groupe)
  Pb des output, où écrire, comment les récupérer
  Intéressant pour CTA

+ Autre cas Autorisation & Authentification - Pierre, Sorina
  utilisateur Dirac grille, identification centre HPC, pilote privé
  nécessité d'identification de l'utilisateur pour accounting
  intéressant à terme pour CTA


+ COMDIRAC - Pierre
  pas de plan pour des évolutions spécifiques de COMDIRAC
  rien d'urgent, quelques petites améliorations en cours
  FSDIRAC - FileSystem DIRAC, fuse implentation
  Projet DIRAC IN2P3 - ordinateur distribué, commandes unix

+ FG-DIRAC et DIRAC4EGI
  à passer sous responsabilité du projet

+ Big Data et HPC
  Andrei : collaboration de centres HPC, Marseille-Russie
  créer un modèle de description HPC plus riche que pour sites grilles
  Dirac WMS utilise cette description pour matching/scheduling
  basée sur standard de description existant ?
  support MPI par Dirac
  Projet DIRAC IN2P3 - problème du scheduling sur système hybride (hpc, htc, cloud)

+ Publications
++ Workflow, transformation system, production system : 2 points de vue possibles
   -> data driven, meta data, meta query, data sets
   -> production system : role, architecture, plugins
++ Big Data ?
++ HPC
   -> WMS pour système hybride : description adaptée, hpc, htc, cloud
++ Cloud
   -> scheduling et gestion de ressources (share) dans le cloud
++ COMDIRAC
   -> Ordinateur distribué, commandes unix-like pour toutes les applications à partir d'un seul terminal


-----------------------
Actions
+ Site web diracgrig.org
  Migration seveur au CC -> Vanessa
  Mise à jour contenu -> tous

+ Mailing list sur listsrv −> Johan crée un ticket

+ Indico template -> Johan, Andrei

+ COMDIRAC
  -> Johan, Luisa testent dans le cadre de CTA

+ Workflow
−> penser à publication cette année : data driven, meta data, meta query, data sets, TS

+ Prochaine réunion Jeudi 9 Mars à 14h