Réunion du 1er Juillet 2010 16 h- 17h:30
Statistiques  sur l’utilisation des ressources
===
Participants : 
Cécile Germain ; Yannick Legré ; David Weissenbach ; Fréderique Chollet; Rolf Rumler; Pierre Girard ; Cécile Barbier ; Hélène Cordier 
Conseil de l’IDG : “Reporting of usage statistics for different users of the production grids (within France and for French researchers) remains limited, especially for data storage. The Council understands many of the technical difficulties that have hampered progress here are beyond the control of IdG, however, we believe that this monitoring and reporting will be increasingly important in the future in order to measure the penetration of grids within the French research community”
===
 Indicateurs  de Vincent Breton
	1 - ceux qui concernent les utilisateurs: distribution geographique, thematique et institutionnelle 
	2 - ceux qui concernent l'utilisation des ressources: distribution thematique, geographique et institutionnelle
	3 - ceux qui concernent la production scientifique: distribution thematique et institutionnelle

==
Rappel du Scope  - Utilisation des sites français par les utilisateurs français ou des ressources françaises en général --  

===

Redéfinition du scope pour l’instant : Utilisation des sites français par les utilisateurs français :

L’utilisation des ressources françaises au sens large par les utilisateurs étrangers n’est pas la priorité puisque l’identification du pays d’origine du job n’est pas immédiate. 

P.Girard : Critère pour établir la liste des utilisateurs français est en cours cf. Alice de Bignicourt et une sélection sur l’OU du DN permet d’identifier les utilisateurs français sans erreur.

Pour retrouver l’origine d’un utilisateur :
C.Germain : Comment retrouver l’identité derrière un job pilote ?
P.Girard : Pour les VOs LHC, cela se fait par l’installation de glexec  après un audit de sécurité. C’est une condition sine qua non pour le mettre en place pour les VOs hors LHC. 

Y-at-il des utilisations de jobs pilots hors LCG ?

Concernant les points 1 et 2 de Vincent: 

C. Barbier  présente le module accounting local sur Torque/Maui déjà mis en place par IRES et le LAPP en cours d’installation à SUBATECH et au LPSC. Les indicateurs sont identiques à ceux de CESGA, mais les valeurs sont différentes de par la prise en compte des utilisateurs locaux et des utilisateurs du calcul parallèle.

L’identification est effectuée au niveau des rôles; ce n’est pas fait au niveau des personnes mais c’est possible. Le besoin concerne tous les sites français sauf le CC qui a son outil d’accounting particulier. Le module d’accounting local prend en compte en résumé :
•	CPU, et utilisations des CPUs (nombre de jobs, temps-elapsed, wall-clock des jobs)
•	Utilisateurs locaux /utilisateurs grille/ utilisateurs parallèles. Attention : on ne sait pas qui est derrière un login générique 

Que permet le module de Cécile B.: doit-on mettre en place un fichier de correspondance entre le certificat grille/ les caractéristiques des jobs.
PG pense que c’est possible de le rajouter puisque l’interface glite/bqs associe les caractéristiques des jobs avec le DN de l’utilisateur – ok pour le cc. Interface glite/torque-maui : c’est possible mais cela devrait être implémenté.

C. Germain soulèvent le cas de jobs non-gLite (via Panda ou bien le cream ce, à travers de globus). Ce sont des jobs soumis au niveau de la VO, pas de l’utilisateur. Et Pierre G. mentionne que ce sont toujours des jobs liés au mw gLite puisqu’ils passent par un CE, seulement la soumission même n’utilise pas un WMS.

P.Girard : Il suffit que le job manager soit correctement configure (et testé via un test Nagios) comme au CC ou que le système d’accounting local publie les informations sur une infrastructure nationale.

Cécile B. : Accès au top 10 utilisateurs des VOs accessible par le VO manager  et le top 10 des utilisateurs des sites  accessibles par le site manager dans CESGA, est-ce nécessaire d’avoir autre chose au niveau de l’utilisateur ?
Pour exploiter l’accounting local, Il est nécessaire d’avoir un répertoire d’accounting national français. Il serait donc  nécessaire de déployer une instance national du portail CESGA pour pouvoir accéder à cela. Il faudra le valider (en cours, selon Cécile B.).

Quel mapping les sites devraient effectuer par rapport à une VO donnée selon le batch (comme PBS)  ou quelle configuration des Job manager des jobs locaux  faudrait-il faire: on peut avoir une estimation de ce qu’il faut  configurer sur les sites et mettre cette information sur le wiki France- grilles. 

Action/ Cécile B :
•	Espace  accounting  du wiki : mettre en place une zone pour connaître les  spécificités des sites français  pour étudier la faisabilité de   l’installation du module d’accounting local sur les sites français – annonce le 06 Juillet  à la réunion points techniques d’Operations France-Grilles
•	Préciser sur le wiki ce qui serait  possible de faire pour les deux catégories d’indicateurs de Vincent  – « utilisateurs » et « ressources » - liste des métriques possibles
•	Valider si le module régional du portail d’accounting  CESGA permettrait  une exploitation du repository national d’accounting adaptée à nos besoins 

Le contexte LCG  et les données du stockage :

Frédérique C : mentionne les progrès liés  aux  métriques liées au stockage dans la nouvelle version de gstat ou les groupes de travail WLCG et Cécile B mentionne des travaux effectués dans le cadre d’EGEE/EGI par Gilles M. Pierre G. mentionne cependant que gstat2 n’est pas fiable puisque la publication dans le SI se fait manuellement – notamment au CC selon  des caractéristiques de dcache. De plus, xrootd n’est pas pris en compte non plus.
 Il n’est pas clair si ces aspects de mesure de stockage   seront pris en compte côté EMI. 

Frédérique C. précise Les valeurs qui sont récoltées manuellement, mensuellement pour le T1 : le stockage disk/tape défini  politiquement ; le stockage disk/tape disponible physiquement sur site ; le stockage disk/tape attribué physiquement  par VOs ; le stockage disk/tape utilisé physiquement par VO. La mesure de l’accès aux données une fois que la volumétrie accordée à une VO est remplie est importante.

Cécile Germain mentionne les travaux d’Alain Caly, en ce moment sur Stratuslab au LAL, pour étudier  les possibilités  de développement et d’utilisation de  l’outil existant : le parser de logs DPM.

Cecile G.   précise que nous pourrions directement attaquer les Logs de Grid ftp et demande si l’accès en temps réel est important à considérer et si le stockage en base de données n’est pas suffisant.

Action /Cécile Germain : 
•	Etudier si on peut récupérer certaines données concernant le stockage à partir des logs de Gridftp/logs DPM,  - à comparer avec celles de Frédérique Chollet quand elle nous aura communiqué la liste des données recherchées ?
Frédérique Chollet propose de faire une liste parallèle à celle que Cécile va établir sur le wiki France-Grilles.

Action/ Frédérique Chollet :
•	Fournir les métriques fournies au comité de pilotage LCG  annuellement ainsi que la liste des sources d’informations, y compris manuelles.

Specificités ESR et BIOMED :
Hélène C. demande à David W s’il y a des métriques  spécifiques à ESR. RAS 
La VO biomed va créer des sous-groupes par pays et projets.
1-	Cela suppose un déploiement des sous-groupes /VO sur tous les sites
et que La VO impose  une discipline de production par les utilisateurs  de la VO. Est-ce faisable ?
2-	ESR : pas nécessaire : le laboratoire de l’utilisateur extrait du DN sera suffisant  pour faire une analyse.

En ce qui concerne le point 3  «  indicateurs de production scientifique » :

Production scientifique : pas automatisable dans le sens usuel  (= nombre de publications) mentionne Cécile Germain, à confirmer avec Vincent. 

Action /Hélène Cordier :
•	Confirmer la compréhension du terme indicateur de production scientifique.

David Weissenbach : déjà utilisé dans EGEE vs EGI : insertion de remerciements  dans publications et recommandations seraient à  diffuser sur la NGI.

Est-ce  une notification automatisable ? via l’OU du DN pour contacter les users via les laboratoires? 

Un prochain doodle like meeting sera envoyé avec le compte-rendu de la réunion