Optimisation du mécanisme d'échange des données LHC entre dCache et HPSS

vendredi 30 janv. 2009, 10:00 → 13:00 Europe/Paris

Salle 202

Fabio Hernandez (CC-IN2P3)

Objectif: Cette réunion a pour but l'identification des solutions possibles pour l'optimisation des mécanismes de copie de données LHC entre dCache et HPSS. Elle vise à comprendre de façon détaillée l'organisation des données LHC gérées conjointement par dCache et HPSS, les patrons d'accès à ces données ainsi qu'à identifier comment ces informations peuvent être exploitées pour rendre plus performant l'échange des données entre ces deux systèmes.

Informations de contexte:

• Analyse des résultats des tests de staging réalisés par CMS en février 2008: http://indico.in2p3.fr/conferenceDisplay.py?confId=800
• Réunion du 18/12/2008 récapitulant les principaux problèmes observés par les expériences LHC au CC-IN2P3: http://indico.in2p3.fr/conferenceDisplay.py?confId=1094
• Rapport des tests de pré-staging des données ATLAS du 10/10/2008 (voir "Material: More Information")
• Résultats des tests de pré-stating de ATLAS en novembre 2008
• Bilan des tests de pré-stating de données ATLAS sur les tier-1s par Graeme Stewart 07/11/2008
• Rapport des tests de pré-staging des données ATLAS du 22/12/2008 (voir "Material : More Information")
• Présentation de L.Schwarz & J.Schaeffer sur dCache/SRM du 08/01/2009: http://cc.in2p3.fr/article1721.html

more information 2008-10-10-Bilan_Tests_Pre-staging_-_ATLAS.pdf 2008-12-22-Bilan_Tests_Pre-staging_-_ATLAS_.pdf

1 Introduction

Orateur: Fabio Hernandez (CC-IN2P3)

2 Mécanisme d'échange de données entre dCache & HPSS

Cette présentation devrait répondre aux questions ci-dessous:

• comment le mécanisme actuel de copie des fichiers entre dCache et HPSS fonctionne-t-il?
• quels sont les problèmes/limitations observés?
• quels sont les possibilités d'amélioration (pistes en cours d'exploration ou à explorer)?

Orateurs: Lionel Schwarz (CC-IN2P3), M. Pierre-Emmanuel Brinette (Equipe Grille)

3 Organisation des données et patrons d'accès

Ces présentations devraient répondre aux questions ci-dessous:

• comment les données de l'expérience sont transférées vers notre site et comment sont elles organisées à la réception (par type, par date, par intérêt de physique, etc.)?
• sur quel support chaque type de données est-il stocké (disque, bande) et pendant combien de temps?
• comment les données sont-elles accédées ou créées lors des différentes phases de traitement (reconstruction, simulation, analyse, reprocessing, ...)?
• comment l'opération de copie de bande (HPSS) vers disque (dCache) est-elle déclenchée (à la demande, pré-staging automatique ou avec intervention humaine, ...)?
• quelles informations relatives à l'organisation des données de l'expérience pourrions-nous exploiter pour rendre la copie de données HPSS vers dCache plus performante?

Orateurs: Dr Catherine Biscarat (CC-IN2P3), Dr Farida Fassi (CCIN2P3)

4 Conclusion et récapitulatif des actions

Orateur: Fabio Hernandez (CC-IN2P3)