Bilan du CCRC08, phase 1,

pour ATLAS et le CC

-

Activités présentes et futures

Catherine Biscarat (CC-IN2P3)

Réunion LCG-France Tier-1 & Analysis Facility,

au CC-IN2P3, à Lyon, le 13/03/2008

Merci à S. Jézéquel, E. Lançon et G. Rahal

pour leur aide à la préparation de cette présentation

RECAP DU PLAN INITIAL DE ATLAS

Présentés par CB le 13 février dans cette réunion

CCRC08-01 dure 4 semaines (4-29 février)

Semaine #1 : test T0 + test SRM v2.2 (+ transfert SRMv2 vers T1 et T2)

Semaine #2-4: transfert vers T1 et T2 (& nettoyage) + MC prod. (FDR2)

2 T1s: analyse par les groupes de physique aux T1 (DPD) (sem. #3 et #4)

2 T2s: analyse par les end-users sur les T1s et les T2s (sem. #3 et #4)

2 T1s: Reprocessing des données muons cosmiques « M5 » (semaine #4)

A la suite de quoi

Semaines #5 (mars) : prise de données cosmiques M6 + MC prod.

Semaine #7 : tests de fonctionnalités + MC prod. (-> semaine #10)

CCRC08 : SEMAINE #1 : tests T0

ATLAS

Mise en place et test de l'infrastructure

Nouvelles zones de stockage avec space token (droits en ecriture et lecture)

Délégation de proxy dans FTS

Test des end-points SRMv2.2

Aucun export vers les T1

L'optention du dataset prévu tarde

CC

difficultés avec les space token;

Mais les transferts ont marché à temps (jeudi 7 février);

interfacage de SRMv2/dCache délicat :

T2-FR dCache : problèmes d'interfacage (BEIJING)

T2-FR DPM : prêts pour recevoir les fichiers du CERN, sauf RO-07-NIPNE qui a prit un peu de retard

CCRC08 : SEMAINE #2 : transferts T0->T1

T0 -> T1s -> T2s (données FDR)

Peu de stress

Petit dataset de RAW (< 2TB)

Petit fichiers (~100 MB)

Partage des données selon le modèle (share RAW+share ESD + 100% AOD)

CC

Mauvaise configuration : déclenche migration

pool à pool dans CASTOR, finalement corrigée

CCRC08 : SEMAINE #2 : transferts T1->T2

T1->T2

arrêt

réseau

ATLAS SW week, A. Klimentov, 25-Feb-08

A. Klimentov,

ATLAS SW week,

Feb' 08

A. Klimentov, ATLAS SW week, Feb '08

CCRC08 : SEMAINES #3-4 : transferts T0->T1 ->T2

Génération de données « random »

taille de fichiers réaliste (<= 3.6 GB)

T0 throughput <~ cible 900 MB/s

T0 -> T1 (17 fév. - 2 mars compris):

Throughput (MB/s)

Total number of errors

Mismatch clé privée

et publique dans FTS

délégation de proxy

Problème de disk

(hardware) sur

CASTOR au CERN

Throughput (MB/s)

Total number of errors

Eff: prend en compte essais ratés, ie

10 essais pour 1 fichier donne 10%.

CCRC08 : SEMAINES #3-4 : transferts

ANYWHERE->CC

VO LHC en concurence

vu par ATLAS : « Quite smooth. Occasional SRM frontend downtimes. »

Mode de stress, erreurs rares apparaissent :

'File exists' au premier essai de copie d'un fichier (2 origines)

Erreur dCache corrigée et déployée le 12 fév. au CC

Erreur DDM, corrigée pas déployée

T1->T2

Réplication vers les T2 francais <nom>_datadisk

CCRC08 : SEMAINES #3-4 : transferts T1->T1

toutes les souscriptions sont faites à la fois (qq-soit état du SE, canal FTS)

résultats compliqués à analyser (sauf les problèmes évidents)

CC export mieux que CC import

test répeté maintenant T1 par T1, dans un environement contrôlé

CCRC08 : SEMAINE #3-4 : effacement de données

Nécéssité d'effacer massivement des données régulièrement (MC obsolète)

Outil centralisé (SRMv2), testé

Ralentissement de pnfs observé au CC (bande et disque) cette semaine

Temps de réponse d'une requète d'effacement

(100 fichiers) en fonction du temps écoulé;

V. Garonne et C. Serfon, le 12-mars-08

Vitesse de 1,5 s/fichier

Action transparente dans d'autres sites (FZK, Nikhef)

dCache masters en contact avec développeurs ATLAS

Explication possible :

effacement de fichier asynchrone (SRMv2 et pnfs)

Backlog dans pnfs

CCRC08 : QUELQUES REMARQUES

TRANSFERTS

CCRC08 retardé au T0

seulement 2 semaines de tests effectifs aux tiers 1 et 2

programme augmenté de nouveaux tests : conjoint ATLAS+CMS

Voir la présentation suivante (Farida pour CMS)

en passe d'être complété : reprocessing

SIMULATION ECHANTILLON POUR FDR-2

Cette activite n'a pas eu lieu

aucune activité de simulation

démarrage prévu bientôt

REPROCESSING : SEMAINE #4-#8 (3 mars – 2 avril)

Re-processing = (1) déscendre des données de HPSS, (2) les traiter avec de nouvelles constantes de calibration, (3) distribuer les outputs

Raison d'être principale des T1 dans ATLAS

Exercée récemment dans ATLAS à BNL, TRIUMPH, NDGF

Effort de ATLAS pour tester le reprocessing dans tous les T1, avant le 2 avril

données de muons cosmiques de octobre '07 (M5)

mém. jusqu'à 2.7 GB (échantillonnage fin des détecteurs, non standard)

10 datasets de 250 fichiers de ~2 GB

CB et E. Lançon chapottent cette activité au CC

Release installée :	OK

Modifications manuelles fichiers de calib. et release (pb release) : OK

Test de qq jobs (problème dCache avec checksum time out):	OK

Mise en place d'une queue mappée sur classe J : en bonne voie

Staging 'massif' (peu etre contrôlé en amont) : pas encore abordé

Nous sommes dans la course (ni les premiers ni les derniers).

MUONS COSMIQUES M6 : SEMAINE #5 (3-10 mars)

Total : 38 TB de bonnes données RAW (25k fichiers), ~4 TB ESD

Distribuée depuis le vend. 7 fév., selon le share (T1-CC=15%)

T0 -> CC

Qq problèmes dCache au CC

Mais aussi problèmes au CERN

Bilan globalement bon

pics à 70-80 MB/s sur qq heures

Throughput (MB/s)

Total number of errors

Dimanche-lundi (9-10 mars)

CC serveur

pnfs engorgé

CERN VO box

problèmatique

CC problème indéterminé

(aucune intervention)

MUONS COSMIQUES : SEMAINE #5 (3-10 mars)

Moniteur Tokyo, réf. Ueda

CC -> TOKYO (T2)

Challenge dans le cadre de recherche de financement

Du vendredi au lundi matin (6:30 heure FR, conférence de presse)

Très bon résultats de transferts (~3 fois mieux que il y a un mois)

Toujours qq problèmes de stabilité

pics à ~ 80 MB/s

Taux soutenus à 40 MB/s

Plan discuté au sein de ATLAS, édité par K. Bors

AGENDA POUR LES 3 MOIS A VENIR

CCRC08-2 encore indeterminé

CB, en passe de commencer (downtime, effacement massif)

Plan discuté

au sein de ATLAS,

edité par K. Bos

Plan discuté

au sein de ATLAS,

édité par K. Bos

CONCLUSIONS – REMARQUES FINALES

ATLAS

mise en place de SRM v2 et des space token a bien marché

CCRC08 écourté de part les problèmes rencontrés au CERN

Transferts se sont bien passés

Tests plus fins en cours : T1-T1

CC

Bonnes performances générales

Certaines utilisations de dCache sont encore problèmatiques

Différence de site à site, à comprendre

Réactivité des 'masters' reconnue et appreciée

Démarrage d'une activité fondementale au CC : le reprocessing

La partie staging est la partie restante à étudier

travail conjoint avec ATLAS (production centralisée) et le CC

BACKUP SLIDES

CCRC08 : SEMAINE #3 et #4 : effacement de données

Premiers resultats de vitesse tres epars entre les T1:

SEMAINE #2 (FRANCE)

ATLAS SW week, A. Klimentov, 25-Feb-08

CCRC08 : SEMAINES #3-4

TEST RECO ATLAS+CMS : SEMAINE #4 (24 fév – 2 mars)

test de reconstruction conjoint avec ATLAS et CMS

ATLAS en général plus demandeur de mémoire que CMS,

But : éxécuter des jobs gourmands en mémoire 1 contre 1 sur la meme machine, mesurer la gène (le swap)

Organisation: CC et PIC participent; Ghita coordonne (et analyse)

Run: 2 jours au CC; pas du tout a PIC

Problème: peu de jobs, ATLAS a des petits jobs (mem. ~ 700 GB), période de recouvrement avec 4+4 jobs de seulement qq heures

Conclusion :

test délicat à mettre en oeuvre (le premier en son genre)

la production MC a du être stoppée (FR et ES)

Mesures de mémoire consommée (<mémoire max de la machine, 16GB) et de CPU (< CPU disponible, 8 unités) non concluantes

MUONS COSMIQUES : SEMAINE #5 (3-10 mars)

ATLAS

PRODUCTION MC

ATLAS

Préparation de l'échantillon MC pour le Full Dress Rehersal, phase 2 (test de stress de toute la chaine, ie. SFO -> analyses de physique)

à plus haute luminosité que FDR-1 (représentatif des premières collisions, 10^32 et 10^33 /cm^2/s)

génération pas encore commencé, elle devrait durer ~ 8 semaines.

EVGEN: T1 -> autres T1s

DIGI: T2 -> T1

RECO: T1 (20->1) -> BNL

Maintenant on valide la realease

CC

Pics de jobs : validation

Catherine Biscarat

2005-04-05T18:38:29