26–29 sept. 2016
VVF Villages Le Grand Lioran
Fuseau horaire Europe/Paris

Utilisation d'une plateforme Hadoop/Spark pour des données astrophysiques

27 sept. 2016, 12:00
20m
Salle Plénière (VVF Villages Le Grand Lioran)

Salle Plénière

VVF Villages Le Grand Lioran

15800 Saint-Jacques-des-Blats
Présentation standard Offline Offline

Orateur

M. Christian Arnault (CNRS)

Description

Une expérimentation est menée dans l'environnement VirtualData/OpenStack au LAL. Plusieurs caractéristiques de cette technologie sont en cours d'évaluation: - mise en place d'une infrastructure Hadoop/Spark/scipy sur une cloud OpenStack - mesures de performance (configuration du cluster, suivi des facteurs d'échelle) - apprentissage des modules fonctionnels de la plateforme Spark (Scala, Python) - exploitation des données binaires structurées dans Spark à travers le module Hadoop/avro - application aux fichiers FITS - quelques exemples de cas d'usage dans le contexte de l'expérience LSST **Christian Arnault** Axel Chevarin Réza Ansari Johann Cohen Tanoudji

Auteur principal

M. Christian Arnault (CNRS)

Co-auteurs

M. Axel Chevarin (LAL) M. JOHANN COHEN-TANUGI (LUPM, Université de Montpellier) Prof. Réza Ansari (LAL)

Documents de présentation