20-21 November 2019
Institut Henri Poincaré
Europe/Paris timezone

Big Data cosmology with Spark

20 Nov 2019, 12:30
10m
Amphithéâtre Hermite (Institut Henri Poincaré)

Amphithéâtre Hermite

Institut Henri Poincaré

11 rue Pierre et Marie Curie, 75005 Paris accès : http://www.ihp.fr/fr/guide_pratique

Speaker

Dr stephane plaszczynski (CNRS)

Description

L'environement de travail Apache Spark est tres utilise dans
l'industrie pour organiser et analyser les grands volumes de donnees.
Je montrerai que cette "technologie Big Data" peut egalement etre
appliqueee en science sans trop de souffrances, en particulier en
astrophysique ou les volumes de donnees des prochains grands releves
de galaxies augmentent drastiquement.
A partir d'une simulation simple mais realiste de 10 ans de donnees du
telescope LSST, je montrerai les divers interets d'une telle approche
pour l'analyse interactive d'un releve de 6 milliards de galaxies.
Je developperai l'aspect utilisateur et montrerai par des
exemples simples et pratiques en python comment obtenir d'excellentes
performance sur un cluster de taille modeste.

Primary author

Presentation Materials