Apache Airflow est un puissant gestionnaire de workflow souvent utilisé pour la transformation de données.
Dans cette présentation, vous découvrirez son fonctionnement et ses différentes fonctionnalités en s’appuyant sur des cas d'utilisation au Centre de Calcul de l’IN2P3.
Depuis un peu plus de 2 ans le CC-IN2P3 propose une plateforme de notebooks Jupyter.
La présentation fera la point sur les composants logiciels sous-jacents mais aussi sur les services offerts par cette plateforme comme, par exemple, la possibilité de calcul sur GPU ou l'utilisation du framework Dask pour distribuer des tâches de calcul sur la ferme de batch SLURM.
Le projet BBQ (Beautiful Batch Query) du Centre de Calcul de l'IN2P3 (CC-IN2P3) propose une interface web pour interroger l'état des fermes de calcul (HTCondor et Slurm, et dans le passé UGE) du CC-IN2P3. Actuellement, il permet de répondre aux besoins suivants :
- Suivi opérationnel au niveau des jobs, utilisateurs et machines, avec pour certains éléments (jobs GPU, jobs en attente, etc.)...
L’observatoire Vera C. Rubin, en phase finale de construction au Chili, avec son télescope de 8,4 mètres et sa camera de 3.2 giga pixels, va produire plus de 20TB des données chaque nuit, 300 nuits par an. 50% de ces données seront traitées au CC-IN2P3 afin de produire des images prêtes pour la science ainsi qu'un catalogue astronomique. Au bout des 10 années d'exploitation, un jeu de données...
Je présenterai notre nouveau système d'installation automatique, configuration et maintenance de nos postes de travail et serveurs basé sur TFTP+Cloudinit+Ansible.
Dans cette présentation, nous discuterons des intérêts des API Kubernetes (appelées Ressources) et en quoi on t'elles permis l'évolution et l'adoption globale de Kubernetes.
Les bandes magnétiques sont souvent considérées comme un moyen de stockage dépassé, mais sont encore utilisées pour stocker de grandes quantités de données. Les performances en lecture dépendent en partie de l'ordre dans lequel les fichiers demandés sont accédés sur une bande donnée. Cette problématique n'est toutefois presque pas étudiée dans la littérature de recherche en informatique. Dans...
