Orateur
Description
Cette dernière décennie a vu le mouvement DevOps profondément transformé les pratiques de développement logiciel en incitant les chercheurs et ingénieurs développeurs à livrer leurs applications accompagnées d’images de conteneur ou de fichiers de reconstruction (ex. Dockerfile, Singularity Definition File). Ces machines virtuelles légères permettent aujourd'hui un déploiement simplifié et instantané, dans un environnement d’exécution identique à celui du développeur, sans nécessiter d'intervention manuelle pour installer et configurer des dépendances spécifiques. Si Docker est devenu l’outil emblématique de ce mouvement, notamment dans le monde du cloud, son adoption dans le calcul haute performance (HPC) et les grilles de calcul reste limitée au profit d’alternatives comme Apptainer (ex-Singularity), Shifter ou Enroot, mieux adaptées aux contraintes des super-calculateurs équipés de plus en plus avec des cartes GPUs.
Dans ce contexte, un des groupes de travail DecaLog, ComputeOps, cherche à accompagner des projets de développement qui visent à préparer l’usage des conteneurs intensivement et efficacement dans les disciplines de la physique des particules et nucléaire (HEP), en répondant à des enjeux critiques: tant sur le plan de la sécurité, de l'optimisation des performances, que de l'interopérabilité. L’objectif principal est de permettre aux chercheurs de bénéficier de la souplesse technologique des conteneurs tout en garantissant leur "full" compatibilité avec les infrastructures HPC et grilles de calcul du CNRS et de ses partenaires externes (ex. les mésocentres, les centres de calcul européens EuroHPC JU, CERN, EGI).
Depuis que j'ai repris la coordination de ComputeOps début 2025, les tendances dans les mondes du HPC, de la conteneurisation et de la virtualisation ont été marquées par plusieurs évolutions majeures avec une intégration croissante des conteneurs dans les infrastructures de calcul intensif où la convergence entre le cloud, l’IA et le HPC traditionnel devient incontournable. Une autre tendance notable est arrivée dans la même celle de l'émergence du standard "Kubernetes" dans une approche visant à simplifier les workflows DevOps et à réduire la complexité des orchestrations, tout en maintenant une compatibilité avec les infrastructures hétérogènes pour garantir une exécution optimale en production. ComputeOps va continuer à explorer l’utilisation les deux orchestrateurs les plus dominants dans les grands centres de calcul pour du cloud computing et de l'HPC, respectivement Kubernetes et Slurm, adoptant aujourd'hui des stratégies mixtes dans l'orchestration hybride (Slurm pour les workloads batch/MPI, Slinky et Kubernetes pour les services conteneurisés comme KubeHPC, Dapr, KubeRay ou Caikit) qui gagnent en popularité, notamment pour optimiser l’allocation des ressources GPU et la proximité des données (data locality).
Enfin, ComputeOps commence à réflechir l'intégration de la dimension intelligence artificielle pour optimiser les benchmarks, sécuriser les workflows et améliorer les performances. L’IA serait pour:
- analyser les résultats de benchmarks (ex : FLOPS, latence, efficacité énergétique) et identifier les goulots d’étranglement,
- adapter dynamiquement les ressources allouées aux conteneurs en fonction des besoins réels, et
- automatiser la validation des images (détection de vulnérabilités, signature numérique) et recommander des configurations optimales pour chaque environnement.
En alignement avec les initiatives européennes (EGI, EOSC, CERN) et les standards Dev{Sec}Ops, ComputeOps vise à moderniser les workflows scientifiques au CNRS en offrant une solution sécurisée, performante et interopérable pour le déploiement d’applications en conteneur dans le domaine de la physique des particules et nucléaire.
Aussi je présenterai à cette occasion le status update du groupe de travail sur nos activités et le bilan de nos travaux et projets en cours (CSAN) et en prospection.