---------------------------------------------- Discussion préparatoire pour la structuration de la VO nationale en sous-groupes Mercredi 8 juin 2011, 14h-15h Participants: David Bouvet, Guillaume Philippon, Gilles Mathieu ---------------------------------------------- ____________________________________________________________________________________________________________________________ But de la discussion: --------------------- - clarifier les intérêts d'une structuration de la VO nationale en sous-groupes - étudier les différentes propositions à ce sujet et proposer un choix - lister et clarifier les éventuels problèmes d'implémentation - proposer une structuration de départ permettant de lancer rapidement le déploiement ____________________________________________________________________________________________________________________________ Intérêts de structurer la VO nationale en sous-groupes ------------------------------------------------------ L'intérêt est visible pour les trois côtés impliqués: - Côté site: une structure en groupes permet de choisir quelles parties de la VO le site veut supporter, ou favoriser. Il y a également un intérêt technique au niveau du stockage des données, dont l'administration est plus facile si les espaces sont gérés par groupe - Côté utilisateur: de même que pour les sites, la possibilité d'avoir des espaces de données cloisonnés est un avantage, de même que la possibilité de bénéficier d'accès privilégié selon le groupe d'appartenance. - côté France Grilles: Une structuration en groupe permet une granularité dans la visibilité de ces groupes notamment via les mécanismes d'accounting. ____________________________________________________________________________________________________________________________ Différentes possibilités et choix de structuration -------------------------------------------------- Deux idées ont été évoquées: - une structuration en groupes géographiques ou institutionnels: chaque groupe pourrait représenter les utilisateurs d'un site, d'une tutelle ou d'une région donnée - une structuration en groupes thématiques: chaque groupe pourrait représenter une discipline ou un projet particulier Du fait du scénario retenu d'intéraction avec les VOs locales (e.g. cohabitation et complémentarité), il y a peu d'intérêt pour retenir la structuration géographique. Si un tel groupement est nécessaire à des fins particulières de visibilité, l'utilisation d'une VO locale ou régionale est la solution à adopter. La structuration thématique est assez répandue dans les VOs existantes, et traduit mieux le besoin de cloisonnement des données ainsi que de support priviligié (e.g. un site choisissant de supporter une discipline ou un projet particulier au sein de la VO nationale, en échange de financement). Le désavantage majeur vient du fait qu'un changement intervenant au niveau des sous-groupes est susceptible d'impacter plus de sites. Ce désavantage est jugé mineur. La solution conseillée est donc la structuration thématique. ____________________________________________________________________________________________________________________________ Possibles problèmes d'implémentation à prendre en compte -------------------------------------------------------- * Allocation de ressources par sous-groupe ------------------------------------------ Beaucoup de sites utilisent actuellement un filtrage par rôles (notamment pour le stockage), mais pas par groupe. Cela ne pose pas de problème majeur puisque les deux notions sont orthogonales et peuvent être utilisées conjointement. Il n'est pas souhaitable d'implémenter des solutions de fair-share entre les groupes d'une même VO: Beaucoup de sites français utilisent Torque/Maui comme système de batch, et le fair-share intra-VO n'est pas possible de manière propre (il y a beaucoup de bricolage nécessaire, et surtout la nécessité de propager tout changement à la main ce qui est coûteux et difficilement maintenable). Un moyen de contourner cette limitation serait de considérer un sous-groupe donné comme une VO à part entière, et de n'ouvrir une queue donnée qu'à ce groupe, avec une priorité donnée. Les jobs soumis avec un proxy de ce groupe entreraient donc en concurrence directe avec les jobs des autres VOs et ceux de la VO nationale du groupe racine ou de tous les autres groupes. Ce n'est pas faisable aujourd'hui avec Quattor, il faudrait envisager du développement. On peut par contre limiter l'accès aux ressources à un seul sous-groupe au sens batch: - 1 groupe batch pour l'ensemble de la VO - 1 groupe batch pour le sous-groupe voulu Il faut par contre vérifier l'implication de cette solution au niveau accounting: les jobs remontés seront-ils considérés comme étant des jobs Vo nationale, ou des jobs d'un sous-groupe donné? Si cette solution est généralisée, on perd par contre l'avantage de la VO nationale car pour le site, ajouter un sous-groupe revient à configurer une nouvelle VO. * Gestion des applications et software areas -------------------------------------------- Même avec une structuration par groupe, la gestion des applications et software areas pour une VO "catch-all" va rester problématique côté site. Il n'y a pas de notion de software manager par sous-groupe, même si le travail est réparti entre plusieurs individus au final ce sera le même espace qui risque de grossir : pour le site, il faut éviter de se retrouver avec un soft area énorme. Il n'est donc pas sûr qu'on puisse répondre à la demande de centralisation du soft. Recommendation : la VO nationale ne devrait pas gèrer les software areas, c'est aux utilisateurs de voir avec les sites. ____________________________________________________________________________________________________________________________ Conclusion - structuration de départ pour lancer le déploiement --------------------------------------------------------------- La création de nouveaux sous-groupes peut intervenir à n'importe quel moment. En revanche, il peut y avoir un coût s'il y a changement dans la structure des groupes existants. La recommendation est donc de commencer sans sous-groupe défini, sachant qu'ils pourront être créés plus tard: - s'il y a une demande, un besoin, ou une masse critique d'utilisateurs pour un projet ou une discipline donnée - s'il y a des ressources pour répondre à cette demande (notamment un site prêt à favoriser le groupe en question, de manière à ce qu'il y ait un intérêt à sa création) La structuration en sous-groupes n'a pas d'impact sur les sites qui n'ont pas configuré la gestion par groupe. A noter que la partie "catch-all" de la VO nationale n'est pas un sous-groupe, c'est la racine. La VO nationale peut donc être déployée sans structuration particulière au moins au démarrage.