Atelier Calcul Mars 2022 - Niveau 1

jeudi 3 mars 2022, 10:00 → 12:05 Europe/Paris

Salle du conseil (IP2I)

Aussi retransmis et enregistré en visio : https://bbb.ip2i.in2p3.fr/b/den-c7k-pjd

 

10:00 → 10:15 Ferme de calcul et des moyens de calcul de l'IP2I

Orateur: Denis Pugnere (CNRS / IN2P3 / IP2I)

IP2I SLURM farm documentation

10:15 → 10:55 Comment utiliser la ferme SLURM : lancement de jobs, accès aux données

Orateur: Denis Pugnere (CNRS / IN2P3 / IP2I)

Environnement presentation
    same nfs shares (/home, /group, /gridgroup) on each node
    /cvmfs
    local /scratch/ on each node (not shared)

sinfo explanation
    partitions, timelimit, states (idle, mix, alloc, down)
 

squeue explanation

 

explanation
    srun

    # nombre de tâches à lancer dans le job
    srun --tasks=10 hostname|uniq -c

    # nombre de CPU alloués pour un job
    srun --cpus-per-task=5 hostname
    lyowork012.in2p3.fr

  srun --cpus-per-task=44 hostname
  lyowork034.in2p3.fr

    $ srun --cpus-per-task=65 hostname
    srun: error: CPU count per node can not be satisfied
    srun: error: Unable to allocate resources: Requested node configuration is not available
    srun: Force Terminated job 537338

    srun --partition=gpu --cpus-per-task=65 hostname
    lyowork029.in2p3.fr

    # nombre de nodes alloués pour un job
    srun --nodes=5 hostname

lyowork004.in2p3.fr
lyowork006.in2p3.fr
lyowork005.in2p3.fr
lyowork003.in2p3.fr
lyowork007.in2p3.fr
    $ srun --nodes=45 hostname
  srun: job 537334 queued and waiting for resources

    # mémoire
    srun sleep 60
    scontrol show job 537352|grep -i mem
   RunTime=00:00:17 TimeLimit=1-00:00:00 TimeMin=N/A
   TRES=cpu=1,mem=2G,node=1,billing=1
   MinCPUsNode=1 MinMemoryCPU=2G MinTmpDiskNode=0

  srun --mem=10G sleep 60
    scontrol show job 537353|grep -i mem
   RunTime=00:00:07 TimeLimit=1-00:00:00 TimeMin=N/A
   TRES=cpu=4,mem=10G,node=1,billing=4
   MinCPUsNode=4 MinMemoryNode=10G MinTmpDiskNode=0

     # job interactif
     srun --pty bash
     scontrol show job $SLURM_JOBID |grep -i mem

     #X11
     srun --pty --x11 bash
     xeyes

     Jobs (sbatch)
        job-mail.sh
        job-partition.sh
        job-ram.sh
        job-redir.sh
        job-array.sh

    # PENDING -> RUNNING -> COMPLETED (if job exit status == 0)
    # PENDING -> RUNNING -> FAILED (if job exit status != 0)

     # jobs multi coeurs
     job-openmp.sh
     OpenMP (Posix Threads)
     4 c
     10 c

     MPI
     job-mpi.sh
     4 c
     200 c
 

10:55 → 11:15 Utilisation de containers

Orateur: Guillaume BAULIEU (IN2P3/IP2I)

220303_containers.pdf

11:15 → 11:35 Utilisation d'un notebook jupyter

Orateur: Guillaume BAULIEU (IN2P3/IP2I)

11:35 → 12:05 Discussions (problématiques, problèmes rencontrés, retours d'expériences)