Korzystanie z zasobów Komputerów Dużej Mocy
CI TASK

Bartosz Pliszka

Centrum Informatyczne TASK, dział KDM

Plan szkolenia:

  1. Zasoby KDM
  2. Dostęp do zasobów
  3. System modules
  4. System kolejkowy
  5. Kompilacja i zrównoleglanie

Wstęp - CI TASK, zasoby KDM

  1. TASK i inne pojęcia
  2. Zasoby obliczeniowe - Tryton
  3. Oprogramowanie
  4. Zasoby storage - dmv
  5. Zasoby dostępowe - kdm-ap
  6. pojęcia KDM - Komputery Dużej Mocy

CI TASK, zasoby KDM

Zasoby działu KDM

Granty i sprawozdania

Procedura dostępu do zasobów:

Ważne: Trzeba składać sprawozdanie raz do roku w styczniu i na zakończenie projektu

Oprogramowanie i składowanie danych

Składowanie danych

Superkomputer Tryton

Tryton front

Tryton - węzeł obliczeniowy

Węzeł obliczeniowy Trytona

2 CPU Intel Xeon, 24 core, 128 GB RAM, InfiniBand 56 Gb/s

Tryton - schemat klastra, sieć

Schemat poglądow sieci Trytona

Tryton/KDM - 1280 nodów gv

DMV.task.gda.pl i KDM.task.gda.pl

Putty

SSH i putty

Putty

Składowanie danych

Limity dyskowe (quota)

Środowisko powłoki i system Environment Modules

Środowisko powłoki

Environment Modules (EM)

Pakiet Environment Modules daje możliwość modyfikacji środowiska użytkownika i przystosowania go do wymagań aplikacji,

Na superkomputerze Tryton moduły aplikacji umieszczone są w katalogach:

tryton/<nazwa_aplikacji>/<nr_wersji>

EM - Najczęściej używane polecenia i przykłady zastosowań

Środowisko na stałe

System kolejkowy

... batch system, workload manager, loadbalancer.

Funkcje

Przykłady systemów kolejkowych to LSF, Slurm, Moab, PBS Pro...

System kolejkowy

Putty

Slurm - komendy użytkownika

Slurm - komendy: sinfo

Slurm - komendy: squeue

Slurm - komendy: srun

Slurm - komendy: scontrol

Slurm - sbatch i skrypty

Slurm - komendy: sacct

Slurm - przykłady

Przykład - sprawdzenie dostępnego okna czasowego:
date
Tue Nov 15 11:27:36 CET 2016

srun -N4 --test-only -t 3-00:00:00  hostname
allocation failure: Requested node configuration is not available

srun -N4 --test-only -t 2-14:00:00  hostname
srun: Job 1886321 to start at 2016-11-15T11:33:53 using 96 processors on gv[2101-2104]

Slurm - kolejki w TASKu

sinfo -o "%10P  %12l %6I %6p %6a %s"

PARTITION   TIMELIMIT    PRIO_J PRIO_T AVAIL  JOB_SIZE
interact    8:00:00      40000  40000  up     1
test*       15:00        40000  40000  up     1-infinite
batch       3-00:00:00   30000  30000  up     1-infinite
sys         3-00:00:00   1      1      down   1-infinite
serial      3-00:00:00   20000  20000  up     1
special     60-00:00:00  20000  1      up     1-infinite
noib        7-00:00:00   20000  1      up     1-infinite
		

Uwaga na kolejki!

"Stay in Queue", FerdinandLutz

Dziękuję za uwagę

e-mail: kdm@task.gda.pl

Przegląd