Galera

 

Typ klaster na procesorach Xeon Quad-Core z siecią InfiniBand
Nazwa galera
Obudowy typu blade n/a
Serwery: typu blade n/a
Procesory Intel Xeon Quad Core 2,33 GHz, 12 MB L3Cache, architektura EM64T
Liczba serwerów 336
Liczba płyt gł. 672
Liczba procesorów 1344
Liczba rdzeni obliczeniowych 5376
Moc obliczeniowa 50 TFLOPS
Całkowita pamięć operacyjna 10752 GB (168 nodów po 32 GB, 168 nodów po 16 GB, 336 nodów po 8 GB)
Pamięć dyskowa 107,5 TB
Architektura klaster maszyn SMP z siecią InfiniBand
Sieć

InfiniBand:

  • producent Flextronics
  • topologia fat tree
  • przepustowość łącza 20 Gb/s
  • opóźnienie
  • zespół przełączników:
    • 24-portowe - 60 szt.
    • 120-portowe - 6 szt.

Gigabit Ethernet:

  • producent Cisco
  • 28 szt. 48-portowych przełączników
System operacyjny Linux
Data instalacji/uruchomienia luty 2008;
Historia modernizacji
  • czerwiec 2008 - rozbudowa pamięci z 5 TB do 10 TB
Integrator Konsorcjum firm WASKO i ACTION (http://www.wasko.pl/, http://www.action.pl/)

Galera to klaster obliczeniowy na procesorach Xeon Quad-Core z siecią InfiniBand.

Klaster zbudowany jest z serwerów zawierających po dwie płyty główne - nody w architekturze SMP. Każdy nod zawiera po dwa procesory 4-rdzeniowe Xeon, średnio 16 GB pamięci operacyjnej, dysk twardy SATA o pojemności 160 GB, dwa porty Gigabit Ethernet oraz port InfiniBand. Nody są połączone za pomocą zespołu przełączników InfiniBand (switch fabric) oraz pojedynczego łącza do przełączników gigabitowych.

Moduły pracują pod kontrolą systemu operacyjnego Debian GNU/Linux 4.0. Do komunikacji używane są biblioteki MVAPICH, OpenMPI i MPICH.

Teoretyczna moc obliczeniowa klastra wynosi 50 TFlops.

18 czerwca 2008 roku galera znalazła się na liście najszybszych komputerów na świecie TOP500 na pozycji 45.

Korzystanie z galery

Na galerze obowiązuje system kolejkowy PBS (odrębny od holka). Zobacz: Zasady na galerze

Kompilując programy równoległe na wiele nodów zawsze należy używać ssh do inicjalizacji połączeń (rsh nie działa).

Zaleca się korzystać z biblioteki MPI w wersji OpenMPI.

Nody galery posiadają:

  • 8 rdzeni obliczeniowych,
  • 8 GB pamięci operacyjnej(336 węzłów),
  • 16 GB pamięci operacyjnej(168 węzłów),
  • 32 GB pamięci operacyjnej(168 węzłów),
  • 110 GB lokalnej roboczej przestrzeni dyskowej (/tmp).

Kolejki

Dla zadań mniejszych niż 8 rdzeni, np. jednoprocesorowych w kolejce serial należy ustawiać wymaganą dla zadania ilość pamięci, np.

echo "./my_app job1.inp"  | qsub -q serial -l nodes=1:ppn=1,pmem=1gb

Kompilacja na galerze

Aby kompilować programy do uruchamiania na klastrze galera, najlepiej jest zalogować się na jego węzeł dostępowy. Należy pamiętać, że galera jest klastrem i wysoce wskazane jest, aby kompilować na nim i uruchamiać tylko programy zrównoleglone, działające na klastrach.

W celu uzyskania wydajnego kodu binarnego zalecane i rekomendowane jest stosowanie kompilatorów firmy Intel, a nie ogólnych kompilatorów z rodziny GCC. W przypadku procesorów Xeon optymalizacja kodu na etapie kompilacji ma zasdnicze znaczenie dla szybkości obliczeń.

Kompilatory te są zainstalowe w katalogu /opt/intel/bin i wywołuje się je poleceniami: ifort (dla języka Fortran 77/90/95 ), icc (dla C) orac icpc (dla C++)

Często programy są zrównoleglone za pomocą biblioteki MPIZaleca się stosowanie wersji OpenMPI z katalogu korzystającej z sieci InfiniBand. W celu korzystania z OpenMPI na galerze należy do pliku .bashrc dopisać:

[ -e /apl/mpi/openmpi/1.4.3/env/openmpi.sh ] && . /apl/mpi/openmpi/1.4.3/env/openmpi.sh

Na galerze zainstalowane są także biblioteki MVAPICH, oraz MPICH.

Biblioteka matematyczna Intel Math Kernel Library dostarczająca m.in. bibliotek BLAS, LAPACK jest zainstalowana w katalogu /opt/intel/mkl

Oprogramowanie dostępne na galerze

Zobacz też: Galera w mediach

 

Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej
ul. G. Narutowicza 11/12, 80-233 Gdańsk   |   tel. 58-347-24-11
email: office@task.gda.pl   |   NIP: 584-020-35-93