Optymalizacja mechanizmów komunikacji grupowej w warunkach niezrównoważonych modeli czasowych procesów obliczeniowych dla środowiska komputerów dużej mocy

Kierownik projektu: Jerzy Proficz

Politechnika Gdańska, CI TASK

Gdańsk

Streszczenie projektu

Prace obejmują utworzenie i weryfikację eksperymentalną nowych rozwiązań komunikacji grupowej dla obliczeń wielkiej skali. Planowane jest projektowanie nowych i modyfikacja istniejących algorytmów wymiany danych między wieloma procesami w warunkach niezrównoważonych modeli czasowych (Imbalanced Process Arrival Patterns - PAP), które występują powszechnie w środowiskach komputerów dużej mocy. Optymalizacja będzie zorientowana zarówno na wydajność jak i zużycie energii elektrycznej, a zasoby obliczeniowe KDM będą wykorzystane jako platforma do testów utworzonego oprogramowania. Podczas prac planuje się wykorzystanie typowych bibliotek komunikacyjnych takich jak implementacje MPI (np. OpenMPI) czy obliczeniowych (np. OpenMP, POSIX Threads). Zaproponowane rozwiązania umożliwią lepsze wykorzystanie i obniżenie kosztów utrzymania infrastruktury KDM dla typowych problemów obliczeniowych, np. uczenia maszynowego.

Publikacje

  1. Jerzy Proficz, Improving all-reduce collective operations for imbalanced process arrival patterns, The Journal of Supercomputing 74/7, (2018) 3071-3092
  2. Jerzy Proficz, Krzysztof M. Ocetkiewicz, Improving Clairvoyant: reduction algorithm resilient to imbalanced process arrival patterns, Journal Of Supercomputing -, (2020) 1-33
  3. Proficz J., Sumionka P., Skomiał J., Semeniuk M., Niedzielewski K., Walczak M., Investigation into MPI All-Reduce Performance in a Distributed Cluster with Consideration of Imbalanced Process Arrival Patterns, Advanced Information Networking and Applications AINA 2020 -, (2020) -
  4. Jerzy Proficz, Process arrival pattern aware algorithms for acceleration of scatter and gather operations, Cluster Computing-The Journal of Networks Software Tools and Applications 23, (2020) 2735-2751


← Powrót do spisu projektów

KONTAKT

Nasi konsultanci służą pomocą przyszłym i początkującym użytkownikom specjalistycznego oprogramowania zainstalowanego na Komputerach Dużej Mocy w Centrum Informatycznym TASK.

Kontakt w sprawach Komputerów Dużej Mocy, oprogramowania/licencji, grantów obliczeniowych, sprawozdań:

kdm@task.gda.pl

Administratorzy odpowiadają na maile w dni robocze w godzinach 8:00 – 15:00.