Optymalizacja mechanizmów komunikacji grupowej w warunkach niezrównoważonych modeli czasowych procesów obliczeniowych dla środowiska komputerów dużej mocy

Kierownik projektu: Jerzy Proficz

Realizatorzy:

  • Paweł Rościszewski
  • Krzysztof Ocetkiewicz
  • Adam Krzywaniak
  • Paweł Sumionka

Politechnika Gdańska, CI TASK

Gdańsk

Data otwarcia: 2019-01-04

Streszczenie projektu

Prace obejmują utworzenie i weryfikację eksperymentalną nowych rozwiązań komunikacji grupowej dla obliczeń wielkiej skali. Planowane jest projektowanie nowych i modyfikacja istniejących algorytmów wymiany danych między wieloma procesami w warunkach niezrównoważonych modeli czasowych (Imbalanced Process Arrival Patterns - PAP), które występują powszechnie w środowiskach komputerów dużej mocy. Optymalizacja będzie zorientowana zarówno na wydajność jak i zużycie energii elektrycznej, a zasoby obliczeniowe KDM będą wykorzystane jako platforma do testów utworzonego oprogramowania. Podczas prac planuje się wykorzystanie typowych bibliotek komunikacyjnych takich jak implementacje MPI (np. OpenMPI) czy obliczeniowych (np. OpenMP, POSIX Threads). Zaproponowane rozwiązania umożliwią lepsze wykorzystanie i obniżenie kosztów utrzymania infrastruktury KDM dla typowych problemów obliczeniowych, np. uczenia maszynowego.

Publikacje

  1. Jerzy Proficz, Improving all-reduce collective operations for imbalanced process arrival patterns, The Journal of Supercomputing 74/7, (2018) 3071-3092
  2. Jerzy Proficz, Krzysztof M. Ocetkiewicz, Improving Clairvoyant: reduction algorithm resilient to imbalanced process arrival patterns, Journal Of Supercomputing -, (2020) 1-33
  3. Proficz J., Sumionka P., Skomiał J., Semeniuk M., Niedzielewski K., Walczak M., Investigation into MPI All-Reduce Performance in a Distributed Cluster with Consideration of Imbalanced Process Arrival Patterns, Advanced Information Networking and Applications AINA 2020 -, (2020) -
  4. Jerzy Proficz, Process arrival pattern aware algorithms for acceleration of scatter and gather operations, Cluster Computing-The Journal of Networks Software Tools and Applications 23, (2020) 2735-2751


← Powrót do spisu projektów

CONTACT

Our consultants help future and novice users of specialized software installed on High Performance Computers (KDM) at the TASK IT Center.

Contact for High Performance Computers, software / licenses, computing grants, reports:

kdm@task.gda.pl

Administrators reply to e-mails on working days between 8:00 am – 3:00 pm.