h

Podstawowe dane o projekcie

Tytuł projektu: PRACE ‒ Współpraca w zakresie zaawansowanych obliczeń w Europie
Nazwa Programu Operacyjnego: Inteligentny Rozwój 2014-2020
Instytucja wdrażająca: Ośrodek Przetwarzania Informacji
Działanie: 4.2 ‒ Rozwój Nowoczesnej Infrastruktury Badawczej Sektora Nauki PO IR
Nr projektu: POIR.04.02.00-00-B001/18

Potrzeba realizacji tego projektu wynika z następujących faktów:

  • Potrzeby integracji infrastruktur badawczych na różnych poziomach: krajowym, domenowym (ESFRI), europejskim i globalnym;
  • Braku globalnych infrastruktur badawczych umożliwiających szeroką światową współpracę, zarówno między badaczami jak i z otoczeniem gospodarczym;
  • Zapewnienie otwartego dostępu do infrastruktur badawczych na żądanie, w trybie zawsze i wszędzie;
  • Korzyści wynikających z kompleksowego powiązania usług wspomagających naukę z procesami innowacji;
  • Zapotrzebowania na zdalne szkolenia w zakresie wykorzystania różnego typu e-Infrastruktur w badaniach naukowych, edukacji i procesach innowacji oraz na otwarte masowe szkolenia dziedzinowe (typu MOOC).

 

Cele projektu

Głównym celem projektu jest dostarczenie zaawansowanych usług obliczeniowych HPC (High Performance Computing) oraz platformy do przechowywania i wymiany danych dla środowiska naukowego w Polsce i innych krajów Europy, jak również umożliwienie symulacji komputerowych w zakresie badań przemysłowych. Ponadto celem nadrzędnym jest poprawa pozycji polskiego sektora ICT (Information and Communication Technologies) na rynkach europejskich i światowych poprzez wsparcie i wzmocnienie rozwoju innowacyjnych rozwiązań przy współpracy sektora prywatnego, ze szczególnym uwzględnieniem małych i średnich przedsiębiorstw (MŚP), z sektorem nauki. Jest to zgodne z jednym z głównych wyzwań programu Europa Innowacji w zakresie budowy ERA (European Research Area). Uwzględnia postulaty komitetu ESFRI (European Strategy Forum on Research Infrastructures) w zakresie integracji infrastruktury badawczej (IB) i infrastruktury ICT oraz wytyczne Programu Ramowego Horyzont 2020, dotyczące rozwoju najwyższej klasy nowych infrastruktur badawczych.

czytaj dalej

Wyżej wymienione możliwości dostarczane będą poprzez krajową rozproszoną platformę (PRACE-Lab), która powstanie w ramach współpracy konsorcjum naukowego, a następnie zostanie wykorzystana do celów zarówno gospodarczych jak i niegospodarczych. W części gospodarczej planowane jest jej udostępnienie dla przedsiębiorstw, administracji rządowej oraz samorządowej. Zasięg udostępniania oferowanych usług ma znacznie wykraczać poza granice kraju. W części niegospodarczej, pozostanie do dyspozycji jednostek badawczych z uczelni wyższych, instytutów Polskiej Akademii Nauk oraz Państwowych Instytutów Badawczych. Poza tym ta część zostanie zintegrowana z ekosystemem europejskiej infrastruktury obliczeniowej PRACE, w skład której wchodzą największe centra komputerowe z 25 krajów członkowskich Unii Europejskiej.

Całość przedsięwzięcia będzie rozwijana w ramach następujących laboratoriów:

  • Laboratorium przetwarzania HPC oraz chmurowego (infrastruktura przetwarzania),
  • Laboratorium dostępu do tej infrastruktury przetwarzania,
  • Laboratorium zarządzania i monitorowania infrastrukturą przetwarzania,
  • Laboratorium archiwizacji oraz długoterminowego składowania wyników badań,
  • Laboratorium zarządzania rozproszonymi danymi oraz transparentnego dostępu do danych,
  • Laboratorium bezpieczeństwa infrastruktury przetwarzania
  • .

Wspomniane wyżej laboratoria (których pełniejszy opis znajduje się na końcu opracowania) zostaną udostępnione w ramach sieci krajowej Pionier oraz sieci miejskich MAN, jako wartość dodana do już istniejących usług sieciowych (na podobnej zasadzie jak w przypadku projektów Platon czy MAN-HA). W części gospodarczej umożliwiony zostanie równy dostęp do usług również wszystkim instytucjom nie mającym statutu jednostki badawczo-rozwojowej lub naukowej.

Zadania realizowane przez CI TASK:

Budowana platforma powinna umożliwiać kreowanie różnorodnych środowisk wykonawczych, oferujących określoną gamę usług dostępnych poprzez portale dla użytkowników. Z uwagi na różnorodne wymagania użytkowników, środowiska te jak i oferowane przez nich usługi powinny być definiowane na bieżąco. Zadania CI TASK, w tym projekcie, dotyczą tworzenia na żądanie użytkownika logicznej infrastruktury przetwarzania dla środowisk wykonawczych i są następujące:

  • Opracowanie metod i procedur logicznego wydzielenia infrastruktury przetwarzania na potrzeby środowisk wykonawczych.
  • Budowa portalu do zarządzania użytkownikami z dostępem do usług oferowanych przez platformę przetwarzania, w tym zapewnienie podstawowej informacji o użytkowniku i o udostępnionych użytkownikowi usługach, a także opracowanie przyjaznych narzędzi do zarządzania informacjami i usługami.
  • Przygotowanie bezpiecznego i niezawodnego środowiska dla krytycznych usług wewnętrznych, niezbędnych dla efektywnego zarządzania złożonymi środowiskami obliczeniowymi.
  • Zapewnienie efektywnego mechanizmu gromadzenia danych dziedzinowych, a także bezpiecznego dostępu do składowanych danych, również w przypadku awarii wykorzystywanego punktu dostępu do usług.
}

Terminy realizacji

Realizacja projektu planowana jest na lata 2019-2023 i obejmuje będzie następujące etapy:

  • 2019-2020 ‒ opracowanie architektury systemu (infrastruktury przetwarzania HPC) oraz przygotowanie usług obliczeniowych, a także metod zarządzania danymi na tej infrastrukturze (e-infrastruktura),
  • 2021 ‒ integracja zaimplementowanych usług w formie demonstratora wraz z przeprowadzeniem testów systemowych,
  • 2022-2023 – testowanie oraz eksploatacja platformy PRACE-LAB

Konsorcjum

Projekt realizowany w konsorcjum:

  • Instytut Chemii Bioorganicznej PAN, Poznańskie Centrum Superkomputerowo-Sieciowe (Lider),
  • Akademia Górniczo-Hutnicza im. Stanisława Staszica, Akademickie Centrum Komputerowe CYFRONET,
  • Politechnika Białostocka,
  • Politechnika Częstochowska,
  • Politechnika Gdańska, Centrum Informatyczne TASK,
  • Politechnika Łódzka,
  • Politechnika Świętokrzyska,
  • Politechnika Wrocławska, Wrocławskie Centrum Sieciowo-Superkomputerowe.

Architektura projektu PRACE-LAB

Przygotowanie infrastruktury obliczeniowej HPC oraz jej udostępnienie to procesy złożone, wymagające przeprowadzenia szerokiej analizy wymagań funkcjonalnych i zapotrzebowania na konkretne usługi, a także prac rozpoznawczych, badawczych, implementacyjnych, testowych, wdrożeniowych i konfiguracyjnych

czytaj dalej

W celu ułatwienia realizacji projektu i uproszczenia zarządzania projektem, zaproponowano stworzenie struktury organizacyjnej opartej na sześciu powiązanych ze sobą, logicznych laboratoriach badawczych. Każde laboratorium ogniskuje się na wyselekcjonowanych problemach i skupia współpracujące ze sobą osoby z różnych ośrodków, co pozwala na wymianę doświadczeń, pomysłów oraz koordynację prowadzonych prac. Podstawą ich działania jest infrastruktura zakupiona w trakcie projektu oraz dostępna w ramach konsorcjum PRACE oraz PIONIER/MAN.

Laboratoria 1 i 4 funkcjonują w zakresie konfiguracji, uruchomienia i utrzymania infrastruktury sprzętowej HPC. Laboratoria 2 i 5 udostępniają usługi dla odbiorców końcowych lub innych usług złożonych oraz zarządzają rozproszonymi danymi. Laboratoria 3 i 6 dotyczą przekrojowych zadań związanych z monitorowaniem infrastruktury i usług oraz zapewnieniem im szeroko rozumianego bezpieczeństwa.

Każde z laboratoriów uwzględnia budowę i rozwój infrastruktury badawczo-rozwojowej pod kątem rynkowego wykorzystania badań naukowych. Jej możliwości będą wykorzystane zarówno do celów gospodarczych jak i niegospodarczych.

k

Opis poszczególnych laboratoriów

Laboratorium 1: Laboratorium przetwarzania HPC oraz chmurowego

Prace w ramach Laboratorium 1 dotyczą wytworzenia kompleksowej, elastycznej platformy PRACE-Lab wymaganej przez nowoczesne usługi i aplikacje, w ramach której możliwe będzie instancjonowanie na bazie dostępnych zasobów sprzętowych, izolowanych, bezpiecznych, niezawodnych i wysokowydajnych dedykowanych środowisk, oferujących szeroką gamę usług obliczeniowych. W konsekwencji systemy HPC następnej generacji, muszą łączyć w sobie elastyczność, izolację i bezpieczeństwo systemów chmurowych z potencjałem obliczeniowym dostarczanego sprzętu specjalizowanego HPC. Jednocześnie, aby sprostać rosnącym wymaganiom użytkowników względem dostępności i elastyczności systemów HPC, konieczne jest rozszerzenie tradycyjnego modelu ich funkcjonowania, opartego o centralne, współdzielone usługi (takie jak: systemy kolejkowania, systemy przechowywania danych użytkowników, czy też utrzymanie przestrzeni tymczasowej). Te nowe elementy związane są z szeroką elastyczną ofertą aplikacji i efektywnym przetwarzaniem złożonych danych, jak też z zapewnieniem wzrostu niezawodności systemów i redukcji ryzyka związanego z awariami sprzętu lub oprogramowania.

Laboratorium 2: Laboratorium dostępu do infrastruktury przetwarzania

Prace w ramach Laboratorium 2 związane są z zapewnieniem udostępniania infrastruktury użytkownikom końcowym za pomocą kompleksowego, wielomodułowego i rozszerzalnego, środowiska portalowego dla różnych użytkowników infrastruktury PRACE-LAB. Zakres działań tego laboratorium skupia się na użytkowniku końcowym, zarówno naukowym, jak i komercyjnym. Obejmuje holistycznie funkcjonalność związaną z szeroko rozumianym dostępem użytkownika do takiej infrastruktury, oferując zestaw portalowych narzędzi zarządzających cyklem życia użytkownika oraz wykorzystaniem dostępnych usług i zasobów. Wytworzone w ramach tego laboratorium narzędzia będą całościowo wspierać cały proces interakcji użytkownika z tą infrastrukturą, począwszy od jego rejestracji, poprzez wnioskowanie o usługi i zasoby, aż do przeprowadzania eksperymentów obliczeniowych i rozliczenia wykorzystania zasobów. Zakłada się, że powstały portal (reprezentujący całe środowisko przetwarzania) będzie podstawowym punktem dostępu użytkowników do infrastruktury przetwarzania PRACE-LAB i zapewni wykorzystanie zarówno zasobów znajdujących się w części gospodarczej jak i w części naukowej. Niezbędne narzędzia tego portalu zostaną zaprojektowane i zaimplementowane z uwzględnieniem specyficznych wymogów różnych klas użytkowników oraz odmiennej specyfiki, dotyczącej zasobów dostępnej infrastruktury.

W ramach prac zostaną zaprojektowane, wytworzone, wdrożone i produkcyjnie utrzymane narzędzia portalowe odpowiadające dwóm podstawowym obszarom interakcji użytkownika z infrastrukturą, tzn.: portal do zarządzania użytkownikami i usługami oraz portal do zarządzania eksperymentami obliczeniowymi.

Laboratorium 3. Laboratorium zarządzania i monitorowania usług

Laboratorium 3 skupi się na różnych aspektach pracy wytwórców i administratorów, w szczególności tych związanych z przygotowaniem i wdrożeniem usług oraz zarządzaniem i monitorowaniem infrastruktury i usług. Głównym aspektem końcowym będzie udostępnienie i sprzedaż usług wykorzystujących dostępną infrastrukturę. Zostanie uwzględniony cały cykl życia usług od ich zdefiniowania i przedstawienia odbiorcom oferty wraz z cennikiem, przez uruchamianie i monitorowanie zamówionych usług, aż do rozliczenia poniesionych kosztów, rezygnacji użytkownika z jej dalszego wykorzystania czy wycofania usługi z oferty infrastruktury.

Zarządzanie infrastrukturą obejmuje też monitorowanie usług pod kątem dostępności i poprawności działania oraz spełniania parametrów zawartych w SLA. W systemach IT o dużej skali i złożoności, jakimi niewątpliwie jest infrastruktura PRACE-LAB, efektywny system monitorowania usług jest elementem niezbędnym dla zapewnienia odpowiednio wysokiego poziomu jakości świadczonych usług w ramach dostarczanych środowisk obliczeniowych. Konieczne staje się rozszerzenie funkcjonalności istniejących systemów monitoringu tak, aby zapewnić administratorom dostęp do pełnego, wieloaspektowego widoku aktualnego stanu nadzorowanych środowisk obliczeniowych HPC.

Zarządzanie tego typu infrastrukturą dotyczy również polityki i procedur związanych z zarządzaniem zasobami. Celem prac tego laboratorium jest też wymiana informacji pomiędzy administratorami poszczególnych ośrodków i wypracowanie zestawu dobrych praktyk i wytycznych do procedur zarządzania infrastrukturą i udostępnionymi usługami.

Laboratorium 4: Laboratorium usług zarządzania danymi

Prace w ramach Laboratorium 4 związane są z wytworzeniem i utrzymaniem elastycznego środowiska przechowywania danych oraz opracowaniem mechanizmów zarządzania danymi w oparciu o obiektowe systemy przechowywania danych. Wykorzystane rozwiązania mają zapewnić efektywny dostęp i składowanie danych oraz eliminację lub przynajmniej ograniczenie wąskich gardeł i punktów nasycenia ścieżki przepływu danych i meta-danych, a także wykluczenia pojedynczych punktów awarii.

Z uwagi na fakt, iż obecnie badania naukowe są w dużej mierze oparte na danych pochodzących z różnych źródeł, konieczne jest rozszerzenie funkcjonalności wykorzystywanych systemów zarządzania danymi. Przede wszystkim chodzi o umożliwienia efektywnego dostępu do danych zarchiwizowanych zarówno przez systemy HPC jak i systemy chmurowe, a także przechowywanych w środowiskach BigData. Taki dostęp i składowanie danych powinny być możliwe poprzez aplikacje webowe. Równocześnie, istotne jest utrzymanie wysokiego poziomu zabezpieczenia trwałości danych i zagwarantowanie długofalowej niezawodności usług składowania i dostępu do danych. Konieczne jest także zapewnienie możliwości odwoływania się do zbiorów danych za pomocą trwałych, niezmiennych w czasie identyfikatorów, niezależnych od fizycznej lokalizacji danych.

Laboratorium 5. Laboratorium zarządzania rozproszonymi danymi
oraz transparentnego dostępu do danych

W ramach Laboratorium 5 prowadzone będą prace nad udostępnieniem odbiorcom specjalizowanych usług dostępu do danych. Obliczenia HPC wymagają danych wejściowych pochodzących z różnych źródeł oraz generują dane wyjściowe wykorzystywane ponownie w procesach przetwarzania. Z jednej strony przetwarzanie danych musi być efektywne a z drugiej transparentne, tak aby użytkownicy systemów HPC mogli zarządzać lokalizacją danych niezależnie od samego procesu przetwarzania. Dane wyjściowe powinny być łatwo transferowalne do prywatnych chmur badaczy Z uwagi na różnorodność danych istotnym jest dostarczenie mechanizmów umożliwiających tworzenie opisów metadanowych specyficznych dla kategorii prowadzonych badań. Dlatego, na bazie wypracowanych rozwiązań (interfejsów) dostarczanych przez Laboratoria 1 i 4 wdrożony zostanie system do zarządzania rozproszonymi danymi oraz transparentnym dostępem do danych w środowiskach geograficznie rozproszonych. Celem wdrożenia jest dostarczenie mechanizmów migracji danych, zarówno tych prywatnych jak i publicznych, zapewniając użytkownikom warstwę umożliwiającą łatwe dostarczanie danych, zarówno tych z góry przeznaczonych do obliczeń, jak i tych które okażą się niezbędne w trakcie obliczeń, inaczej danych uzupełnianych on the fly. Ponadto ważne jest wykorzystanie w sposób transparentny mechanizmów zbierania danych wynikowych oraz zapewnienie możliwości ich łatwej migracji do innych lokalizacji, w tym do środowisk chmurowych.

Laboratorium 6. Laboratorium bezpieczeństwa infrastruktury PRACE-LAB

W ramach Laboratorium 6 prowadzone będą prace związane z przygotowaniem i uruchomieniem wielopoziomowego systemu zapewnienia wysokiego poziomu bezpieczeństwa oraz jego stałego monitorowania na użytek infrastruktury (platformy) PRACE-LAB. Efekty prac będą mogły zostać wykorzystane przez zespoły bezpieczeństwa: lokalne (w ośrodkach HPC i MAN) bądź globalne (np. PIONIER CERT). Opracowane rozwiązania pozwolą na podniesienie poziomu zabezpieczeń infrastruktury i usług poprzez wprowadzenie specjalnych procedur ograniczających prawdopodobieństwo wystąpienia zdarzeń niekorzystnych, opracowanie sposobów skutecznej ochrony przed skutkami po ich zajściu, bądź ograniczanie skutków tego typu zdarzeń.

Prace tego laboratorium będą dotyczyć wszystkich etapów tworzenia platformy PRACE-Lab. Przygotowana zostanie analiza wymagań (obejmująca również niezbędne aspekty prawne), dokona się doboru właściwych rozwiązań zapewniających dostępność, poufność i integralność przetwarzanych danych, a także wdroży odpowiednią kontrolę dostępu. Bieżąca ocena bezpieczeństwa uruchomionej infrastruktury i usług będzie prowadzona na podstawie specjalistycznych danych pochodzących ze zróżnicowanych źródeł, z uwzględnieniem ich wieloaspektowej analizy. W celu zapewnienia bezpieczeństwa projektowanych i wdrażanych elementów infrastruktury i platformy zostaną wprowadzone dodatkowe elementy w cyklu życia realizowanego przedsięwzięcia, tj. audyty bezpieczeństwa infrastruktury i usług, które przeprowadzane będą w ramach prac dotyczących budowy wszystkich laboratoriów dotyczących tego projektu.