Projekt CK STOS

Projekt CK STOS (Centrum Kompetencji - Sprytne Trandyscyplinarne Oparte na wiedzy uSługi przetwarzania danych) zakładał realizację dwóch podstawowych celów: inwestycyjnego oraz badawczo-rozwojowego. Obszary działalności tego projektu przedstawia rys. 1.  Cel inwestycyjny związany był z budową  budynku dla  Centrum Informatycznego Trójmiejskiej Akademickiej Sieci Komputerowej (CI TASK).  Prace badawczo rozwojowe  dotyczyły utworzenia centrum kompetencji nowoczesnych technologii: Obliczeń wielkoskalowych (HPC – High Performance Computing), Chmury Obliczeniowej (CC – Cloud Computing), Internetu Rzeczy (IoT – Internet of Things), Ogromnych Zbiorów Danych (Big Data) oraz Sztucznej Inteligencji (AI – Artificial Intelligence). Będą one rozwijane nadal w okresie trwałości projektu. Dzięki powstaniu nowoczesnej i bezpiecznej serwerowni jest możliwość instalowania serwerów obliczeniowych oraz systemów dyskowych do gromadzenia i analizy różnego typu danych, w tym intradyscyplinarnych. Rozwijana jest metoda wytwarzania usług chmurowych  typu SMART, zorientowanych na potrzeby nauki jak też gospodarki, administracji czy biznesu wykorzystujących sztuczną inteligencję. Poza tym wzrosła przepustowość sieci akademickiej TASK oraz szybkość obliczeń wielkoskalowych, zwiększono zasoby rozwijanej chmury obliczeniowej TASKcloud, a także powstały tzw. żywe laboratoria w ramach różnych projektów realizowanych w CI TASK.

Inwestycja CK STOS

Budynek CK STOS zaplanowano jako wolnostojącą dwuczęściową bryłę o powierzchni ok 12 tys. m². Rozwiązania techniczne są innowacyjne i całkowicie unikatowe w skali kraju, zarówno w zakresie samej infrastruktury budowlanej i przyjętych rozwiązań technicznych i technologicznych (systemy zasilania, chłodzenia, gaszenia). Zapewnia się między innymi odzysk ciepła z instalacji chłodu wykorzystywany do ogrzania budynku za pomocą pomp ciepła. Budynek spełnia jedne z najwyższych standardów serwerowni, pozwalający na uzyskanie certyfikacji zgodnie z Uptime Institute Tier III. 

W budynku znajduje się 7 komór serwerowych o łącznej powierzchni 1400 m2. Największa komora (400 m2) nazywana jest bunkrem ze względu na wyposażenie w klatkę Faradaya, nieprzepuszczającą fal elektromagnetycznych. W komorach jest miejsce na ok. 300 szaf, co daje potencjalnie możliwość umieszczenia ok. 15000 serwerów. Komory serwerowe są zasilane innowacyjnym i pierwszym w Europie stałoprądowym systemem zasilania o napięciu 400 V. Każda komora oraz wszystkie pomieszczenia techniczne są wyposażone w system gaszenia mgłą wodną wysokociśnieniową. 

Rys. 1 Obszary działalności związane z projektem CK STOS

System zasilania jest podzielony na dwa w pełni niezależne tory z niezależnymi źródłami zasilania i składa się  z:
- 2 transformatorów po 2,5 MVA (2 MW) każdy,
- 2 generatorów prądotwórczych po 2,7 MVA (2,2 MW) każdy,
- układu paliwowego ze zbiornikami paliwa o pojemności prawie 35 tysięcy litrów oracz czasem działania ograniczonym tylko dostawami paliwa,
- prawie 800 akumulatorów zapewniających podtrzymanie przez 10 minut przy pełnym obciążeniu do czasu uruchomienia generatora (startują w 20 sekund).
System chłodzący komór serwerowych to ponad 1 kilometr rur, w których jest ok 50 tysięcy litrów glikolu oraz 100 tysięcy litrów wody. Sercem systemu są 4 agregaty wody lodowej pracujące w trybie 3+1 oraz dwie sekcje pomp obiegowych pracujących w trybie 2+1. System składa się z 4 pomp generujących ciśnienie 140 barów. Zbiornik na wodę techniczną ma pojemność 32 tysięcy litrów.
Jako ciekawostkę można podać, że  do budowy tego budynku zużyto 11 tys. m3 betonu oraz 1 250 ton stali,   w budynku znajduje się 2,5 tys. gniazd internetowych, do podłączenia których wykorzystano 100 km kabla,  system DCIM/BMS monitoruje wszystkie urządzenia i parametry obiektu, na które składa się  około 11 tys. zmiennych (np. temperatury w komorach, czujniki zalania, czujniki położenia włączników), poza tym  obiekt jest monitorowany przez 140 kamer. 

Centrum powstało w oparciu o założenia Green Computing, tak, by maksymalnie ograniczyć wpływ działań IT na środowisko, ale jednocześnie podnieść wydajność energetyczną infrastruktury technicznej.

Obszary badawczo-rozwojowe

Istotną innowacyjnością badań B+R jest metodologia wytwarzania usług SMART, zorientowanych na analizę ogromnych zbiorów danych transdyscyplinarnch. Problemy multidyscyplinarne dotyczą całego zakresu badań związanych z jedną lub wieloma dyscyplinami nauki, przy czym badania te są ze sobą luźno powiązane. Z kolei badania interdyscyplinarne i transdyscyplinarne akcentują wysoki stopień zależności wyników badań, odpowiednio w jednej, jak i w wielu dyscyplinach nauki. Warto podkreślić, że integracja kluczowych technologii wymaga również takiego podejścia transdyscyplinarnego. Przykładem może być rozwiązywanie problemów służby zdrowia, które wymagają uwzględnienia postępu nie tylko w medycynie, ale również w takich naukach jak: informatyka, ekonomia czy zarzadzanie. Zalety podejścia są następujące:

• Bliskość realnych, życiowych problemów,
• Łatwość adaptacji do praktyki,
• Integracja badaczy z różnych dziedzin pomimo różnorodności pojęć – ich znaczenia i złożoności opisu,
• Możliwość rozwiązywania skomplikowanych problemów przy wykorzystaniu obliczeń wielkiej skali,
• Rozumienie świata jako całości.

Takie podejście sprzyja też nawiązywaniu współpracy między nauką i biznesem. Stosowana idea jest prezentowana na rys. 2. 

Rys. 2 Metoda analizy i wykorzystania danych interdyscyplinarnych i transdyscyplinarnych

Mamy obecnie niezliczoną ilość zbiorów danych przechowywanych w różnych repozytoriach czy bazach danych. Bardzo istotnym źródłem danych są obecnie wszelkiego typu rozwiązania IoT lub IoE (Internet of Everythings), dzięki którym liczba gromadzonych danych stale wzrasta. Na ogół dane są przetwarzane w chmurach obliczeniowych, w przypadku CI TASK jest to chmura TASKcloud, ciągle rozwijana na bazie otwartego oprogramowania OpenStack oraz Kubernetes. Popularne technologie Big Data oferują z kolei takie platformy jak: Jupiter, Hadoop czy Spark; bazy np. SQL (magazyny) typu Cassandra czy Mango DB; strumieniowe przetwarzanie danych Kafka czy Flink; czy wsparcie uczenia maszynowego: Keros czy Tensorflow. Istotna jest też wizualizacja analizowanych danych, która ułatwia ich zrozumienie oraz upraszcza interpretację. Głównym celem przetwarzania jest więc wydobycie odpowiedniej wiedzy, przy wykorzystaniu  algorytmów analizy danych masowych oraz sztucznej inteligencji. Na ogół takie algorytmy są dostępne w postaci usług chmurowych. Dlatego tak istotne jest wypracowywanie współczesnych metod inżynierii oprogramowania, w tym rozwoju metodologii SOSE (Service Oriented Software Engineering) umożliwiających skuteczne projektowanie i wytwarzanie takich usług (np. metoda DevOps+AI). Tego typu metodyka prowadzi do rozwoju usług typu SMART i pozwala również na   budowę inteligentnych scenariuszy realizacji przedsięwzięć złożonych z oferowanych usług chmurowych.  Są to główne kompetencje CK STOS. 

Wytwarzane usługi chmurowe wykorzystują wiedzę z różnych, nawet odległych od siebie dziedzin badawczych oraz inteligentnie reagują na zmiany kontekstu. Akronim SMART definiuje cechy charakterystyczne, takie jak:

• S określa usługi „Samodoskonalące się”, tzn. adaptujące się do zmieniających się warunków otoczenia;
• M wskazuje na usługi „Maksymalnie wydajne i bezpieczne”, zapewniające możliwość efektywnego (HPC) i wiarygodnego działania w czasie rzeczywistym;
• A oznacza usługi „Analizujące ogromne zbiory danych”;
• R to dodatkowy aspekt usług, „Rozwijające nową wiedzę”;
• T podkreśla aspekt praktyczny – „Tworzone na potrzeby użytkowników”.

Spełnienie powyższych wymagań zapewnia szeroką użyteczność usług SMART w wielu dziedzinach nauki i techniki jak również usprawnienia życia ludzkiego. 

Przykłady usług i aplikacji

Rozwijane są bazowe usługi SMART i aplikacje złożone z tych  usług w różnych obszarach: morskim (wyznaczanie trasy żeglugi), medycznym (wspomaganie rozpoznawania zmian chorobowych) i społecznych (metody podejmowania decyzji w zespołach wirtualnych). Poniżej zaprezentowane zostaną dwa przykłady: jeden ze świata mikro (komputerowe badania dużych układów biologicznych - modelowanie oddziaływanie wirusa na białko), drugi ze świata makro (analiza rozwoju epidemii COVID-19 z w różnych regionach Polski - metody big data). 

Przy modelowaniu systemów biologicznych głównym zadaniem jest dostosowanie i zoptymalizowanie istniejącego już programu UNRES, który wykorzystywany jest do badania dynamiki molekularnej układów białkowych. Wyróżnia się dwa podejścia:

• optymalizacja kodu pod kątem zrównoleglenia przy wykorzystaniu biblioteki OpenMP,
• przeniesienie programu do środowiska  działającego na kartach graficznych (GPU). 

 W CI TASK w ramach CK STOS wykorzystano te dwa podejścia. Zwiększając szybkość obliczeń 800 razy. Dzięki przyjętym rozwiązaniom otrzymano nowe możliwości analizy układów biologicznych, między innymi: 

• badanie układów złożonych z ponad 200 tysięcy reszt aminokwasów, w skali czasowej micro sekundowej,
• badanie dynamiki kapsydu różnych szczepów Norowirusa, pozwalające na badanie wpływu różnych jego mutacji.

Rysunek 3 ilustruje jeden z wyników uzyskanych podczas takich symulacji. Jest to przekrój otoczki białkowej (kapsydu) norowirusa, składającego się z 180 łańcuchów. 

Rys. 3 Wynik symulacji reakcji wirusa z białkiem

Łańcuchy te zostały pokolorowane w zależności od ruchów jakie wykonują względem siebie, czerwone obszary ruszają się razem (we wspólnym kierunku) a pokolorowane na niebiesko w kierunku przeciwnym. Odcienie tych kolorów wskazują na stopień korelacji. Symulacja ta przedstawia jak założone i skoordynowane są ruchy kapsydu by mógł on być w pełni funkcjonalny. Oznacza to zdolności kapsydu do przyłączenia się i wniknięcia do komórki gospodarza oraz rozpadu w odpowiednim momencie.

Inną przedstawioną poniżej aplikacją jest wykorzystująca rozproszone i różne zbiory danych, z jednej strony dane o COVID-19, z drugiej zaś o cechach związanych z funkcjonowaniem  różnych regionów Polski. Głównym zadaniem było:

• Wybór parametrów opisujących epidemię COVID-19 (szybkość wzrostu zachorowań, konieczność leczenia szpitalnego, śmiertelność) oraz charakterystyk specyficznych dla regionu: gęstość zaludnienia, typ gospodarki, poziom technologicznego rozwoju, aktywność społeczna, procent osób zaszczepionych, itp., 
• Wykorzystanie technologii Big Data do zebrania wymaganych danych z różnych źródeł do utworzenia ujednoliconego (pod względem standardów)  repozytorium danych w chmurze obliczeniowej TASKCloud umożliwiających ich dalszą analizę,
• Projekt i implementacja usług badających korelacje między parametrami epidemii COVID-19 oraz parametrami charakterystyk opisujących  regiony. Sformułowanie zasad rozwoju epidemii w poszczególnych regionach.

Przykład takiej analizy podaje rys. 4 gdzie zamieszczono analizę korelacji pomiędzy gęstością zaludnienia, a liczbą przypadków wirusa COVID-19 zarejestrowanych dla poszczególnych województw w funkcji czasu. Wyróżniono trzy pola w których mogą się znaleźć wyniki (linia złożona z kropek). Postawiona  hipoteza będzie prawdziwa, gdy wyniki utrzymywać się będą w polu zielonym. Takie szerokie podejście umożliwia  całościowe spojrzenie na problematykę całego regionu, czy działającej w nim społeczności. Tego typu informacje umożliwiają również podjęcie racjonalnych kroków przeciwdziałania wirusowi. 

Rys. 4 Przykład badania relacji pomiędzy parametrami COVID-19 a charakterystyką województwa

Żywe laboratoria

Przedstawione powyżej badania są interdyscyplinarne czy transdyscyplinarne, które nie mogą zaistnieć bez współpracy wielu ekspertów z różnych dziedzin. Taka współpraca jest możliwa przez tworzenie tzw. żywych laboratoriów (living labs). Na rys. 5 podano ogólną koncepcję funkcjonowania takich laboratoriów. Owalami oznaczono aktorów biorących udział w takiej współpracy, zaś prostokątami czynniki wpływające na proces wypracowywania rozwiązań.   W funkcjonującym CK STOS zlokalizowanym w CI TASK istnieją przestrzenie na organizację takich laboratoriów.  Co więcej w części serwerowej znajduje się znajduje „bunkier” do gromadzenia bardzo ciekawych i ważnych danych oraz 

Rys. 5 Schemat przedstawiający funkcjonowanie żywego laboratorium

pojawiają się superkomputery o coraz większej mocy obliczeniowej, zdolne do przetwarzania coraz bardziej złożonych  danych oraz budowy inteligentnych usług do wykrywania nieznanych relacji występujących między nimi. Takie relacje stanowią cenną wiedzę, przydatną zarówno w skali lokalnej jak i globalnej.  Każdy kto posiada głęboką wiedzę (nie tylko w swojej głowie) i potrafi ją trafnie wykorzystać w dobrych intencjach jest człowiekiem mądrym. To stwierdzenie stymulowało  budowę centrum kompetencji STOS, które staje się  pomocne przy wydobywaniu  i  rozwijaniu wiedzy, ale też przyczynia się do  określenia zasad  jak tą wiedzę  zagospodarować przy rozwiązywaniu złożonych problemów. Zatem CK STOS w CI TASK będzie przyczyniać się również do kształcenia ludzi mądrych, tak przydatnych każdej społeczności. 

Prof. dr hab. inż. Henryk Krawczyk

Tytuł zawodowy i wszystkie stopnie i tytuły naukowe uzyskał w zakresie informatyki na wydz. ETI, Politechnika Gdańska (PG). Wypromował 27 doktorów. Jest członkiem  korespondentem PAN  od roku 2007. Odbywał staże na uczelniach: Bristol University. Autonomous University of Barcelona, Nova University of Lisbon, Bari University oraz New Hampshire University. Dziekan Wydz. Elektroniki, Telekomunikacji i Informatyki w latach: 1990-1996, 2002-2008; rektor PG: w latach 2008-2016. Przedstawiciel Polski w organizacji IFIP/IFAC 2005-2011. Czł. Rady Naukowej Instytutu Podstaw Informatyki PAN 2004-2016; wiceprzewodniczący Komitetu Informatyki PAN, 1993-2014. Członek Komitetu Monitorującego Programu Operacyjnego Polska Cyfrowa 2010-2016. Kierownik Centrum Doskonałości Naukowej   Infrastruktury Wytwarzania Aplikacji od 2014-2021; kierownik Centrum Kompetencji Smart Transdiscyplinary knOwlegde Services (CK STOS) od 2017. Dyrektor Centrum Informatyki Trójmiejskiej Akademickiej Sieci Komputerowej od 2016.

Autor/współautor kilku monografii oraz ponad 300 publikacji  krajowych i zagranicznych, w tym  wydanych w IEEE Transaction on Computers, Future Generation Computer Systems,  IEEE Security and Privacy, Archives of Control Sciences, Bioinformatics. Kilkukrotny  laureat nagrody Ministra  za osiągnięcia  organizacyjne  i naukowe. W badaniach zajmuje się zagadnieniami wiarygodności i bezpieczeństwa systemów rozproszonych, inżynierią oprogramowania dla zastosowań chmurowych, bezpieczeństwem usług internetowych oraz informatycznymi modelami intuicji. Współprojektant między innymi superkomputerowej platformy kontekstowej analizy strumieni danych multimedialnych do identyfikacji wyspecyfikowanych obiektów lub niebezpiecznych zdarzeń, czy komponentu rekomendacji dla inteligentnych chmur obliczeniowych. 

(Tekst, rysunki, zdjęcia: zasoby własne -  kierownik projektu: prof. dr hab. inż. Henryk Krawczyk)