Opracowanie wielozadaniowych sieci neuronowych dla przetwarzania i analizy sekwencji wideo
Identyfikator grantu: PT01181
Kierownik projektu: Daniel Węsierski
Realizatorzy:
- Piotr Kopa Ostrowski
- Emilia Lewandowska
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Gdańsk
Data otwarcia: 2024-08-13
Streszczenie projektu
Sztuczna inteligencja oparta o głębokie sieci neuronowe zaczęła odgrywać kluczową rolę w wielu dziedzinach, takich jak rozpoznawanie obrazów, przetwarzanie języka naturalnego czy rozpoznawanie mowy. Jednak większość istniejących sieci neuronowych jest projektowana do rozwiązywania jednego konkretnego zadania. Naszym celem badawczym jest opracowanie i badanie własności architektur wielozadaniowych sieci neuronowych, które będą zdolne do jednoczesnego rozwiązywania różnorodnych zadań wizyjnych, i wykorzystanie ich m.in. do zwiększenia skuteczności sieci w uczeniu z małej liczby danych, zaszumionych danych i etykiet uczących, oraz przy braku etykiet uczących z wybranego zadania.
Opracowanie innowacyjnych architektur sieci neuronowych, które będą zdolne do realizacji wielu zadań jednocześnie, będzie wymagało poznania mechanizmów synergii między zadaniami. Modelowanie optymalnych układów interakcji pomiędzy zadaniami pozwoli nie tylko na optymalne wykorzystanie parametrów modeli sieci neuronowych, lecz również powinno przełożyć się większą skuteczność w rozwiązywaniu zadań, których wyjściowe informacje wpływają na siebie podczas inferencji.
Wykorzystanie synergii zadań podczas inferencji opiera się jednakże nie tylko na optymalnych architekturach. Choć wykorzystanie synergii jest pożądane, to trenowanie sieci neuronowych z zachowaniem synergii zadań jest dużym wyzwaniem. Należy zauważyć, że podczas trenowania wielozadaniowej sieci neuronowej wyjściowe informacje są niepewne i zaszumione, ponieważ sieć neuronowa dopiero uczy się je wytwarzać zgodnie z wybranymi kryteriami funkcji straty. Dlatego też należy opracować algorytmy uczące, które będą kwantyfikować niepewność każdej informacji wyjściowej i stosownie przesyłać ją w układzie interakcji pomiędzy zadaniami.
Ponadto, w każdej wielozadaniowej sieci neuronowej, zadania rywalizują ze sobą o zasoby współdzielonych parametrów modelu. Podczas fazy treningowej przejawem tego zjawiska jest występowanie konfliktów gradientów pomiędzy różnymi zadaniami, które zależą m.in. od wagi każdego zadania w trakcie uczenia. Aby uzyskać optymalną synergię pomiędzy zadaniami i tym samym zmaksymalizować ich skuteczność, należy wykorzystać informacje o konfliktach gradientów jako wskazówek do poprawy synergii. Ta tematyka badawcza aktualnie rozwija się intensywnie, lecz wciąż związane z nią zagadnienia pozostają otwarte.
Opracowanie innowacyjnych architektur sieci neuronowych, które będą zdolne do realizacji wielu zadań jednocześnie, będzie wymagało poznania mechanizmów synergii między zadaniami. Modelowanie optymalnych układów interakcji pomiędzy zadaniami pozwoli nie tylko na optymalne wykorzystanie parametrów modeli sieci neuronowych, lecz również powinno przełożyć się większą skuteczność w rozwiązywaniu zadań, których wyjściowe informacje wpływają na siebie podczas inferencji.
Wykorzystanie synergii zadań podczas inferencji opiera się jednakże nie tylko na optymalnych architekturach. Choć wykorzystanie synergii jest pożądane, to trenowanie sieci neuronowych z zachowaniem synergii zadań jest dużym wyzwaniem. Należy zauważyć, że podczas trenowania wielozadaniowej sieci neuronowej wyjściowe informacje są niepewne i zaszumione, ponieważ sieć neuronowa dopiero uczy się je wytwarzać zgodnie z wybranymi kryteriami funkcji straty. Dlatego też należy opracować algorytmy uczące, które będą kwantyfikować niepewność każdej informacji wyjściowej i stosownie przesyłać ją w układzie interakcji pomiędzy zadaniami.
Ponadto, w każdej wielozadaniowej sieci neuronowej, zadania rywalizują ze sobą o zasoby współdzielonych parametrów modelu. Podczas fazy treningowej przejawem tego zjawiska jest występowanie konfliktów gradientów pomiędzy różnymi zadaniami, które zależą m.in. od wagi każdego zadania w trakcie uczenia. Aby uzyskać optymalną synergię pomiędzy zadaniami i tym samym zmaksymalizować ich skuteczność, należy wykorzystać informacje o konfliktach gradientów jako wskazówek do poprawy synergii. Ta tematyka badawcza aktualnie rozwija się intensywnie, lecz wciąż związane z nią zagadnienia pozostają otwarte.