Udoskonalenie algorytmów estymacji pozy człowieka 3D dzięki wykorzystaniu informacji o wymiarach ciała
Identyfikator grantu: PT01160
Kierownik projektu: Piotr Szczuko
Realizatorzy:
- Szymon Cyperski
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Gdańsk
Data otwarcia: 2024-04-12
Streszczenie projektu
Estymacja pozy człowieka (ang. human pose estimation, HPE) jest jednym z kluczowych obszarów wizji komputerowej. Jej zadaniem jest identyfikacja sylwetek ludzi na obrazach oraz wyznaczanie dokładnego położenia punktów charakterystycznych tych sylwetek. Standardowe podejścia do estymacji pozy człowieka opierają się głównie na obrazach RGB z uwagi na ich uniwersalność i łatwość akwizycji. Taki format danych wejściowych nie dostarcza jednak pełnej informacji przestrzennej, co prowadzi do niejednoznaczności i stwarza wyzwania dla algorytmów estymujących pozę w przestrzeni trójwymiarowej (w szczególności dla obrazów z nietypowymi pozycjami ułożenia sylwetki).
Celem projektu jest zbadanie możliwości wykorzystania informacji o budowie ciała człowieka jako dodatkowego wejścia do algorytmów estymacji pozy 3D pojedynczej sylwetki, w celu zwiększenia ich dokładności. Przyjęto hipotezę, że wiedza a priori o anatomii osoby znajdującej się na obrazie może poprawić zdolność modelu do prawidłowej interpretacji pozy, zwłaszcza przy pozach odbiegających od standardowych wzorców.
W ramach projektu przewidziano serię eksperymentów mających na celu weryfikację przedstawionej hipotezy. Eksperymenty obejmować będą wprowadzenie modyfikacji do architektur topowych algorytmów estymacji pozy 3D (m.in. MotionBERT, VideoPose3D oraz SIM - wszystkie stanowią czołowe rozwiązania w dziedzinie HPE wg popularnej strony paperswithcode.com), w celu umożliwienia im czerpania dodatkowej wiedzy z informacji o budowie ciała człowieka. Zmodyfikowane modele zostaną wytrenowane i przetestowane na referencyjnych zbiorach danych (Human3.6M oraz Fit3D). Dzięki temu możliwe będzie nie tylko porównanie wyników z modelami bazowymi, ale również zidentyfikowanie mocnych i słabych stron zmodyfikowanych modeli w kontekście różnych wyzwań, takich jak przypadki z niestandardowym ułożeniem ciała.
Oczekiwanym rezultatem projektu jest zwiększenie stanu wiedzy w obszarze estymacji pozy człowieka oraz zaoferowanie nowatorskiego podejścia, które, dzięki zwiększonej dokładności, mogłoby być wykorzystywane w większej liczbie praktycznych zastosowań (np. trening sportowy lub opieka zdrowotna).
Celem projektu jest zbadanie możliwości wykorzystania informacji o budowie ciała człowieka jako dodatkowego wejścia do algorytmów estymacji pozy 3D pojedynczej sylwetki, w celu zwiększenia ich dokładności. Przyjęto hipotezę, że wiedza a priori o anatomii osoby znajdującej się na obrazie może poprawić zdolność modelu do prawidłowej interpretacji pozy, zwłaszcza przy pozach odbiegających od standardowych wzorców.
W ramach projektu przewidziano serię eksperymentów mających na celu weryfikację przedstawionej hipotezy. Eksperymenty obejmować będą wprowadzenie modyfikacji do architektur topowych algorytmów estymacji pozy 3D (m.in. MotionBERT, VideoPose3D oraz SIM - wszystkie stanowią czołowe rozwiązania w dziedzinie HPE wg popularnej strony paperswithcode.com), w celu umożliwienia im czerpania dodatkowej wiedzy z informacji o budowie ciała człowieka. Zmodyfikowane modele zostaną wytrenowane i przetestowane na referencyjnych zbiorach danych (Human3.6M oraz Fit3D). Dzięki temu możliwe będzie nie tylko porównanie wyników z modelami bazowymi, ale również zidentyfikowanie mocnych i słabych stron zmodyfikowanych modeli w kontekście różnych wyzwań, takich jak przypadki z niestandardowym ułożeniem ciała.
Oczekiwanym rezultatem projektu jest zwiększenie stanu wiedzy w obszarze estymacji pozy człowieka oraz zaoferowanie nowatorskiego podejścia, które, dzięki zwiększonej dokładności, mogłoby być wykorzystywane w większej liczbie praktycznych zastosowań (np. trening sportowy lub opieka zdrowotna).