Metody integracji obrazu i opisów radiologicznych do poprawy skuteczności lokalizowania obszarów patologicznych w tomografii komputerowej

Grant jest częścią rozprawy doktorskiej której celem jest wykorzystanie metod sztucznej inteligencji do poprawy jakości wskazywania lokalizacji zmian patologicznych w istniejącym systemie do klasyfikacji zmian na obrazach TK głowy. Poprawa ma zostać osiągnięta poprzez wykorzystanie w procesie tworzenia algorytmu uczenia maszynowego informacji zawartych w opisach radiologicznych, związanych z lokalizacją oraz wielkością poszczególnych ognisk patologicznych. Prace zakładają wykorzystanie tych informacji w dwóch różnych podejściach. Pierwsze podejście zakłada stworzenie metody tworzenia etykiet i wykorzystaniu ich do treningu nadzorowanego. Zostanie to osiągnięte poprzez ekstrakcję danych z opisów tekstowych za pomocą modeli głębokich i ich rzutowanie na trójwymiarowe atlasy anatomiczne mózgu, co pozwoli na stworzenie precyzyjnych map referencyjnych dla algorytmu. Drugie podejście będzie oparte o nowoczesne metody uczenia łączonego tekstu i obrazu. Zastosowanie architektury typu transformer oraz mechanizmów uwagi umożliwi systemowi samodzielne budowanie relacji semantycznych między konkretnymi sformułowaniami w raporcie radiologicznym, a odpowiadającymi im obszarami w obrazie TK.

Wdrożenie wyników prac badawczych pozwoli na zwiększenie wiarygodności klinicznej istniejącego systemu. Precyzyjna lokalizacja zmian, wspierana przez tekstową wiedzę ekspercką, zminimalizuje ryzyko błędów diagnostycznych oraz zwiększy zrozumienie decyzji podejmowanych przez system.