Analiza osiągów skwantowanych dużych modeli językowych na urządzeniach

Celem pracy jest analiza dokładności, czasu dekodowania oraz czasu pojawienia się pierwszego słowa wybranych skwantowanych dużych modeli językowych (np. LLama 3.1 8B i LLama 3.2 3B) na flagowych smartphonach w wybranych zadaniach. Projekt związany jest z realizacją pracy dyplomowej mojego studenta a rezultaty planujemy dodatkowo opublikować w postaci artykułu naukowego. Nadmieniam, że student przygotował już infrastrukturę do przeprowadzania eksperymentów (w tym zaimplementował aplikacje na smartphona do przeprowadzania testów).