Analiza osiągów skwantowanych dużych modeli językowych na urządzeniach mobilnych
Identyfikator grantu: PT01256
Kierownik projektu: Adam Przybyłek
Realizatorzy:
- Dominik Szołoch
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Gdańsk
Data otwarcia: 2025-04-01
Planowana data zakończenia grantu: 2025-10-01
Streszczenie projektu
Celem pracy jest analiza dokładności, czasu dekodowania oraz czasu pojawienia się pierwszego słowa wybranych skwantowanych dużych modeli językowych (np. LLama 3.1 8B i LLama 3.2 3B) na flagowych smartphonach w wybranych zadaniach. Projekt związany jest z realizacją pracy dyplomowej mojego studenta a rezultaty planujemy dodatkowo opublikować w postaci artykułu naukowego. Nadmieniam, że student przygotował już infrastrukturę do przeprowadzania eksperymentów (w tym zaimplementował aplikacje na smartphona do przeprowadzania testów).