Analiza osiągów skwantowanych dużych modeli językowych na urządzeniach mobilnych
Identyfikator grantu: PT01256
Kierownik projektu: Adam Przybyłek
Realizatorzy:
- Adam Przybyłek
- Dominik Szołoch
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Gdańsk
Data otwarcia: 2025-04-01
Planowana data zakończenia grantu: 2025-10-01
Streszczenie projektu
Celem pracy jest analiza dokładności, czasu dekodowania oraz czasu pojawienia się pierwszego słowa wybranych skwantowanych dużych modeli językowych (np. LLama 3.1 8B i LLama 3.2 3B) na flagowych smartphonach w wybranych zadaniach. Projekt związany jest z realizacją pracy dyplomowej mojego studenta a rezultaty planujemy dodatkowo opublikować w postaci artykułu naukowego. Nadmieniam, że student przygotował już infrastrukturę do przeprowadzania eksperymentów (w tym zaimplementował aplikacje na smartphona do przeprowadzania testów).
KONTAKT
Nasi konsultanci służą pomocą przyszłym i początkującym użytkownikom specjalistycznego oprogramowania zainstalowanego na Komputerach Dużej Mocy w Centrum Informatycznym TASK.
Kontakt w sprawach Komputerów Dużej Mocy, oprogramowania/licencji, grantów obliczeniowych, sprawozdań:
Administratorzy odpowiadają na maile w dni robocze w godzinach 8:00 – 15:00.