Analiza osiągów skwantowanych dużych modeli językowych na urządzeniach mobilnych
grant ID: PT01256
Project leader: Adam Przybyłek
Implementers:
- Adam Przybyłek
- Dominik Szołoch
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Gdańsk
Start date: 2025-04-01
Planned end date: 2025-10-01
Project summary
Celem pracy jest analiza dokładności, czasu dekodowania oraz czasu pojawienia się pierwszego słowa wybranych skwantowanych dużych modeli językowych (np. LLama 3.1 8B i LLama 3.2 3B) na flagowych smartphonach w wybranych zadaniach. Projekt związany jest z realizacją pracy dyplomowej mojego studenta a rezultaty planujemy dodatkowo opublikować w postaci artykułu naukowego. Nadmieniam, że student przygotował już infrastrukturę do przeprowadzania eksperymentów (w tym zaimplementował aplikacje na smartphona do przeprowadzania testów).
CONTACT
Our consultants help future and novice users of specialized software installed on High Performance Computers (KDM) at the TASK IT Center.
Contact for High Performance Computers, software / licenses, computing grants, reports:
Administrators reply to e-mails on working days between 8:00 am – 3:00 pm.