Dostosowanie i porównanie trafności LLMów w kontekście udzielania odpowiedzi na pytania z obszaru funkcjonowania infrastruktury IT
Identyfikator grantu: PT01176
Kierownik projektu: Andrzej Sobecki
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Gdańsk
Data otwarcia: 2024-07-04
Streszczenie projektu
Projekt obejmuje prace badawcze w zakresie możliwości zastosowania istniejących LLM, w tym modeli dedykowanych dla języka polskiego. Ze względu na brak powszechnie dostępnych datasetów w języku polskim, zawierającym konwersację, niemożliwe było dotychczas zbadanie możliwości douczenia i zastosowania modeli LLM do udzielania odpowiedzi na zagadnienia w obszarze funkcjonowania infrastruktury IT. Zespół posiada takie datasety, które obejmują ok. 22000 pytań i ok. 100 000 konwersacji dotyczących udzielenia odpowiedzi na zadanie pytania. Do każdej z odpowiedzi zespół posiada linkowania do artykułów z bazy wiedzy, które mogą wzbogacić automatycznie generowaną odpowiedź.
Badania mają potwierdzić lub wykluczyć możliwość zastosowania konkretnych modeli do udzielania wiarygodnych odpowiedzi na zadawane w języku polskim pytania techniczne. Istotnym utrudnieniem dla procesu fine-tuningu jest konieczność zawężania odpowiedzi do możliwości i ustawień infrastruktury wewnątrz określonej organizacji. Ponadto część odpowiedzi wymaga uwzględnienia kontekstu, w tym m.in. stanowiska zajmowanego przez użytkownika czy budynku, w którym realizuje on swoje zadania.
Docelowo badania odpowiedzą na pytanie czy ogólne modele trenowane głównie na tekstach angielskich oferują jednakowy poziom obsługi jak modele dedykowane dla języka polskiego np. Qra.
Badania mają potwierdzić lub wykluczyć możliwość zastosowania konkretnych modeli do udzielania wiarygodnych odpowiedzi na zadawane w języku polskim pytania techniczne. Istotnym utrudnieniem dla procesu fine-tuningu jest konieczność zawężania odpowiedzi do możliwości i ustawień infrastruktury wewnątrz określonej organizacji. Ponadto część odpowiedzi wymaga uwzględnienia kontekstu, w tym m.in. stanowiska zajmowanego przez użytkownika czy budynku, w którym realizuje on swoje zadania.
Docelowo badania odpowiedzą na pytanie czy ogólne modele trenowane głównie na tekstach angielskich oferują jednakowy poziom obsługi jak modele dedykowane dla języka polskiego np. Qra.