Usprawnienia wiodących systemów rekomendacyjnych
Identyfikator grantu: PT01273
Kierownik projektu: Adam Przybyłek
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Gdańsk
Data otwarcia: 2025-05-23
Planowana data zakończenia grantu: 2026-10-23
Streszczenie projektu
Nasze badania dotyczą rozwijania wiodących architektur systemów rekomendacyjnych w dwóch obszarach. W ramach pierwszego kierunku badań usprawnieniamy architekturę do rekomendacji sekwencyjnych. Istniejące modele o najlepszych osiągach uwzględniają tylko jeden typ zachowania (np. tylko zakupy), ignorując inne interakcje (np. polubienia, przeglądanie). Naszym kierunkiem badań jest łączenie informacji o różnych typach zachowań użytkownika i ich kolejności za pomocą mechanizmu self-attention. W ramach badań zamierzamy lepiej odzwierciedlić złożone wzorce zachowań poprzez:
- Lepsze wykorzystanie wag zachowań, w tym ważenie negatywnych przykładów oraz skalowanie wag przez softmax lub normalizację.
- Zaawansowane negatywne próbkowanie, np. metodą hard negative mining.
- Poprawne maskowanie i obsługę paddingu w warstwie samoatencji.
- Zastosowanie dodatkowych cech kontekstowych, takich jak embedding użytkownika.
- Optymalizacja wag zachowań użytkowników, umożliwiająca dynamiczne dostosowanie ich wpływu na rekomendacje na podstawie rzeczywistych interakcji.
- Uwzględnienie kontekstu czasowego, aby rekomendacje lepiej odpowiadały zmieniającym się preferencjom użytkowników w zależności od pory dnia, sezonu czy aktualnych trendów.
Naszym drugim kierunkiem badań jest rozwijanie podejścia do budowy systemów rekomendacyjnych w których macierze wag nie są uczone bezpośrednio jako indywidualne parametry. Zamiast tego, każdemu neuronowi wejściowemu i wyjściowemu przypisywany jest wektor w przestrzeni niskowymiarowej, który można traktować jako jego "pozycję". Waga (czyli siła połączenia) między dwoma neuronami jest obliczana za pomocą funkcji jądra (kernel), zależnej od odległości między tymi pozycjami. Aktualnie poszukujemy konfiguracji, która najlepiej radzi sobie z ekstremalnie rzadkimi macierzami ocen. Zaadaptowaliismy również model do wprowadzenia dodatkowego ograniczenia na rzadkość przestrzeni ukrytej (sparse autoencoder), co powinno przynieść dodatkowe korzyści w przypadku korzystania wyłącznie z części enkodera/dekodera całego modelu. Ponadto bazując na wektorze cech osobowości użytkownika, zamierzamy wygenerować reprezentację w przestrzeni latentnej w stylu metod generatywnej AI, a następnie dekoder przekształci ją w pełną macierz ocen, co pozwoli na rozwiązanie problemu tzw. cold startu w systemach rekomendacji.
- Lepsze wykorzystanie wag zachowań, w tym ważenie negatywnych przykładów oraz skalowanie wag przez softmax lub normalizację.
- Zaawansowane negatywne próbkowanie, np. metodą hard negative mining.
- Poprawne maskowanie i obsługę paddingu w warstwie samoatencji.
- Zastosowanie dodatkowych cech kontekstowych, takich jak embedding użytkownika.
- Optymalizacja wag zachowań użytkowników, umożliwiająca dynamiczne dostosowanie ich wpływu na rekomendacje na podstawie rzeczywistych interakcji.
- Uwzględnienie kontekstu czasowego, aby rekomendacje lepiej odpowiadały zmieniającym się preferencjom użytkowników w zależności od pory dnia, sezonu czy aktualnych trendów.
Naszym drugim kierunkiem badań jest rozwijanie podejścia do budowy systemów rekomendacyjnych w których macierze wag nie są uczone bezpośrednio jako indywidualne parametry. Zamiast tego, każdemu neuronowi wejściowemu i wyjściowemu przypisywany jest wektor w przestrzeni niskowymiarowej, który można traktować jako jego "pozycję". Waga (czyli siła połączenia) między dwoma neuronami jest obliczana za pomocą funkcji jądra (kernel), zależnej od odległości między tymi pozycjami. Aktualnie poszukujemy konfiguracji, która najlepiej radzi sobie z ekstremalnie rzadkimi macierzami ocen. Zaadaptowaliismy również model do wprowadzenia dodatkowego ograniczenia na rzadkość przestrzeni ukrytej (sparse autoencoder), co powinno przynieść dodatkowe korzyści w przypadku korzystania wyłącznie z części enkodera/dekodera całego modelu. Ponadto bazując na wektorze cech osobowości użytkownika, zamierzamy wygenerować reprezentację w przestrzeni latentnej w stylu metod generatywnej AI, a następnie dekoder przekształci ją w pełną macierz ocen, co pozwoli na rozwiązanie problemu tzw. cold startu w systemach rekomendacji.