Tor transmisyjny dla sieciowych wykonań muzycznych (NMP) z wielokanałowym dźwiękiem

Projekt dotyczy toru transmisyjnego dla sieciowych wykonań muzycznych (ang. Networked Music Performance) z wielokanałowym dźwiękiem przestrzennym/immersyjnym: przechwytywania ambisonii wysokich rzędów, jej kodowania, przesyłu w czasie rzeczywistym oraz renderowania binauralnego po stronie odbiorcy. Punktem wyjścia jest tor transmisyjny opisany w publikacji konferencyjnej Audio Engineering Society (Mróz i in., AES International Conference on Spatial and Immersive Audio 2023, http://www.aes.org/e-lib/browse.cfm?elib=22204), rozwijany dalej jako otwartoźródłowe, kontenerowe środowisko badawcze.

Dalsze kierunki badawcze obejmują: interoperacyjność kodowania i dekodowania wielokanałowego dźwięku przestrzennego (Opus, wielokanałowe mapowanie kanałów) pomiędzy platformami i przeglądarkami internetowymi, w tym rozbieżności między silnikami przeglądarek ujawniane w toku prac i zgłaszane producentom; synchronizację audio-wideo w transmisji strumieniowej opartej o adaptacyjne strumieniowanie (DASH); wybieralny rząd ambisonii oraz wybieralne funkcje HRTF jako mechanizmy redukcji kosztu obliczeniowego i personalizacji odsłuchu binauralnego; a także rozszerzenie o obraz stereoskopowy (VR180/VR360) jako rozwinięcie istniejącego potoku renderowania obrazu sferycznego. Wyniki tych prac będą publikowane oraz, w przypadku rozbieżności międzyplatformowych, zgłaszane jako raporty interoperacyjności właściwym producentom i organizacjom standaryzacyjnym.