Auf dem zweiten VR Ecosystems & Standards Workshop „Immersive Media Meets 5G“, der von dem 3rd Generation Partnership Project (3GPP), dem VR Industry Forum (VRIF) und der Advanced Imaging Society (AIS) organisiert wurde, präsentierte Gurdeep Singh Bhullar, Forscher am Fraunhofer Heinrich-Hertz-Institut HHI, VR 360 Video Streaming für 5G. 3GPP hat Ende letzten Jahres die Spezifikation TS 26.118 zur Übertragung von 360-Grad-Videostreaming über 5G-Netzwerke verabschiedet. Die Demo des Fraunhofer HHI zeigt die erste Implementierung des „Advanced Video Media Profile“ aus der TS 26.118 für hochqualitatives VR Video Streaming in einer standardkonformen HTML5-Browserimplementierung.
VR bietet die Möglichkeit, in einem virtuellen Raum präsent zu sein, der durch die Wiedergabe von natürlichem oder synthetischem Bild und Ton entsteht. Um ein einheitliches Format zu erstellen, wurden in der 3GPP-Spezifikation TS 26.118 eine Reihe von VR-Video- und Audio-Profilen und deren Zuordnung zum „Dynamic Adaptive Streaming over HTTP“ (DASH) festgelegt. Es ist die erste Spezifikation von VR, die 360-Grad-Video-Streaming über 5G-Netzwerke ermöglicht und sich dabei auf mehrere in ISO/IEC 23090-2 spezifizierte Technologien stützt, auch bekannt als MPEG-OMAF. Der MPEG-OMAF-Standard ist der erste internationale Standard für die Speicherung und Verteilung von 360-Grad-Inhalten, an dessen Entwicklung die Abteilung „Videokodierung und Maschinelles Lernen“ am Fraunhofer HHI maßgeblich beteiligt war. MPEG-OMAF spezifiziert das tile-basierte Streaming (dt. kachelbasiert) von 360-Grad-Videos, wodurch eine deutlich höhere Auflösung am Endgerät erreicht wird. Der MPEG-OMAF Standard ermöglicht es, HEVC-Kachelströme so zu verpacken, dass der Empfänger, z. B. eine VR-Brille, ein TV-Bildschirm oder ein Webbrowser, die hochaufgelösten Tiles für das Ansichtsfenster des Benutzers und die niedrigaufgelösten Tiles für die sich außerhalb des Sichtfeldes befindenden Bereiche anfordern kann. Die Tiles werden zu einem einzigen HEVC-konformen Videostrom zusammengefasst und mit einem Hardware-Videodecoder auf dem Endgerät decodiert.
Die von den Fraunhofer HHI-Forschern Dimitri Podborski, Jangwoo Son und Gurdeep Singh Bhullar entwickelte Demo „Virtual Reality for 5G: 3GPP and OMAF compliant HTML5 MSE Playback of 360 VR Tiled Streaming“ zeigt die JavaScript Implementierung des „Advanced Video Media Profile“ von TS 26.118. Die Implementierung wird im Safari-Browser mit Unterstützung von HEVC Video durch die HTML5 MSE API und WebGL API für das Rendering demonstriert. Die Demo zeigt die Integration des „Advanced Video Media Profile“ in einem normalen Browser Framework. Am 15. April hat das Fraunhofer HHI auch den kompletten JavaScript-Quellcode auf GitHub veröffentlicht. Neben dem JavaScript Player enthält das GitHub-Repository Details, wie mit Hilfe von frei verfügbaren Open-Source-Tools standardkonforme Inhalte erzeugt werden können.
Gurdeep Singh Bhullar, Forscher in der Abteilung Videokodierung und Maschinelles Lernen am Fraunhofer HHI, präsentierte die Demo auf dem Workshop „Immersive Media Meets 5G“, der vom 15. bis 16. April 2019 bei Sony Pictures Entertainment in Culver City, Kalifornien, USA, stattfand. Der Workshop konzentriert sich auf immersive Formate und Dienste der nächsten Generation, einschließlich Virtual, Augmented & Mixed Reality, und möchte die Anwendungsmöglichkeiten von 5G durch immersive Dienste sowie deren Anforderungen untersuchen.
VR bietet die Möglichkeit, in einem virtuellen Raum präsent zu sein, der durch die Wiedergabe von natürlichem oder synthetischem Bild und Ton entsteht. Um ein einheitliches Format zu erstellen, wurden in der 3GPP-Spezifikation TS 26.118 eine Reihe von VR-Video- und Audio-Profilen und deren Zuordnung zum „Dynamic Adaptive Streaming over HTTP“ (DASH) festgelegt. Es ist die erste Spezifikation von VR, die 360-Grad-Video-Streaming über 5G-Netzwerke ermöglicht und sich dabei auf mehrere in ISO/IEC 23090-2 spezifizierte Technologien stützt, auch bekannt als MPEG-OMAF. Der MPEG-OMAF-Standard ist der erste internationale Standard für die Speicherung und Verteilung von 360-Grad-Inhalten, an dessen Entwicklung die Abteilung „Videokodierung und Maschinelles Lernen“ am Fraunhofer HHI maßgeblich beteiligt war. MPEG-OMAF spezifiziert das tile-basierte Streaming (dt. kachelbasiert) von 360-Grad-Videos, wodurch eine deutlich höhere Auflösung am Endgerät erreicht wird. Der MPEG-OMAF Standard ermöglicht es, HEVC-Kachelströme so zu verpacken, dass der Empfänger, z. B. eine VR-Brille, ein TV-Bildschirm oder ein Webbrowser, die hochaufgelösten Tiles für das Ansichtsfenster des Benutzers und die niedrigaufgelösten Tiles für die sich außerhalb des Sichtfeldes befindenden Bereiche anfordern kann. Die Tiles werden zu einem einzigen HEVC-konformen Videostrom zusammengefasst und mit einem Hardware-Videodecoder auf dem Endgerät decodiert.
Die von den Fraunhofer HHI-Forschern Dimitri Podborski, Jangwoo Son und Gurdeep Singh Bhullar entwickelte Demo „Virtual Reality for 5G: 3GPP and OMAF compliant HTML5 MSE Playback of 360 VR Tiled Streaming“ zeigt die JavaScript Implementierung des „Advanced Video Media Profile“ von TS 26.118. Die Implementierung wird im Safari-Browser mit Unterstützung von HEVC Video durch die HTML5 MSE API und WebGL API für das Rendering demonstriert. Die Demo zeigt die Integration des „Advanced Video Media Profile“ in einem normalen Browser Framework. Am 15. April hat das Fraunhofer HHI auch den kompletten JavaScript-Quellcode auf GitHub veröffentlicht. Neben dem JavaScript Player enthält das GitHub-Repository Details, wie mit Hilfe von frei verfügbaren Open-Source-Tools standardkonforme Inhalte erzeugt werden können.
Gurdeep Singh Bhullar, Forscher in der Abteilung Videokodierung und Maschinelles Lernen am Fraunhofer HHI, präsentierte die Demo auf dem Workshop „Immersive Media Meets 5G“, der vom 15. bis 16. April 2019 bei Sony Pictures Entertainment in Culver City, Kalifornien, USA, stattfand. Der Workshop konzentriert sich auf immersive Formate und Dienste der nächsten Generation, einschließlich Virtual, Augmented & Mixed Reality, und möchte die Anwendungsmöglichkeiten von 5G durch immersive Dienste sowie deren Anforderungen untersuchen.
