Super Foveated Rendering: Forscher stellen neue Bildverbesserung vor
Mit Eyetracking und Foveated Rendering wird nur derjenige Bereich des VR-Bilds in voller Auflösung berechnet, auf den der VR-Nutzer gerade blickt. Das spart massig Rechenleistung, die in eine höhere Bildauflösung oder schönere Grafikeffekte fließen kann. Nun gehen taiwanesische Forscher einen Schritt weiter.
Die Wissenschaftler der National Taiwan University entwickelten eine KI, die den fovealen Bereich ohne allzu große rechnerische Zusatzbelastung sowohl in einer vielfach höheren Auflösung als auch mit mehr Bildern pro Sekunde wiedergibt. Das Ergebnis ist ein klarerer und ruhigerer Bildeindruck, von dem selbst VR-Brillen mit tieferauflösenden Displays profitieren sollen.
Die zusätzlichen Bilder sowie deren höhere Auflösung im fovealen Bereich werden von der KI berechnet, sind also synthetisch. Die höhere Bildwiederholrate wird zu den Rändern des fovealen Bereichs hin reduziert. Das Ergebnis ist ein weicherer Übergang zur Standardbildwiederholrate.
So funktioniert die synthetische Erhöhung der Bildwiederholrate innerhalb des fovealen Bereichs: Die KI entnimmt der Grafik zwei zeitlich aufeinanderfolgende foveale Bildausschnitte (i0 und i1) und berechnet daraus zusätzliche Zwischenbilder (it) samt Rahmung mit abgestuften Bildwiederholraten. Am Ende werden alle drei Bestandteile zusammengefügt. | Bild: Hung-Chung Lu et al. / National Taiwan University
Foveated Rendering ist noch nicht marktreif
Die Forschergruppe hat die KI-Bildverbesserung in einem Experiment mit Playstation VR getestet. Durchschnittlich 83 Prozent der Studienteilnehmer nahmen die Bildverbesserung wahr, ohne dass der Rand störend auffiel.
Die Ergebnisse einer ersten Studie fallen positiv aus. Bild: Hung-Chung Lu et al. / National Taiwan University
Für den Versuch wurden zehn Videos und ein fixer Bildbereich ohne Eyetracking eingesetzt. Der wahrscheinliche Grund: Foveated Rendering setzt äußerst schnelle und präzise Blickerfassung voraus und entsprechende Technologie funktioniert nicht immer einwandfrei.
Die KI-Bildverbesserung dürfte so oder so nicht von heute auf morgen in VR-Brillen (Vergleich) Eingang finden: Für variable Bildwiederholraten innerhalb eines Bildes müssten wohl zuerst angepasste Renderpipelines oder gar Displays her.
Wie die Forscher unterschiedliche Bildwiederholraten simulieren konnten, verraten sie in ihrer wissenschaftlichen Arbeit nicht. Die Forschungsergebnisse wurden auf der derzeit laufenden CVPR 2020-Konferenz vorgestellt.
Quelle und Titelbild: Boosting Perceptual Resolution of VR Displays by Hung-Chung Lu et al. (National Taiwan University)
Weiterlesen über Foveated Rendering:
- DeepFovea: Facebook stellt KI-gestütztes Foveated Rendering vor
- Pico Neo 2 Eye: Autarke VR-Brille mit Foveated Rendering erscheint
- Tobii & Nvidia: Eye-Tracking soll bis zu 57 Prozent mehr VR-Leistung bringen
Filed under: Tech,Virtual Reality,VR,VR-Technik - @ 16. Juni 2020 9:20