Super Foveated Rendering: Forscher stellen neue Bildverbesserung vor

Foveated Rendering spart massig Rechenleistung. Nun gehen taiwanesische Forscher mit Hilfe Künstlicher Intelligenz noch einen Schritt weiter.

Super Foveated Rendering: Forscher stellen neue Bildverbesserung vor

Mit Eyetracking und Foveated Rendering wird nur derjenige Bereich des VR-Bilds in voller Auflösung berechnet, auf den der VR-Nutzer gerade blickt. Das spart massig Rechenleistung, die in eine höhere Bildauflösung oder schönere Grafikeffekte fließen kann. Nun gehen taiwanesische Forscher einen Schritt weiter.

Die Wissenschaftler der National Taiwan University entwickelten eine KI, die den fovealen Bereich ohne allzu große rechnerische Zusatzbelastung sowohl in einer vielfach höheren Auflösung als auch mit mehr Bildern pro Sekunde wiedergibt. Das Ergebnis ist ein klarerer und ruhigerer Bildeindruck, von dem selbst VR-Brillen mit tieferauflösenden Displays profitieren sollen.

Die zusätzlichen Bilder sowie deren höhere Auflösung im fovealen Bereich werden von der KI berechnet, sind also synthetisch. Die höhere Bildwiederholrate wird zu den Rändern des fovealen Bereichs hin reduziert. Das Ergebnis ist ein weicherer Übergang zur Standardbildwiederholrate.

Boosting Perceptual Resolution of VR Displays

So funktioniert die synthetische Erhöhung der Bildwiederholrate innerhalb des fovealen Bereichs: Die KI entnimmt der Grafik zwei zeitlich aufeinanderfolgende foveale Bildausschnitte (i0 und i1) und berechnet daraus zusätzliche Zwischenbilder (it) samt Rahmung mit abgestuften Bildwiederholraten. Am Ende werden alle drei Bestandteile zusammengefügt. | Bild: Hung-Chung Lu et al. / National Taiwan University

Foveated Rendering ist noch nicht marktreif

Die Forschergruppe hat die KI-Bildverbesserung in einem Experiment mit Playstation VR getestet. Durchschnittlich 83 Prozent der Studienteilnehmer nahmen die Bildverbesserung wahr, ohne dass der Rand störend auffiel.

Boosting Perceptual Resolution of VR Displays Experiment

Die Ergebnisse einer ersten Studie fallen positiv aus. Bild: Hung-Chung Lu et al. / National Taiwan University

Für den Versuch wurden zehn Videos und ein fixer Bildbereich ohne Eyetracking eingesetzt. Der wahrscheinliche Grund: Foveated Rendering setzt äußerst schnelle und präzise Blickerfassung voraus und entsprechende Technologie funktioniert nicht immer einwandfrei.

Die KI-Bildverbesserung dürfte so oder so nicht von heute auf morgen in VR-Brillen (Vergleich) Eingang finden: Für variable Bildwiederholraten innerhalb eines Bildes müssten wohl zuerst angepasste Renderpipelines oder gar Displays her.

Wie die Forscher unterschiedliche Bildwiederholraten simulieren konnten, verraten sie in ihrer wissenschaftlichen Arbeit nicht. Die Forschungsergebnisse wurden auf der derzeit laufenden CVPR 2020-Konferenz vorgestellt.

Quelle und Titelbild: Boosting Perceptual Resolution of VR Displays by Hung-Chung Lu et al. (National Taiwan University)

Weiterlesen über Foveated Rendering:

steady2