Xbox Series X: KI rendert HDR-Effekt ohne Leistungseinbußen

Microsoft zeigt bei der Xbox Series X, dass Künstliche Intelligenz neben höherer Auflösung auch einen HDR-Effekt lernen kann.

Mit KI hochskalierte Auflösungen beweisen sich gerade am Markt: Nvidia zeigt mit DLSS, dass ein KI-skaliertes Bild sogar mehr Details bieten kann als ein nativ gerendertes – und das bei deutlich geringerem Rechenaufwand. Das Prinzip funktioniert für PC-Spiele ebenso wie für Videos über die Shield TV Box.

Auch Pixar experimentiert mit dem Verfahren, ebenso wie Videokünstler, die KI-gestützt historische Aufnahmen mit moderner Filmtechnik verknüpfen. Zuerst nutzten Hobbyentwickler die KI-Technik, um Spieleklassiker aufzuhübschen – mit teils eindrucksvollen Ergebnissen. Auch ein Microsoft-Team forscht an KI-Upscaling, das “beängstigend gut” funktioniere, in Kombination mit Cloud-Streaming.

KI lernt Auflösung

Das Prinzip beim KI-Upscaling folgt einer leicht nachvollziehbaren Logik: Ein neuronales Netz wird mit gering- und hochaufgelösten Bildern aus dem gleichen Quellmaterial trainiert. So lernt die KI den Unterschied zwischen geringer und hoher Auflösung und kann nach dem KI-Training in gering aufgelösten Bildern eigenständig passende zusätzliche Pixel einfügen.

Das vorhandene Pixelmaterial wird also nicht nur beispielsweise entlang der Farbwerte vervielfacht, es wird um neue Pixel und damit mehr Details erweitert, entspricht also inhaltlich einem nativ gerenderte Bild – deshalb sieht KI-Upscaling so gut aus.

Der Vergleich zeigt eine per KI hochgerenderte Textur. Gut zu erkennen ist, dass die KI das Bild nicht einfach nur durch farblich ähnliche Nachbarpixel aufbläst, sondern neue Details ergänzt.

KI lernt HDR – Auto-HDR der Xbox Series X

Das Prinzip des KI-Upscalings wendet Microsoft jetzt auf die HDR-Darstellung an: Ein neuronales Netzwerk wird mit Szenen aus Videospielen trainiert, in denen der HDR-Effekt an- und ausgeschaltet ist. So lernt die KI den visuellen Unterschied zwischen einem normalen Bild und einem HDR-Bild mit Helligkeitsspitzen.

Wird die HDR-KI dann auf ein Videospiel ohne HDR-Unterstützung angesetzt, kann sie eine Szene in Echtzeit analysieren, potenziell hellstrahlende Bereiche wie die Sonne oder Neon-Schilder identifizieren und die Helligkeit nachträglich auf bis zu 1.000 Nits hochschrauben.

Die mit HDR-Beispielen trainierte KI untersucht eine Videospiel-Szene ohne HDR auf hellstrahlende Objekte. | Bild: Evilboris / Twitter

Die mit HDR-Beispielen trainierte KI untersucht eine Videospiel-Szene aus “Yakuza” ohne HDR auf hellstrahlende Objekte. | Bild: Evilboris / Twitter

Dann fügt sie den HDR-Effekt nachträglich hinzu – ohne Mehraufwand bei der Rechenleistung. | Bild: Evilboris / Twitter

Diese laut Microsoft “innovative HDR-Rekonstruktion” kann dem Renderverfahren der Konsole ohne ergänzenden Berechnungsaufwand hinzugefügt werden. Das ist wichtig, denn im Gegensatz zu HDR-Simulationen direkt am TV-Gerät verursacht KI-HDR so keine zusätzliche Latenz.

Auto-HDR lohnt sich insbesondere bei alten Videospielen, die schon entwickelt wurden, bevor die HDR-Technologie überhaupt am Verbrauchermarkt existierte. Laut Microsoft kann der Effekt unter anderem für Xbox- und Xbox-360-Spiele wie Halo oder Gears of War angewendet werden. Eine Reihe von Beispielen gibt es im folgenden Video von Jeffrey Grubb.

Wie verlässlich die HDR-KI (Systeme, Erklärungen) über viele Titel hinweg arbeitet, wird sich im Spielealltag zeigen – zum Teil verwendet sie noch HDR für Objekte, die eigentlich keine HDR-Erweiterung bräuchten, wie zum Beispiel das Weiß im Augapfel. Solche Fehler sind aber eher die Ausnahme. Und: Microsoft kann und wird nachbessern, denn das KI-Grafik-Prinzip steht noch ganz am Anfang. Auch Nvidia konnte von DLSS 1.0 auf DLSS 2.1 durch effizientere KI-Trainingsverfahren deutliche Fortschritte erzielen.

Weiterlesen über KI-Grafik:

steady2

Filed under: Innovation,KI im Gaming,Künstliche Intelligenz,Tech - @ 8. Oktober 2020 10:16