Nvidia: KI-Upscaling schlägt native 4K und ist schneller

Künstliche Intelligenz könnte Computergrafik revolutionieren wie die ersten 3D-Beschleuniger. Beim PC-Spiel “Death Stranding” beweist Nvidia, dass die Technik alltagstauglich ist und massive Vorteile bringt.

Beim Deep-Learning Super Sampling (DLSS) trainiert Nvidia ein künstliches neuronales Netz mit hochauflösenden Idealaufnahmen eines Videospiels. Bei DLSS 2.0 nutzt Nvidia dafür ein allgemein für Spiele-Upscaling trainiertes KI-Netz, was für das jeweilige Spiel nur feineingestellt und in den Renderprozess integriert werden muss. Bei DLSS 1.0 brauchte jedes Spiel ein eigenes KI-Training.

Im Vergleich zum ersten DLSS-Versuch verbesserte Nvidia bei DLSS 2.0 einen weiteren entscheidenden Punkt im Trainingsprozess: Das neuronale Netz wird jetzt mit Bildern in 16K-Auflösung (15.360 × 8.640) unterrichtet statt wie bislang nur mit 4K-Auflösung. Als Vergleichswert führt Nvidia während des Trainings niedrig aufgelöste Bilder zu. Das Training selbst findet auf einem Supercomputer statt.

Durch das Training lernt die KI den Unterschied zwischen niedriger und hoher Auflösung sowie die Details der 16K-Auflösung. Beim Hochskalieren kann sie diese Details ergänzen und braucht dafür signifikant weniger Leistung als die native Darstellung in hoher Auflösung.

DLSS 2.0 in Death Stranding: Besser als native 4K-Auflösung

Im neuen Death Stranding funktioniert dieses KI-Upscaling laut der internationalen PC-Fachpresse so gut, dass die Bildqualität des durch die KI hochskalierten Bildes sogar die native 4K-Darstellung schlägt.

Digital Foundry beispielsweise schreibt: “Wenn du DLSS nicht nutzt, siehst du das Spiel nicht in seiner schönsten Form.” Das erscheint intuitiv zunächst nicht logisch. Hält man sich jedoch vor Augen, dass die KI das Bild mit Details einer 16K-Auflösung ergänzt, ergibt es Sinn.

Auch die Tester bei DSOGaming oder Toms Hardware loben die hohe Bildqualität. “Der optische Eindruck mit dem KI-Upsampling ist in vielen Fällen so gut wie mit der nativen Auflösung und oft auch leicht besser. Hinzu kommt, dass während des Spielens keinerlei Grafikfehler mit DLSS aufgefallen sind”, schreibt Computerbase.

Das folgende Video zeigt das DLSS-Bild im Vergleich zu nativen 4K (ab 15:40).

Noch wichtiger als die etwas bessere Bildqualität ist der massive Performancegewinn, den Digital Foundry misst: DLSS 4K läuft im schöneren Qualitätsmodus rund 38 Prozent schneller als natives 4K-Rendering. Im Performance-Modus ist das KI-Upscaling 70 Prozent schneller.

KI-Upscaling: Die Grafikwelt wird sich verändern

Dieser Geschwindigkeitszugewinn resultiert in deutlich höheren Bildwiederholraten: Die KI-Modi skalieren eine native Auflösung hoch, die zwischen 50 und 67 Prozent der dargestellten Auflösung liegt. Die Grafikkarte wird also massiv entlastet – und es besteht die realistische Chance, dass die Effizienz des KI-Renderings noch am Anfang steht.

Microsofts Playfab-Team beispielsweise experimentiert intern mit KI-Upscaling, die wie eine “magische Kompressionstechnologie” funktionieren soll.

“Man kann den Unterschied zwischen einer handgemachten hochauflösenden Textur und der maschinell vergrößerten Textur auf Basis einer niedrig aufgelösten Textur nicht erkennen, sodass man auch gleich mit einer niedrig aufgelösten Textur starten und dann die Maschine den Rest machen lassen kann”, Microsofts Team-Leiter James Gwertzman.

Xbox-Studio will mit Künstlicher Intelligenz Spielegrafik revolutionieren

Der Vergleich zeigt eine per KI hochgerenderte Textur. Gut zu erkennen ist, dass die KI das Bild nicht einfach nur durch farblich ähnliche Nachbarpixel aufbläst, sondern neue Details ergänzt.

Womöglich müssen Spiele-Designer zukünftig nur noch einen kleinen Teil ihrer Assets in allen Details gestalten – sobald genug Bildbeispiele für das KI-Training vorhanden sind, könnte die KI den Stil lernen und die verbleibenden, niedrig aufgelösten Texturen auf dasselbe Qualitätsniveau rendern. Im Entwicklungsprozess würde das massiv Zeit und Geld sparen.

Training mit Videos statt Screenshots: Oculus ist an KI-Upscaling für VR dran

KI-Upscaling ist wie gemacht für VR und AR: Hier ist die Renderlast wegen der 3D- und 360-Grad-Darstellung mit hohen Bildwiederholraten besonders groß. Eine Kombination aus Eye-Tracking und KI-Upscaling könnte für eine fotorealistische Grafikqualität sorgen, die dennoch keinen Highend-PC benötigt.

Oculus-Forscher stellten kürzlich eine Arbeit über KI-Upscaling speziell für VR-Apps vor. Die KI wurde mit hochauflösenden Videos statt Bildern trainiert und soll bessere Ergebnisse liefern als DLSS. Außerdem läuft die Technik auf jeder Hardware anstatt nur mit ausgewählten Nvidia-Grafikkarten.

Denkbar wäre auch, dass über die Cloud datensparend nur sehr gering aufgelöste Grafiken gestreamt werden, die dann lokal von einer KI in hoher Bildqualität wiedergegeben werden. Die Vision des Überall-XR-Streamings würde so ein gutes Stück näherrücken.

Weiterlesen über KI-Grafik:

Filed under: Apps,KI im Gaming,Künstliche Intelligenz,Tools - @ 18. Juli 2020 10:11