XR-Forschung: Facebook zeigt lebensechten Echtzeit-Avatar

Diese Woche fand die Computer-Vision-Konferenz CVPR 2020 statt. Im Rahmen dieser Veranstaltung hielt Facebooks XR-Forschungschef Michael Abrash einen Vortrag über die Bedeutung des maschinellen Sehens für Virtual und Augmented Reality und gab neue Einblicke in Facebooks Forschungslabore.

Der perfekte VR-Visor mit 200 Grad Sichtfeldweite, Retina-Auflösung, variablen Fokusebenen, täuschend echtem Audio und fortschrittlicher Mixed-Reality. Die super stylische AR-Brille, die man den ganzen Tag auf der Nase sitzen hat, die Smartphones und andere Bildschirme komplett ersetzt, KI-Assistenz bietet und dem Träger perzeptive Superkräfte verleiht.

All das nennt Michael Abrash “machbar”, ja unausweichlich. Ob Zweckoptimismus oder Überzeugung: Facebooks Forschungsschef hält eisern an seiner Tech-Zukunftvision fest, auch wenn sich das eine oder andere technische Problem als weitaus schwieriger zu lösen herausgestellt hatte als noch vor ein paar Jahren gedacht.

Es werde nicht mehr lange dauern, bevor man solche XR-Geräte im Gesicht trage und sich virtuell von überall aus mit anderen Menschen treffen, spielen und zusammenarbeiten könnte, meint Abrash.

Trotz eines “kleinen Hindernisses”: dem Umstand, dass die hierfür benötigte Technologie bei weitem noch nicht dort ist, wo sie sein müsste. Die optischen Systeme, die neuen Interfaces, Haptik, Avatare, Körpertracking und Ergonomie: All das steht noch am Anfang.

Neue Forschungseinblicke

Und was macht man dagegen? Abrashs Antwort ist einfach: forschen, forschen und noch mehr forschen. In seinem Vortrag nennt Abrash die vielfältigen Bereiche, in denen die von ihm geleiteten Facebook Reality Labs (Grundlagen-)Forschung betreibt und zeigt teils neues Videomaterial aus den Zukunftslaboren.

So ist unter anderem eine modifizierte Oculus Quest mit möglicherweise verbessertem Handtracking zu sehen. Die optische Hand- und Fingererfassung soll eines Tages ein wichtiger Bestandteil des neuen Raumcomputerparadigmas werden.

Auch bei den sogenannten Codec Avataren macht Facebook Fortschritte. Sie werden uns laut Abrash in ein paar Jahren als ein digitales Abbild unserer selbst in der Virtual Reality repräsentieren.

Die VR-Brillenprototypen sollen jetzt noch akkurater Mimik registrieren, wodurch die Avatare ausdrucksstärker als bisher wirken. Ein Video zeigt, wie ein mittels VR-Brille in Echtzeit digitalisierter Menschen in ein paar Jahren aussehen könnte.

Damit man wirklich das Gefühl hat, mit einer anderen Person im Raum zu stehen, muss neben dem Gesicht auch der gesamte Körper erfasst und in die Virtual Reality übertragen werden.

Auch hiervon zeigt Abrash ein Beispiel. Der Mann in folgendem Video wird vermutlich von einer herkömmlichen RGB-Kamera gefilmt und von einem KI-Algorithmus in ein detailliertes 3D-Modell verwandelt. Die dahintersteckende KI-Technik stellte Facebooks auf der CVPR-Konferenz vor.

XR wird Forschung Jahrzehnte beschäftigen

Ein weiterer wichtiger Bestandteil von Facebooks XR-Zukunft sind Techvrillen, die digitale und physische Informationen gekonnt mischen. Dafür müssen sie jedoch zuerst die physische Welt räumlich einordnen und sich selbst exakt darin verorten können.

Abrash zeigt in diesem Kontext eine Demonstration von Live Maps, Facebooks AR-Cloud-Technologie.

Ein Sensor, der in einem Smartphone oder einer XR-Brille verbaut sein könnte, wird durch Innenräume getragen, erfasst diese und erstellt in Echtzeit eine 3D-Karte der Umgebung. Diese wiederum kann später dazu genutzt werden, digitale Informationen präzise und dauerhaft im physischen Raum zu verankern – eine wichtige Voraussetzung für Sci-Fi-AR.

Abrash betont, dass noch viel Arbeit zu leisten ist. Die interessantesten technischen Probleme würden noch jahrzehntelang bestehen, aber das mache einen Teil des Reizes von VR und AR aus, meint der Forschungsleiter.

Weiterlesen über Facebooks XR-Forschung:

Filed under: AR-Technik,Tech,Virtual Reality,VR,VR-Technik - @ 19. Juni 2020 15:41