Sonys neue PSVR könnte euer Gesicht tracken

Mit Gesichtstracking könnten aus steifen Avataren digitale Personen mit Wiedererkennungswert werden. MIXED | News zu VR, AR und KI & Matthias Bastian

Sonys neue PSVR könnte euer Gesicht tracken

Mit Gesichtstracking könnten aus steifen Avataren digitale Personen mit Wiedererkennungswert werden. Patentiert Sony die Technologie für PSVR 2?

Sonys Playstation-Abteilung Interactive Entertainment hat Ende April ein Patent für ein in eine VR-Brille integriertes Gesichtstracking-System genehmigt bekommen, das ein Gesicht mit unterschiedlichen Sensoren vollständig digitalisieren und auf einen Avatar übertragen können soll. Eingereicht wurde das Patent im November 2018.

Die Augenbewegungen soll die VR-Brille mit Eye-Tracking-Kameras tracken. Zusätzliche Kameras am unteren Brillenrand (siehe Titelbild) erfassen die Mimik rund um den Mund. Die Nase wird entweder im Vorfeld modelliert oder ebenfalls von 3D-Sensoren erfasst und passend generiert.

Der Avatar soll neben passender Mimik auch die Nase des VR-Brillenträgers korrekt anzeigen. Bild: Sony

Der Avatar soll neben passender Mimik auch die Nase des VR-Brillenträgers korrekt anzeigen. Bild: Sony

Realistische Avatare – Facebook macht’s vor

Ganz vorne mit dabei bei fortschrittlicher Avatar-Forschung ist Facebook mit Oculus. Der Internet-Konzern stellte im letzten Jahr Telepräsenz-Menschen vor, die neben einer durch Brillensensoren und KI erfassten Mimik auch fotorealistische 3D-Modelle menschlicher Gesichter samt überzeugender Animationen bieten.

“Wir wissen nicht, ob Comic-Avatare für Milliarden Menschen ansprechend sind. Aber wir wissen, dass Menschen Realität mögen und sich gerne begegnen”, begründet Facebooks Social-VR-Forscher Yaser Sheikh den enormen Aufwand hinter dem Avatarsystem.

Facebooks Ziel sei es, so Sheikh, dass all diese Technologie letztlich in nur eine kabellose VR-Brille integriert ist, die man aufsetzt und ein Telepräsenz-Telefonat startet. “Wir wissen noch nicht, ob das möglich sein wird”, sagt Sheikh.

Eye-Tracking ist eine Schlüsseltechnologie für Sony

Sonys Patent ist daher zwar keine grundlegende Neuheit, aber zeigt, dass sich auch die Japaner mit fortschrittlicher VR-Technologie für bessere Social-VR befassen. Denn der Übertrag der realen Mimik auf ein digitales Gesicht ist grundlegend für eine glaubhaftere Interaktion zwischen Menschen in VR-Welten.

Sony-Forscher Dominic Mallinson bestätigte im letzten Jahr, dass Sony für eine mögliche Playstation VR 2 (alle Infos) mit Eye-Tracking plant: “Eye-Tracking hat das größte Potenzial, die VR-Erfahrung fundamental zu verändern”, sagt Mallinson.

Neben intuitiver Social-VR könne Eye-Tracking den Nutzerkomfort verbessern und mehr Leistung für realistische VR-Welten aus der Hardware kitzeln.

Über das Potenzial von Social-VR sprechen wir ausführlich im aktuellen MIXED.de Podcast.

Via: UploadVR; Patent; Bilder: Sony

Weiterlesen über Playstation VR:

steady2