Sonys neue PSVR könnte euer Gesicht tracken
Mit Gesichtstracking könnten aus steifen Avataren digitale Personen mit Wiedererkennungswert werden. Patentiert Sony die Technologie für PSVR 2?
Sonys Playstation-Abteilung Interactive Entertainment hat Ende April ein Patent für ein in eine VR-Brille integriertes Gesichtstracking-System genehmigt bekommen, das ein Gesicht mit unterschiedlichen Sensoren vollständig digitalisieren und auf einen Avatar übertragen können soll. Eingereicht wurde das Patent im November 2018.
Die Augenbewegungen soll die VR-Brille mit Eye-Tracking-Kameras tracken. Zusätzliche Kameras am unteren Brillenrand (siehe Titelbild) erfassen die Mimik rund um den Mund. Die Nase wird entweder im Vorfeld modelliert oder ebenfalls von 3D-Sensoren erfasst und passend generiert.
Der Avatar soll neben passender Mimik auch die Nase des VR-Brillenträgers korrekt anzeigen. Bild: Sony
Realistische Avatare – Facebook macht’s vor
Ganz vorne mit dabei bei fortschrittlicher Avatar-Forschung ist Facebook mit Oculus. Der Internet-Konzern stellte im letzten Jahr Telepräsenz-Menschen vor, die neben einer durch Brillensensoren und KI erfassten Mimik auch fotorealistische 3D-Modelle menschlicher Gesichter samt überzeugender Animationen bieten.
“Wir wissen nicht, ob Comic-Avatare für Milliarden Menschen ansprechend sind. Aber wir wissen, dass Menschen Realität mögen und sich gerne begegnen”, begründet Facebooks Social-VR-Forscher Yaser Sheikh den enormen Aufwand hinter dem Avatarsystem.
Facebooks Ziel sei es, so Sheikh, dass all diese Technologie letztlich in nur eine kabellose VR-Brille integriert ist, die man aufsetzt und ein Telepräsenz-Telefonat startet. “Wir wissen noch nicht, ob das möglich sein wird”, sagt Sheikh.
Eye-Tracking ist eine Schlüsseltechnologie für Sony
Sonys Patent ist daher zwar keine grundlegende Neuheit, aber zeigt, dass sich auch die Japaner mit fortschrittlicher VR-Technologie für bessere Social-VR befassen. Denn der Übertrag der realen Mimik auf ein digitales Gesicht ist grundlegend für eine glaubhaftere Interaktion zwischen Menschen in VR-Welten.
Sony-Forscher Dominic Mallinson bestätigte im letzten Jahr, dass Sony für eine mögliche Playstation VR 2 (alle Infos) mit Eye-Tracking plant: “Eye-Tracking hat das größte Potenzial, die VR-Erfahrung fundamental zu verändern”, sagt Mallinson.
Neben intuitiver Social-VR könne Eye-Tracking den Nutzerkomfort verbessern und mehr Leistung für realistische VR-Welten aus der Hardware kitzeln.
Über das Potenzial von Social-VR sprechen wir ausführlich im aktuellen MIXED.de Podcast.
Via: UploadVR; Patent; Bilder: Sony
Weiterlesen über Playstation VR:
Filed under: Playstation VR 2,Tech,Virtual Reality,VR - @ 6. Mai 2020 9:10