VR-Mundtracking: So leckt eine virtuelle Zunge VR-Eis
Ein VR-Entwickler integrierte HTCs experimentellen Lippentracker in seine Social-VR-App und demonstriert, was damit möglich ist.
Seit 2016 arbeitet Tomáš Mariančík alias Frooxius an seiner VR-App Neos VR, die er als “kreative Social-VR-Sandbox” bezeichnet. Darin können Nutzer spielen, Dinge bauen, gemeinsam arbeiten oder einfach nur Zeit zusammen verbringen.
Eine Besonderheit der Plattform ist die breite Unterstützung von Trackinghard- und software. Das folgende Video demonstriert Ganzkörpertracking mit acht Vive Trackern. Sie werden an der Brust, den Ellbogen, der Hüfte, den Knien und den Füßen angebracht.
Fingerbewegungen werden von den Index-Controllern erfasst, Augenbewegungen mit HTCs VR-Brille Vive Pro Eye. Das Ergebnis ist ein besonders ausdrucksstarker Avatar.
HTC experimentiert mit Gesichtstracking
Für Frooxius geht das immer noch nicht weit genug. Aktuell arbeitet der VR-Entwickler an Unterstützung für HTCs Lip Tracker. Das Vive Pro-Devkit wurde im Frühjahr 2019 auf der GDC angekündigt, Zielgruppe sind Entwickler und Forscher.
Here is the lip and eye tracking of the Vive SRAnipal SDK in action.
Our GDC talks are now up on GDC Vault! https://t.co/c9lBJgH8cT pic.twitter.com/1YGvn0s3jY— Shen Ye (@shen) April 6, 2019
Frooxious konnte sich auf Nachfrage ein Devkit sichern und zeigt das Ergebnis seiner Experimente auf Reddit und Twitter.
Das Modul erfasst mehr, als es der Name vermuten lässt: Der Entwickler fletscht seine Zähne, streckt die Zunge aus und bläst die Wangen auf und all das wird in Echtzeit in die VR-Simulation übertragen. Dadurch wirkt sein menschliches oder tierisches Alter Ego noch lebensechter.
Mehr soziale Präsenz
Für das Video wurde die reale Aufnahme und das VR-Video synchronisiert, die Latenz soll aber dennoch sehr niedrig sein. Das Tracking sei “recht robust”, solange das Modul freien Blick auf die Mundregion hat.
Über die verbaute Hardware weiß der Entwickler nichts Genaueres: Er vermutet optisches Tracking mittels ein oder zwei Infrarotkameras. Mit der VR-Brille (Vergleich) verbunden wird das Modul über den USB-Anschluss der Vive Pro Eye.
Das Feedback sei positiv: Seit er Augen- und Lippentracking nutzt, würden ihn VR-Nutzer darauf ansprechen. Es verstärke die Immersion. “Die Leute mögen es, wenn etwas Lustiges passiert und ich in Virtual Reality lächle. Oder sie sagen mir, dass ich schlafen gehen soll, wenn ich gähne”, schreibt Frooxius auf Reddit.
Ob und wann die Technologie in eine VR-Brille Eingang findet, ist unbekannt. Wenn überhaupt, dürfte sie zuerst in B2B-Geräten wie Vive Pro Eye zum Einsatz kommen.
NeosVR befindet sich noch im Early Access und ist kostenlos auf Steam verfügbar. In einem Steam-Artikel beschreibt Frooxius, was Nutzer 2020 noch alles an Funktionen erwartet.
Titelbild: Frooxius
Weiterlesen über Gesichtstracking:
Filed under: HTC,HTC Vive Pro,Tech,Virtual Reality,VR - @ 26. Mai 2020 16:34