PSVR 2: Sony-Forscher zeigen Fingertracking-Controller
Sony-Forscher experimentieren mit KI-Technik für präziseres Fingertracking. Die Technologie könnte zum Beispiel für einen neuen Playstation-VR-Controller verwendet werden.
Interface-Forscher von Sony Interactive, Sonys Playstation-Abteilung, geben Einblick in ein aktuelles Controller-Experiment, das wie gemacht wäre für Playstation VR 2: Es geht um einen Stabcontroller mit Fingertracking.
Der VR-Brillenträger hält einen mit kapazitiven Sensoren ausgestatteten Stab in der Hand. Die Sensoren erfassen, wenn der Nutzer einzelne Finger langsam vom Stab wegstreckt und wieder auflegt.
So könnte der VR-Brillenträger mit den eigenen Händen mit virtuellen Objekten interagieren, statt nur eine Hand mit dem Controller fernzusteuern, wie es bei den aktuellen Move-Controllern der Fall ist.
Sonys Controller-Prototyp verzichtet noch auf zusätzliche Eingabefunktionen wie Knöpfe und Joysticks. Das dürfte sich für eine mögliche kommerzielle Version aber ändern.
Sonys KI-gestütztes Fingertracking soll präziser sein als Valves Index-Controller
“Moment, das kenne ich doch”, wird sich der interessierte VR-Marktbeobachter denken und hat natürlich Recht: Auch Valves VR-Brille Index (Test) setzt auf kapazitive Sensoren für das Fingertracking.
Was Sonys Forscher anders machen als Valve: Sie zeichneten zunächst elf spezifische Handbewegungen von zwölf verschiedenen Händen in unterschiedlichen Größen auf. Dafür nutzten sie sowohl Kameras als auch gleichzeitig die 62 kapazitiven Sensoren im Controller-Prototyp.
Anschließend verknüpften sie die visuellen Informationen der Videos und die Sensordaten. Mit diesem Datensatz trainierten sie dann ein neuronales Netz, dem beim Controller-Prototyp die Fingererfassung ausschließlich per kapazitiven Sensoren gelingt.
Auf Basis der Sensordaten kann die KI in Kombination mit dem vorherigen Videotraining Rückschlüsse auf die korrekte Handposition ziehen. Trackingkameras werden nicht mehr benötigt.
Das Setup der Sony-Forscher für die Erhebung der KI-Trainingsdaten. Für das optische Tracking wurde ein Optitrack-System eingesetzt. Dem Controller-Prototyp reichen anschließend die kapazitiven Sensoren für eine präzise Fingererfassung. Bild: Sony
Mit diesem Vorgehen wollten die Sony-Forscher speziell die Präzision von kurvig angebrachten kapazitiven Sensoren verbessern.
Offenbar mit Erfolg: In einem Nutzertest ließen sie ihren Prototyp gegen die VR-Controller von Valve Index antreten. Anschließend befragten sie die Nutzer zur gefühlten Handpräsenz und erzielten “signifikant bessere Ergebnisse” speziell beim Daumen.
Das KI-gestützte Tracking soll so stabil sein, dass selbst schwitzige Hände die Controller nicht durcheinanderbringen.
Mit diesen Fingerbewegungen wurde das KI-Training vorbereitet. Bild: Sony
Die Forschungsarbeit mit dem Titel “Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor” wurde im April auf der wissenschaftlichen Veranstaltung “Conference on Human Factors in Computing” vorgestellt.
Wie und wann geht’s bei Sony weiter mit VR?
Besonders interessant ist die Sony-Demo im Kontext des kürzlich vorgestellten Playstation-5-Controllers. Der wird nämlich, anders als der PS4-Controller, das Trackingsystem der aktuellen Sony-VR-Brille nicht mehr unterstützen.
Sollte Sony also eine neue VR-Brille auf den Markt bringen, werden ziemlich sicher auch neue Controller im Paket liegen, die für VR optimiert sind – zum Beispiel mit Fingertracking. Schon im Sommer 2018 meldete Sony ein zum Controller-Prototyp passendes Patent an.
Alle weiteren Informationen und Gerüchte zu Sonys Next-Gen-Brille findet ihr in unserem Infoguide zu Playstation VR 2.
Weiterlesen über Playstation VR:
Filed under: Playstation VR 2,Tech,Virtual Reality,VR - @ 3. Mai 2020 16:16