Oculus: Unsichtbare Tisch-Tastatur per Handtracking
Facebook forscht an einer Tastatur, die (fast) immer verfügbar ist: Es reichen die eigenen Hände und eine Tischplatte in Kombination mit einer VR-Brille.
Seit mehr als einer Dekade forscht Robert Y. Wang an Wegen, die menschliche Hand zum vielseitigen Computer-Interface umzufunktionieren. Von 2012 bis 2014 tat er das in seinem eigenen Startup Nimble VR, 2014 ließ er sich und seine Technologie von Facebook einkaufen. Seit rund sechs Jahren ist er jetzt für Oculus und neuerdings Facebooks Realitätslabor als XR-Forscher am Start.
Bei Twitter zeigt Wang einen Ausschnitt seines aktuellen Projekts: Per Tracking erfasste Finger tippen auf dem Tisch wie auf einer Tastatur. Dafür trägt Wang spezielle Handschuhe, die mit zahlreichen Sensoren bestückt sind. In der VR-Brille sieht er eine digitale Version seiner Hände und gleichzeitig eine virtuelle Tastatur, die in der Realität nicht existiert.
Decoding Surface Touch Typing from Hand-Tracking #UIST2020 @FBRealityLabs pic.twitter.com/FU2ZVvzRcW
— HCI Research (@HCI_Research) October 11, 2020
Ein probater Ersatz für eine reale Tastatur dürfte die virtuelle nicht sein, es fehlt die Haptik der einzelnen Tasten als wichtiges Feedback-Signal für die Hände. Aus gutem Grund kündigte Facebook zuletzt ein Trackingverfahren für reale Tastaturen für Oculus Quest an. Aber praktisch wäre die Fingertastatur allemal, da sie immer verfügbar ist, sobald ein Tisch in der Nähe steht.
Virtuelle Tastatur per KI-Tracking
Im Video benutzt Yang zwar spezielle Tracking-Handschuhe fürs Tippen, dennoch könnte die Fingertastatur zukünftig mit nackten Händen funktionieren. Das Zauberwort lautet: KI-Training.
Wenn Facebook ein auf visuelle Analyse spezialisiertes neuronales Netz mit ausreichend Tastatur-Tipp-Videos trainiert, könnte eine KI lernen, die Fingerbewegungen den Tastaturanschlägen zuzuordnen. Auch das aktuelle Handtracking für Oculus Quest (Guide) wurde per KI-Training umgesetzt.
Ob die Präzision der aktuellen Trackingkameras in Oculus Quest dafür schon ausreicht und wie Yang seine Technik genau umsetzt, wird der Forscher im Detail am 22. Oktober auf der UIST 2020 vorstellen, einer wissenschaftlichen Fachkonferenz für Interface-Software und -Technologie.
Weiterlesen über XR-Interfaces:
- Reverb G2 Omnicept: Neue Sensor-Brille von HP
- VR-Trackingsysteme: Welches ist am genauesten?
- HTC verbessert Vive-Handtracking, auch für Valve Index
Filed under: Forschung,Oculus,Virtual Reality,Wandel - @ 12. Oktober 2020 9:06