Facebook stellt unsichtbare Fingertracking-Tastatur vor
Mit KI-Training und statistischer Wortvorhersage entwickeln Facebook-Forscher eine unsichtbare Fingertrackingtastatur, die sich zum Beispiel für den Einsatz in Kombination mit einer VR-Brille wie Oculus Quest eignen könnte.
Auf der wissenschaftlichen Fachkonferenz “User Interface Software and Technology” stellten Facebooks Realitätslabor-Forscher eine unsichtbare Fingertrackingtastatur (wir berichteten) vor: Die Forscher nutzen ein KI-basiertes Verfahren, das anhand von Fingerbewegungen die Buchstabenausgabe prognostiziert.
Trainiert wurde die KI mit einem Datensatz bestehend aus Motion-Tracking-Aufzeichnungen von 20 Schreibkräften, die mit Spezialhandschuhen nach dem Zehnfingersystem ihre Bewegungsdaten auf einer physischen Tastatur eintippten.
Für automatische Wortkorrekturen setzten die Forscher ergänzend statistische Techniken aus der Sprach- und Worterkennung ein, wie man sie beispielsweise vom Smartphone kennt. So fängt das System Tippfehler auf, die durch eine leichte Verschiebung der Hände auf der Tischoberfläche entstehen.
Fingertrackingtastatur: Geübte Zehnfingerschreiber erzielen hohe Tipp-Geschwindigkeit
Dieser Methodenmix ermöglicht es trainierten Fingertracking-Schreibern, bis zu 73 Wörter pro Minute zu tippen bei einer nicht korrigierten Fehlerrate von 2,4 Prozent – nur mit den Händen auf einem flachen Untergrund. Das entspricht der Leistung eines gut geübten Zehnfingerschreibers auf einer herkömmlichen Tastatur.
Allerdings unterstützt das System derzeit nur Kleinbuchstaben auf der virtuellen Tastatur. Ein Tastaturersatz ist die KI-Software also noch lange nicht.
Die nächsten Schritte wären, die Tastaturfunktion zu erweitern und die gleiche Tipp-Präzision mit den in Oculus Quest 2 (Test) integrierten Trackingkameras zu erzielen. Ob und wann das passiert, geht aus dem Forschungspapier nicht hervor: Laut der Facebook-Wissenschaftler steckt das Projekt noch in einer frühen Forschungsphase, veranschauliche aber bereits das Potenzial von Handtracking für produktive Tätigkeiten.
Bis die VR-Tastatur reif ist, bietet Facebook eine Zwischenlösung an: Per Tracking können reale Tastaturen digital in der Virtual Reality eingeblendet und bedient werden. Facebook kündigte die Funktion im September zusammen mit einer Vision für das XR-Büro der Zukunft an.
Quelle: Forschungspapier
Weiterlesen über XR-Interfaces:
- Reverb G2 Omnicept: Neue Sensor-Brille von HP
- VR-Trackingsysteme: Welches ist am genauesten?
- HTC verbessert Vive-Handtracking, auch für Valve Index
Filed under: Apps,Tools,Virtual Reality,VR und Arbeit - @ 21. Oktober 2020 21:47