Oculus Quest: Fingeralphabet lernen mit Handtracking
Das optische Hand- und Fingertracking der Oculus Quest ermöglicht neue Anwendungsszenarien wie das Lernen des Fingeralphabets.
Cédric Girardin, ein Student der Berner Fachhochschule, programmierte eine VR-App für Oculus Quest, mit der man das Fingeralphabet dank Handtracking viel leichter lernen kann als von bloßem Auge.
Die Anwendung bietet einen Lern- und einen Prüfmodus. Im Lernmodus wird ein Buchstabe des deutschen Alphabets samt eines 3D-Modells der entsprechenden Hand- und Fingerstellung dargestellt. Dank des Handtrackings der Oculus Quest kann man die dargestellte Figur mit der eigenen Hand in der Virtual Reality nachmachen und die Übereinstimmung maschinell validieren lassen.
Der Prüfmodus funktioniert ähnlich, nur dass kein 3D-Modell angezeigt wird. Der Lernende muss das Fingerzeichen aus dem Gedächtnis abrufen.
Handtracking versagt noch bei bestimmten Gesten
Für die Validierung der Hand- und Fingerstellung werden die Distanzen der Finger, deren Winkel zueinander und die Orientierung der Hand ausgewertet. Die Anwendung kann bis zu 23 Handzeichen des Deutschen Alphabets auswerten.
Die Buchstaben R, J und Z fehlen. Der Grund: Das Handtracking ist bei diesen Zeichen noch überfordert. Beim Buchstaben R muss man die Finger überkreuzen und J und Z erfordern Fingerbewegungen. Außerdem hat das Tracking noch Probleme, Gesten zu erkennen, die von der Kamera wegzeigen.
Die VR-Trainingsapp ist Girardins Abschlussarbeit und wurde binnen zweier Wochen am Computer Perception & Virtual Reality Lab der Berner Fachhochschule programmiert. Bei Reddit sagt Girardin, dass er die App weiterentwickeln wird, sofern das Labor Bedarf sieht. Potenzial hätte eine solche App auf jeden Fall, vor allem dann, wenn sie weitere gestenbasierte Sprachen in sich aufnehmen könnte.
Mehr über das Handtracking der VR-Brille findet ihr in unserem Infoguide zun Quest-Handtracking und in den weiterführenden Links unten.
Titelbild: Cédric Girardin / Berner Fachhochschule
Weiterlesen über Handtracking:
- Handtracking in VR: Hand Physics Lab veröffentlicht
- Oculus Quest: Wie Künstliche Intelligenz das Handtracking ermöglicht
- SideQuest & Handtracking: Demo-Spiele für Oculus Quest erschienen
Filed under: Apps,Oculus Quest,Tools,Virtual Reality - @ 6. Juni 2020 8:51