Oculus Quest Handtracking: Infos, Updates & Apps

Oculus Quest Handtracking: Erste Tests und Eindrücke

Update: 06.06.2020

Handtracking ist eines der wichtigsten Features für VR. Was es bringt, wie ihr Oculus Quest Handtracking aktiviert und welche Apps und Spiele es dafür gibt, erfahrt ihr hier.

Eine der Evolutions- oder sogar Revolutions-Stufen für Virtual Reality, die den Zugang zum Medium erheblich vereinfachen würde, ist das Erfassen der eigenen Hände und Finger, sogenanntes Handtracking.

Sobald es möglich ist, ohne Controller in VR zu arbeiten oder zu spielen, fallen Einschränkungen durch Button-Belegungen, Nutzungsbeschränkungen durch Ladestatus und natürlich auch teilweise erhebliche Kosten weg. Beispielsweise kosten die Valve Index-Controller satte 159 Euro.

Nach einer rund sechsmonatigen Betaphase hat Oculus mit der Veröffentlichung des Handtracking für die autarke VR-Brille Oculus Quest am 28. Mai 2020 den ersten Schritt gemacht. Wie ihr Handtracking aktiviert und anwendet, worauf ihr achten solltet und welche Apps und Spiele damit arbeiten, erfahrt ihr in diesem Artikel.

Wir werden diesen Artikel regelmäßig aktualisieren, packt ihn euch gern in eure Favoriten.

Letztes Update: 06.06.2020

Allgemeine Überarbeitung, die das Verlassen der Betaphase für Handtracking beinhaltet
Aktualisiertes Fazit

In diesem Artikel:

Infos zum Handtracking für Quest & technischer Hintergrund

Auf der Oculus Connect 6 kündigte Facebook experimentelles KI-gestütztes Handtracking für die Oculus Quest (Test) an. Ursprünglich sollte dieses Feature erst im Frühjahr 2020 veröffentlicht werden. Handtracking wurde aber schon Anfang Dezember 2019 per Update auf die autarke VR-Brille gebracht.

Das Tracking erfolgt über die verbauten Kameras der Quest. Die sind eigentlich aber gar nicht für Tiefenwahrnehmung geeignet, was aber für räumliches Tracking von Händen und Fingern zwingend notwendig ist.

Um den gewünschten Effekt zu erreichen trainierte Facebook eine KI mit Videos von Händen und programmierte einen Algorithmus darauf Finger, Fingerspitzen und Gelenke zu erkennen. Bestimmte Gesten wurden zudem aus mehreren Blickwinkeln aufgenommen und die KI darauf eingestellt.

Mit der aktuellen Version des Handtracking für Oculus Quest ist es noch nicht möglich, überlappende Hände oder Finger darzustellen. Derzeit werden die Hände ausgeblendet, wenn sie sich zu nahekommen. Das wurde über Software-Updates aber bereits verbessert. Facebook arbeitet zudem an deutlich besseren Tracking-Modellen. Wann verbessertes Tracking kommt und ob dafür gegebenenfalls bessere Kameras in einer Oculus Quest 2 notwendig sind, ist noch offen.

Anleitung für Entwickler

Oculus veröffentlichte eine Anleitung für Entwickler, in dem der optimale Umgang mit Handtracking für die Quest erläutert wird: “Die Hände sind eine vielversprechende neue Eingabemethode, aber es gibt Grenzen für das, was wir heute umsetzen können, aufgrund der Einschränkungen durch die Bildverarbeitung und das Tracking. Die folgenden Gestaltungsrichtlinien ermöglichen es Ihnen, Inhalte zu erstellen, die innerhalb dieser Einschränkungen funktionieren.”

Schematische Darstellung der Verdeckung der Hände beim Handtracking mit der Oculus Quest — Entwickler müssen beim Handtracking viele Dinge beachten, etwa die Verdeckung der Hände. BILD: Oculus

In der Anleitung finden sich Vorteile, beispielsweise die intuitive und sofortige Nutzung von VR ohne Controller, aber auch Schwierigkeiten, etwa ein begrenzter Trackingbereich oder Verdeckung. In den “Best Practices” geht Oculus deshalb darauf ein, wie Entwickler um diese Probleme herumarbeiten können.

Eine Limitierung der interpretierbaren Gesten ist zwingend nötig. Warum? Mit den Händen können wir hunderte verschiedene Gesten ausführen, die sich teilweise nur marginal voneinander unterscheiden. Für die Technik stellt das ein Problem dar, da sie exakt interpretieren muss, um den gewünschten Effekt zu erzielen. “Diese Einschränkungen tragen dazu bei, die Genauigkeit zu erhöhen, und erleichtern die Navigation im System oder die Durchführung einer Interaktion”, heißt es im Online-Dokument.

Direkte Tipps und Tricks für die Handtracking-Umsetzung finden Entwickler in den Sektionen “Interactions” und “User Interface Components”. Erstere geht beispielsweise auf direkte und indirekte Interaktion ein. Hier spielt die Distanz zum zu bedienenden Objekt eine wichtige Rolle. Die Interface-Tipps handeln unter anderem von verschiedenen Auswahlmethoden, angefangen bei “simplen” Buttons, bis hin zu Kreismenüs.

Prototypen & Weiterentwicklung

Händeschütteln in VR

Im folgenden Video von Entwickler Dennys Kuhnert (reddit: Acetylan) seht ihr realistische Interaktionen zwischen den Händen. Der Entwickler klonte sich in VR selbst und zeigt, dass realistische Handinteraktionen mit virtuellen Händen eines Gegenüber möglich sind.

KPhysikdemo mit inverser Kinematik

Entwickler des Schweizer Startups Holonautic (Holoception, Webseite) haben eine ziemlich beeindruckende Physiksimulation rund um die virtuellen Hände der Quest geschaffen. Dabei werden die Finger selbst an komplexen Objekten physikalisch korrekt angezeigt und sie reagieren ebenfalls korrekt auf Krafteinwirkungen, beispielsweise Schieben oder Ziehen.

Die Kameras der Oculus Quest sind dabei aber nur teilweise von Nutzen: Positionen und Bewegungen der Arme werden nämlich, obwohl sie teilweise gar nicht von den Kameras gesehen werden können, durch inverse Kinematik berechnet und entsprechend animiert.

“Ich bin noch immer beeindruckt, wie mächtig das Gerät ist”, sagt der Entwickler bei Reddit. Mit der App “Hand Physics Lab” von Holoception könnt ihr das und noch viel mehr Handtracking-Experimente selbst ausprobieren. Den Link findet ihr in der App-Liste weiter unten in diesem Artikel.

Realistische Handinteraktion mit VirtualGrasp

Das Schweizer Start-up Gleechi will eine plattformübergreifende Schnittstelle für komplexe Interaktionen anbieten, die auf realistischer Physik basieren. Die Software soll plattformagnostisch sein und sowohl mit dem optischen Handtracking der Oculus Quest funktionieren, als auch mit Controllern wie Oculus Touch oder Haptikhandschuhen.

Handtracking-Experimente in Waltz of the Wizard

In Waltz of the Wizard betreiben wir Experimente in einem Zauber-Labor. Die Entwickler veröffentlichten ein Video, das Handtracking in Waltz of the Wizard zeigt.

Zusätzlich entwickelte Entwickler Aldin eine neue VR-Fortbewegungsmethode, genannt “Telepath”, die den Angaben des Studios zufolge Motion Sickness verhindern soll. Telepath ist auch per Handtracking möglich. Das folgende Video gibt euch einen Eindruck davon.

Wir haben diese neuen Funktionen in unserem Waltz of the Wizard Test geprüft. Obwohl vielversprechend, leidet das Handtracking in komplexen Spielen und Apps unter noch nicht ausgereiften Tracking-Technik.

Haptisches Feedback mit Handtracking: Dein Tisch in VR

Mit der App “Haptic Feedback – Virtualize your table” (siehe Link weiter unten) könnt ihr in der Einrichtungsphase mit den Händen die Höhe eurer Tischplatte verwenden.

Wenn ihr dann die rudimentären Demo-Anwendungen ausprobiert, etwa Buttons bedienen, ein Produkt drehen und betrachten sowie auf einer weißen Fläche malen, bekommt ihr haptisches Feedback durch euren realen Tisch.

Beat Saber mit den Fingern

Beat Saber (Test) ist eine Erfolgsgeschichte für VR. Das Spiel führt eigentlich dauerhaft die Toplisten für VR-Spiele (Release-Liste) an.

Entwickler Daniel Beauchamp experimentiert schon länger mit Handtracking und hat jetzt eine clevere Beat Saber-Variante vorgestellt: Mini Beat Saber mit den Fingern. Schaut euch das coole Video hier an.

Miniature Beat Saber. Would you play it? pic.twitter.com/LtKgXB2Z4B
— Daniel Beauchamp (@pushmatrix) May 12, 2020

Oculus Quest Handtracking: Updates

Firmware Update 13
Mit Update 13 wurde die Performance des Handtrackings verbessert. Außerdem könnt ihr automatisch vom Handtracking zu den Controllern wechseln, indem ihr sie in die Hand nehmt und verwendet. Alle Infos zum Oculus Quest-Update 13 findet ihr in unserer Update-News.
Oculus Browser 8.0
Das aktuelle Update für Oculus Browser fügt Handtracking-Support für WebXR-Apps hinzu. Allerdings werden die Hände nicht dargestellt, sondern als Controller emuliert. Um das Handtracking in Oculus Browser zu aktivieren, navigiert im Oculus Browser zur Webadresse chrome://flags und schaltet das Handtracking und die gewünschte Variante dort ein.
Oculus Quest Update 16
Die Grenzen eures Spielbereichs können jetzt mit den Händen statt mit dem Touch-Controller eingezeichnet werden.

Oculus Quest Handtracking: Aktivieren, Einstellungen & Anwendung

Aktivierung & Kalibrierung

Um das Handtracking generell verwenden zu können, müsst ihr über die Menüpunkte „Einstellungen“ und „Alle Ansehen“ zu „Experimentelle Funktionen“ navigieren und dort den Punkt „Handtracking“ aktivieren. Danach müssen die Hände durch Aufnahme von Bildern kalibriert werden.

Dabei spielt beispielsweise die Größe unserer Hände und ihre Position in VR eine Rolle. Oculus gibt an, dass keine Bilder oder sogenannte „geschätzte Punkte“ (etwa die Position der Gelenke) unserer Hände gespeichert oder anderweitig verarbeitet werden. Sie werden wieder gelöscht, sobald die Kalibrierung abgeschlossen ist

Nutzung der eigenen Hände in VR

Im Menü der Oculus Quest könnt ihr nun mit dem Controller direkt auf den Menüpunkt „Hände verwenden“ anklicken und damit das Handtracking aktivieren. Tipp: Befestigt eure Controller über die Schlaufen an eurem Handgelenk und lasst sie dort baumeln. Wenn ihr sie in die Hand nehmt und ggf. einschaltet, wechselt die Eingabemethode automatisch auf die Controller.

Der Wechsel zurück zu den Händen kann automatisch erfolgen, wenn die Controller ruhig im Trackingbereich abgelegt werden. Das funktioniert aber nicht immer zuverlässig, gegebenenfalls muss die Schaltfläche im Menü wieder angewählt werden.

Quelle der obigen Demo: Dennys Kuhnert / Acetylan

Eure Hände sind jetzt als VR-Modelle zu sehen, sobald sie sich im Sichtfeld der Frontkameras der Oculus Quest befinden. Das schränkt die exakte Nutzung ein wenig ein, die beste Performance erhaltet ihr relativ frontal vor der VR-Brille, aber nicht zu weit entfernt. Ihr könnt eure Hände ganz natürlich bewegen, allerdings werden beide Hände derzeit ausgeblendet, wenn sie sich zu nahe kommen.

Zwischen Zeigefinger und Daumen befindet sich ein Marker, der als Pointer dient und auf einen großen Punkt zeigt, den ihr über Menüs und durch den Raum bewegen könnt. Führt ihr Zeigefinger und Daumen zusammen, könnt ihr etwa Programme starten oder mit einer passenden Handbewegung durch Menüs scrollen.

Um einen Menüpunkt oder ein Programm zu öffnen, etwa den Oculus Browser, müsst ihr den Zeigepunkt für kurze Zeit auf dem jeweiligen Button halten und Zeigefinger und Daumen kurz zusammenführen. Das Programm startet dann.

Wollt ihr einen Text eingeben, etwa im Browserfenster, erscheint das Tasten- und Zahlenfeld, aber leider nicht in Reichweite unserer Hände. Wir können also nicht mit dem Zeigefinger die entsprechenden Ziffern einfach antippen. Es bleibt hier bei der gleichen Funktionalität der Auswahl von Buchstaben durch Zusammenführen von Zeigefinger und Daumen, während der Cursor-Punkt auf der gewünschten Ziffer liegt.

Oculus Quest Handtracking: Spiele & Apps in der Übersicht

Von Haus aus unterstützen unter anderem das Quest-Menü, der Oculus-Browser oder Oculus TV das Handtracking. Ihr könnt auch die Einstellung der Guardian-Begrenzung mit den Händen vornehmen.

Seit dem 28. Mai 2020 ist Handtracking nun auch als Feature in Apps und Spielen erlaubt, die über den offiziellen Quest-Store vertrieben werden.

Andere Apps und Spiele sind nur über sogenanntes Sideloading (beispielsweise mittels SideQuest) zugänglich. Wie das funktioniert sagen wir euch in unserer Anleitung zum Sideloading für Oculus Quest. Die folgenden Apps und Spiele beinhalten Handtracking:

Native Apps & Spiele, die Handtracking unterstützen

Name	Art	Preis	Link
Oculus Quest Menü	Menü	–	–
Oculus Browser	App	kostenlos	–
Oculus TV	App	kostenlos	–

Handtracking Spiele & Apps, die Sideloading erfordern

Name	Art	Shop	Preis	weitere Infos
Elixir	Spiel	Oculus Quest Store	kostenlos
Hand Physics Lab	Spiel / Demo	SideQuestVR	kostenlos
HandSpace	App	SideQuestVR	kostenlos
Haptic Feedback – Virtualize your table	App	SideQuestVR	kostenlos
Might of The Gods: Sun Shard	Spiel / Demo	SideQuestVR	kostenlos
MRTK Hands (+controllers) for Quest	App	SideQuestVR	kostenlos
Oculus Handtracking SDK Demo	Demo	SideQuestVR	kostenlos
Scribble	App / Kunst	SideQuestVR	kostenlos
Tea For God	Spiel	SideQuestVR	kostenlos
The Curious Tale of the Stolen Pets	Spiel	Oculus Quest Store	14,99 Euro	The Curious Tale of the Stolen Pets (Test)
Virtual Piano	App / Musik	SideQuestVR	kostenlos	Virtual Piano
Waltz of the Wizard Extended Edition	Spiel	Oculus Quest Store	9,99 Euro	Waltz of the Wizard (Test)

Quelle der obigen Demo: Dennys Kuhnert / Acetylan

Fazit zum Handtracking: Vielversprechend, braucht aber bessere Trackingtechnik

Mit der finalen Veröffentlichung wird Oculus zwar die Verbesserungen am Handtracking-Feature nicht einstellen. Aber offenbar ist für die Facebook-Tochter der Punkt erreicht, an dem es gut genug funktioniert, um es offiziell für den Quest Store zuzulassen.

Im Menü, beim Stöbern in der Bibliothek, bei der Einstellung der Guradian-Grenzen und ähnlichen Funktionen ist Handtracking schon jetzt eine echte Bereicherung. Ich brauche die Touch-Controller eigentlich erst, wenn ich ein Spiel starte.

Und mittlerweile nicht einmal mehr das: Ein paar VR-Spiele unterstützen auch das Handtracking, etwa Waltz of the Wizard Extended Edition (Test). Im ersten Moment ist das Handtracking auch hier beeindruckend und in streckenweise wunderbar natürlich.

Aber die technischen Limitationen durch das Tracking lassen es noch nicht als vollwertige Lösung zu. Das Handtracking funktioniert nur in einem sehr engen Bereich zuverlässig: Sobald die Hände zu weit weg sind (und ich muss sie dafür nicht einmal ausstrecken), werden sie ausgeblendet. Ebenso, wenn sich die Hände zu nahe kommen oder überlappen.

Außerdem muss ich oft sehr explizit greifen oder die Hände bewegen, damit meine Bewegungsintention einigermaßen sauber erkannt und umgesetzt wird. Gerade schnellere Bewegungen interpretiert das Tracking oft fehl, was dazu führt, dass die Natürlichkeit der Bedienung gleich wieder flöten geht.

Also alles Mist? Auf gar keinen Fall. Vergessen wir nicht: Es handelt sich immer noch um eine frühe Version des Handtrackings. Ich bin davon überzeugt, dass es die Zukunft für VR-Bedienung ist: Wenn es sauber funktioniert, etwa in den Menüs oder partiell auch in den Spielen, ist es herrlich natürlich. Wenn eine kabellose VR-Brille schon ein erhebliches Freiheitsgefühl bringt, dann erhöht Handtracking das nochmal um die intuitive Nutzung und Interaktion mit der virtuellen Realität mittels eigener Hände.

Dieses noch sehr experimentelle Feature zeigt sehr gut, dass Controller für VR-Brillen (Vergleich) nur eine Übergangslösung sind und irgendwann möglicherweise großflächig durch Handtracking abgelöst werden können. Doch damit es dazu kommen kann, muss auch die Hardware besser werden: Die Kameras müssen meine Hände schneller und genauer tracken, die Latenz muss deutlich gesenkt und der Trackingbereich deutlich erhöht werden.

Dafür wird es wahrscheinlich eine Oculus Quest 2 benötigen. Bis dahin ist Handtracking aber immerhin schon für Menü-Bedienung geeignet und bei VR-Spielen ein cooles Feature, um das weiterführenden Potenzial von Virtual Reality (Guide) zu demonstrieren.