Gripmarks: Ersetzen Cola-Dose und Filzstift den VR-Controller?
Forscher der Facebook Reality Labs wollen, dass ihr Mixed-Reality-Anwendungen künftig mit dem Gegenstand steuert, den ihr gerade in der Hand habt.
In der linken Hand haltet ihr ein Buch und in der rechten einen Stift. Wie sollt ihr da noch die AR-Brille auf eurem Kopf bedienen? Ein Forschungsteam aus Mitgliedern der Facebook Reality Labs und der Universität von British Columbia will euch künftig das Leben erleichtern und Buch und Filzstift via Handtracking zum Eingabegerät machen.
So sollt ihr Alltagsgegenstände als Controller nutzen
Mit dem “Gripmarks”-System soll künftig aus einem Alltagsgegenstand ein Mixed-Reality-Eingabegerät werden. So spart ihr euch den Controller und nutzt stattdessen den Gegenstand, den ihr gerade in der Hand haltet.
Mit Gripmarks könnt ihr eure Cola-Dose als Taschenrechner nutzen. BILD: Facebook Reality Labs
Funktionieren soll das folgendermaßen: Ihr nehmt eine Cola-Dose in die Hand. Eine AR-Brille oder VR-Brille (Vergleich) trackt die Haltung eurer Hand und eine Software gleicht die Griff-Punkte eurer Finger mit gespeicherten Griffmustern ab. Erkennt sie die Griff-Haltung, berechnet sie das in diesem Fall zylindrische Objekt, ohne dass es direkt erfasst und verfolgt werden muss.
Mit der anderen Hand führt ihr eine Aktivierungs-Geste auf dem Objekt aus, ähnlich der Gestensteuerung auf eurem Smartphone. Damit bestimmt ihr Ort und Größe des virtuellen Eingabefeldes, das auf dem Objekt erscheinen soll.
Nun habt ihr das Bedienfeld eines Media-Players oder die Tasten eines Taschenrechners direkt auf dem Gegenstand. Ihr haltet also tatsächlich eine Dose in der Hand, auf der ihr tippt und haptichen Widerstand spürt, während ihr zusätzlich virtuell oder in VR eine zylindrische Fernbedienung mit Eingabefeld seht.
Verschiedene Eingabemethoden sollen durch Gripmarks möglich werden
Neben einer zweihändigen Steuerung soll auch die Eingabe mit nur einer Hand möglich werden. Als Beispiele führt das Forschungsteam in seinem Bericht eine Sprühflasche und einen Filzstift an. Haltet ihr den Stift in der Hand, wischt ihr darauf mit dem Daumen nach links und rechts oder tippt, um eine Eingabe zu bestätigen.
Mit dem “Pistolen-Griff” und dem “Clicker-Griff” könnt ihr Sprüh-Container oder Stifte zur Eingabe nutzen. BILD: Facebook Reality Labs
Mit der Sprühflasche zielt ihr beispielsweise auf einen virtuellen Button und drückt den Sprüh-Hebel, um ihn zu aktivieren. Das System erkennt bisher fünf Griffmuster: Das Greifen eines Buches oder einer Geldbörse, eines zylindrischen Gegenstands, einer Pistolen-Form, wie etwa bei der Sprühflasche und einen Klicker-Griff mit dem Filzstift. Dazu kommt noch ein Kugel-Griff, wie bei einem Apfel.
Gripmarks funktioniert bisher nur mit Motion-Capturing
Um ihre Versuche zu visualisieren, nutzte das Team eine VR-Anwendung und eine Oculus Rift S (Test) mit einem auf Motion-Capturing basierendem Handtracking-System. In einem Video auf Reddit seht ihr die Ergebnisse. Wer also darauf hofft, bald mit einer Spielzeugpistole als VR-Controller in Arizona Sunshine (Test) herumzuballern, muss sich noch etwas gedulden.
Bislang funktioniert “Gripmarks” nur, wenn Objekte und Hände mit einem aufwendigen Motion-Capture-System ausgestattet werden. Das Forschungsteam will sein System allerdings praktikabler machen. Im nächsten Entwicklungsschritt soll Gripmarks nur noch mit Sensor-Handschuhen und optischem Inside-Out-Tracking funktionieren.
Weiterlesen über Handtracking:
Filed under: AR,AR-Technik,Augmented Reality,Innovation,Tech,Virtual Reality,VR,VR-Technik - @ 17. Mai 2020 9:00