FingerTrak: Handtracking mit Wärmebildkameras für VR & AR
Wärmebild statt optischem Tracking: FingerTrak will Hand- und Fingertracking für VR, AR und andere Zwecke revolutionieren. Wie funktioniert das?
Eingabemöglichkeiten für Virtual Reality beschränken sich derzeit auf VR-Controller oder Handtracking, etwa durch Hardware-Addons wie LeapMotion oder optisches Handtracking für Oculus Quest oder HoloLens 2 (Ausprobiert).
Der Trend geht bei VR-Controllern zu handlichen Eingabegeräten, die am Handrücken befestigt werden und über Sensoren mehr oder weniger ausgefeiltes Fingertracking erlauben. Die Vorzeigecontroller auf diesem Gebiet sind sicherlich die Valve Index-Controller (Valve Index-Test). Die Controller der Oculus Touch sind zwar ebenfalls sehr handlich, allerdings benötigt man bestimmtes Oculus Quest-Zubehör, um die Controller an der Hand zu befestigen.
Handtracking für VR: Viel Potenzial, viele Probleme
Immerhin ist es seit einiger Zeit möglich, Menüs und diverse Apps und Spiele für die Oculus Quest mit der Hand zu steuern (Quest-Handtracking Info-Guide). Dabei werden Hände und Finger durch die Kameras optisch getrackt. Während dieses Feature grundsätzlich eine sehr gute Idee ist und viel Potenzial für die Zukunft beinhaltet, weist es derzeit noch eine Reihe Probleme auf.
Dazu gehört beispielsweise, dass überlappende Hände nicht angezeigt werden können, das Tracking nur innerhalb eines recht engen Bereiches zuverlässig funktioniert und auch nicht immer sehr genau ist. Forscher der Cornell University sowie der University of Wisconsin haben nun in einer Forschungsarbeit „Fingertrak“ vorgestellt, ein neuartiges Trackingsystem für Hände und Finger.
Fingertracking mit Wärmebildkameras ist schon recht präzise
Fingertrak besteht nur aus einem Armband mit vier Wärmebildkameras (Auflösung: 32 × 24 Pixel), die auf das Handgelenk ausgerichtet sind. Zusätzlich werden auch die Finger aufgenommen.
Die so entstehenden Silhouetten-Bilder werden dann von einer KI (Infos) so zusammengesetzt, dass dabei ein 3D-Modell mit recht genauen Positionen von Fingerspitzen sowie Gelenksstellungen entsteht.
Gleichwohl ist die Präzision noch längst nicht perfekt: Die Forscher geben an, dass die Abweichung der Hand- und Fingerpositionen zwischen sechs und acht Grad beträgt. Dabei spielt der Hintergrund, vor dem die Aufnahme gemacht wird, eine Rolle.
Fingertrak: Noch ein weiter Weg zur Marktreife
Für die Berechnung verwendet der Prototyp ein Raspberry Pi-Board. Spätere Versionen könnten mit einem Smartphone oder direkt mit einer VR-Brille (Vergleich) oder AR-Brille verbunden werden, gegebenenfalls sogar kabellos.
Abseits von Virtual Reality (Guide) oder Augmented Reality-Anwendungen könnte FingerTrak für die Steuerung von Robotern bzw. Roboterarmen benutzt werden. Außerdem sind Anwendungen im Bereich der Gesundheitstechnik denkbar, etwa Früherkennung von Parkinson und Alzheimer.
Bei FingerTrak handelt es sich allerdings noch um sehr frühe Forschungsarbeit. Eine irgendwie geartete Umsetzung für den Anwendermarkt ist noch weit entfernt. Außerdem stellt sich die Frage, inwieweit dieses System als Controller-Ersatz für VR- oder AR-Anwendungen wirklich geeignet ist.
Was geschieht, wenn beide Hände nah beieinanderliegen oder sich überlappen? Wie hält das System Finger und Hände auseinander? Lässt sich die Präzision signifikant steigern? Auf diese und mehr Fragen müssen die Forscher für ein marktreifes Produkt noch Antworten finden. Das Forschungspapier dazu könnt ihr hinter dem folgenden Link finden.
Titelbild & Quelle: Link
via: VentureBeat
Weiterlesen zu Handtracking und VR-Controllern:
- Haptik-VR: Die coolsten Produkte für Gefühl in VR
- Quest-Handtracking für die Entwicklung realistischer Hand-Posen in VR
- PSVR 2: Sony-Forscher zeigen Fingertracking-Controller
Filed under: AR-Technik,Augmented Reality,Innovation,Künstliche Intelligenz,Tech,Virtual Reality,VR,VR-Controller,VR-Technik - @ 22. Juli 2020 12:42