Wie Taubstumme in VR dank Handtracking kommunizieren können

Ein Mann trägt eine Oculus Quest VR-Brille. Er hält seine Hände vor die VR-Brille, die sie mit ihren Frontkameras erfasst (Handtracking).

Handtracking für Virtual und Augmented Reality ist noch nicht ganz ausgereift, bietet aber schon jetzt großes Potenzial für virtuelle Gebärdensprache. Das zeigt ein Testlauf mit dem Handtracking von Oculus Quest.

Mit der fortschreitenden Entwicklung von Virtual Reality und Augmented Reality reift auch das Handtracking heran. Brillen wie die Hololens 2 (ausprobiert), Oculus Quest (Test) oder die Controller der Valve Index (Test) bieten bereits recht zuverlässiges Hand- und Fingertracking.

Entwickler zeigen jetzt, dass die digitale Fingererkennung Taubstumme bei der Kommunikation unterstützen kann.

Das Handtracking der Oculus Quest (Infos, Updates & Apps) hat im Mai 2020 offiziell die Beta-Phase verlassen. Inzwischen gibt es einige Spiele und Demos, welche die Hand- und Fingererkennung etwa im Social-VR-Kontext einbringen – darunter ein VR-Raum des Entwicklers Daniel Beauchamp, in dem sich Spieler durch Gesten unterhalten können.

Experten testen Gebärdensprache über Oculus Quest

Die Webseite UploadVR hat im besagten VR-Raum das Handtracking der Quest auf das Potenzial für Kommunikation abgeklopft. Dafür traf sich der Autor mit drei Menschen in VR, die die American Sign Language (ASL) beherrschen – die dominierende Gebärdensprache in den USA und Kanada.

Ein Teilnehmer, Christopher Roe, die grüne Sphäre im Video unten, ist gehörlos. Sein Feedback war daher besonders interessant.

“Obwohl es noch nicht ganz ausgereift ist, ist es großartig. Man könnte auch einen Gruppenchat oder FaceTime nutzen, aber VR bringt ein Gefühl echter Nähe und Präsenz. Das ist etwas, was ich in meiner Jugend oft vermisst habe”, sagt Roe.

Als Kind habe er eine Schule für Gehörlose besucht und die Wochenenden bei seiner Familie gehasst, weil er sich alleine fühlte.

“Ein voll funktionstüchtiges VR-Zeichensprachensystem würde die Welt für taube Menschen, die unter ähnlichen Umständen aufgewachsen sind, deutlich kleiner und angenehmer gestalten. Sie würden das Gefühl bekommen, tatsächlich mit Menschen zusammen zu sein und nicht nur […] in einem abgehackten Webcam-Stream auf einem winzigen Bildschirm.”

Handtracking der Oculus Quest noch mit Luft nach oben

Bei allem Potenzial, die das Handtracking der Oculus Quest für Gebärdensprachler mitbringt, ist das System offensichtlich noch nicht perfekt.

So ist die Qualität der Handerfassung etwa von der Umgebungsbeleuchtung abhängig. Sich überlappende Hände stören zudem die Kameraerfassung und können zu Tracking-Verlusten oder Fehlinterpretationen führen. Ebenfalls dürfen sich Finger einer Hand nicht überkreuzen und diverse grundlegende Handzeichen für Buchstaben wie P, Q, K, M, N und E waren im Test nur schwer abzubilden und zu unterscheiden.

Mit gewissen Limitationen wussten sich die Teilnehmer der Expertenrunde allerdings zu arrangieren: Im Verlauf ihrer Testsession bekamen sie etwa ein Gefühl für die Grenzen, an denen die Quest-Kameras Bewegungen nicht mehr akkurat erfassen konnten. Ebenso lernten sie, ihre Handewegungen zu verlangsamen, um dem System etwas entgegenzukommen.

In diesem Kontext interessant: Cédric Girardin, ein Student der Berner Fachhochschule, programmierte eine VR-App für Oculus Quest, mit der man das Fingeralphabet lernen kann. Sie soll als Lernhilfe für die Gebärdensprache dienen.

Hand- und Fingertracking für VR- und AR-Anwendungen dürfte in Zukunft noch deutlich besser werden. Sony-Forscher beispielsweise experimentieren mit KI-Technik, die beeindruckend präzises Fingertracking möglich macht.

Weiterlesen zum Thema Handtracking in VR:

Filed under: Apps,Social VR,Tools,Virtual Reality,VR,VR in der Bildung - @ 21. Juni 2020 12:49