spatialcomputing.info

Hololens hat dank Tiefensensoren ein räumliches Verständnis der Umgebung. Diese Fähigkeit kann Menschen mit Sehschwäche helfen, im Raum zu navigieren.

Forscher des California Institute of Technology und der University of South California zeigen in einer wissenschaftlichen Publikation, wie Hololens als visuelle Prothese eingesetzt werden kann.

Die AR-Brille erstellt in Echtzeit ein 3D-Abbild des Raums und gibt Sehbehinderten über Töne und Sprachausgabe Aufschluss über die reale Umgebung. Wände geben Zischlaute von sich, wenn sich der Nutzer nähert. Objekte, die in das  Sichtfeld des Hololensträgers geraten, werden per Sprachausgabe angekündigt. Der Nutzer kann außerdem ein einzelnes Objekt markieren, sodass die AR-Brille Audiosignale von sich gibt, bis es sich unmittelbar vor dem Hololensträger befindet.

Die Forscher führten Tests mit sieben Blinden durch. Die mussten ohne vorherige Einweisung eine Reihe von Aufgaben ausführen. Die Nutzer konnten mit Hololens schnell und verlässlich gesuchte Objekte aufspüren und auf sie zeigen sowie einen Stuhl in einem anderen Raum finden. Dank der AR-Brille konnten sie zudem gekonnt Hindernissen ausweichen.

Die AR-Cloud fehlt

In einem zweiten Versuch mussten die Testpersonen vom Eingang eines Gebäudes zu einem Raum im zweiten Stock laufen. Das Gerät half durch Sprachausgabe bei der Navigation, indem es den Laut “Folge mir” und Richtungsanweisungen von sich gab. Die Hololens warnte die Testpersonen zudem vor Treppen und machte auf die räumliche Position des Geländers aufmerksam. Alle sieben Testpersonen fanden den Raum im zweiten Stock. Ein Video zeigt den Verlauf des Experiments am Beispiel eines Testsubjekts.

Für gezielte Raumnavigation, in der Nutzer mittels Sprachausgabe von Punkt A nach B gelotst werden, müssen die Räume vorab gescannt werden. Hier könnte in Zukunft die AR-Cloud Abhilfe schaffen, ein 3D-Kartografierungsdienst, der AR-Geräte millimetergenau in realen Räumen verortet. An einer solchen Technologie arbeitet unter anderem Google.

Ebenfalls von großem Nutzen wäre Objekterkennung etwa mittels maschinellem Lernen. So könnte eine AR-Brille sehbehinderten Nutzern sagen, was für Objekte sich im Sichtfeld befinden.

Der Hololens-Entwickler Javier Davalos präsentierte Anfang 2017 eine ähnliche Lösung wie die Caltech-Forscher. Für die Navigation durch virtuelle Räume gibt es ebenfalls schon Lösungen in Form eines VR-Blindenstocks.