spatialcomputing.info

Facebook stellt Fortschritte in Audiotechnologie vor, die das menschliche Gehör auf die nächste Stufe heben und an jeden Ort der Welt teleportieren soll.

Facebooks Audioforscher haben zwei Ziele: ein virtuelles Audioerlebnis erschaffen, das von der Realität nicht zu unterscheiden ist und das menschliche Hörvermögen erweitern. Ersteres soll Audiopräsenz ermöglichen, also das Gefühl, an einem vollkommen anderen Ort zu sein. Letzteres soll Menschen “perzeptuelle Superkräfte” verleihen. Dazu später mehr.

Um Audiopräsenz zu erreichen, entwickelte das Forschungsteam um Ravish Mehra spezielle Audioverarbeitungsalgorithmen sowie einen prototypischen Kopfhörer, der mit Mikrofonen und vor den Ohren schwebenden Minilautsprechern ähnlich Valve Index (Test) ausgestattet ist.

Eine Testperson des Forschungslabors durfte sich den Kopfhörer aufsetzen, der daraufhin zwei Minuten lang Umgebungsgeräusche aufnahm. Danach spielte Facebook die Aufnahmen ab. Laut der Testperson war die Audiowiedergabe praktisch nicht zu unterscheiden von der zuvor vernommenen realen Geräuschkulisse.

Personalisierte Hörprofile

Als Nächstes wurde die Testperson in eine Absorberkammer geführt. Hier gaben während einer halben Stunde 54 rotierende Lautsprecher Töne von sich, während Facebook-Forscher maßen, wie die Klänge auf die individuelle Ohrform der Testperson reagieren.

Das Ergebnis ist ein digitaler Abdruck des persönlichen Hörens, in der Fachsprache HRTF (“Head-Related Transfer Function”) genannt, der, durch Kopfhörer simuliert, ein extrem realistisches Audioerlebnis ermöglicht. Herkömmliche Audiolösungen nutzen einen Durchschnitts-HRTF, der die Audiowiedergabe je nach Ohrform stark beeinträchtigt und unnatürlich wirken lässt.

Die Forscher hoffen, dass sie dereinst in der Lage sein werden, individuelle HRTFs auf einfachere Weise zu erstellen, etwa mittels eines Algorithmus, der den persönlichen HRTF auf Basis einer Fotografie der Ohren ableitet.

Simulation von Raumakustik

Das persönliche, auf der eigenen Ohrform beruhende, Hören ist nur ein von zwei Puzzleteilen für Audiopräsenz. Das andere ist eine möglichst realistische Nachahmung der Raumakustik.

Für die nächste Demo setzte sich die Testperson erneut den Kopfhörerprototyp auf. Um die Testperson herum waren herkömmliche Lautsprecher angeordnet. Während der Demo musste die Testperson sagen, ob Geräusche von den Kopfhörern oder den Lautsprechern kommen. Dabei lag sie nur in etwa 50 Prozent der Fälle richtig, so realistisch wirkte das 3D-Audio und die simulierte Raumakustik.

In einer weiteren Demo wurde der Testperson eine Kombination aus Video- und Audiopräsenz vorgeführt. Hierfür trug sie eine modifizierte Oculus Rift und die Spezialkopfhörer.

Durch die VR-Brille gesehen, saß die Testperson an einem Tisch mit Facebook-Forschern, die sich in einem anderen Raum befanden. Eine Vorrichtung mit 32 Mikrofonen nahm die Geräusche in jenem Raum auf und übertrug sie in die Kopfhörer. Das 3D-Audio soll so echt gewirkt haben, dass die Testperson das Gefühl hatte, im gleichen Raum zu sitzen und genau ausmachen konnte, aus welcher Richtung einzelne Personen sprachen.

AR-Brille mit automatischem Audiofilter

Das zweite große Ziel neben Audiopräsenz ist die Erweiterung des menschlichen Hörvermögens. Die hierfür entwickelte Technologie soll dereinst in AR-Brillen Marke Facebook Eingang finden.

Die Wissenschaftler stellen sich ein Gerät vor, das mit mehreren Mikrofonen ausgestattet ist. Kopf- und Augenbewegungen werden von Sensoren erfasst, sodass die AR-Brille herleiten kann, auf was man sich in der Umgebung fokussiert. Das Gerät soll daraufhin die Geräuschquelle, auf die man sich konzentriert, automatisch verstärken und dabei zugleich das Umgebungsrauschen reduzieren. So die Vision der Forscher.

Facebook wollte die Anfänge dieser Technologie demonstrieren und führte die Testperson in einen Raum, der eine laute Restaurantumgebung simulieren soll. Mit im Raum war ein Facebook-Forscher. Die Testperson setzte sich die Kopfhörer und ein Eyetracking-System auf. Die Forscher erhöhten daraufhin den künstlichen Lärmpegel.

Die Testperson konnte sich dank der Audiotechnologie mit dem Forscher weiter normal unterhalten, weil die lauten Nebengeräusche herausgefiltert wurden. Ein kurzer Blick auf den Fernseher verstärkte die Geräusche, die von der Mattscheibe ausgingen. Als sie sich wieder dem Forscher zuwandte, hörte sie diesen wieder klar und deutlich.

Daten fließen in Facebooks AR-Cloud

In der nächsten Audiodemo wurde die Testperson von einem Forscher aus einem anderen Raum angerufen. Der Forscher trug eine Brille mit integrierten Mikrofonen und war von zwei lärmenden Lautsprechern umgeben. Dank Facebooks aktivem Noise-Cancelling hörte die Testperson den Forscher einwandfrei.

Die Technologie könnte eines Tages sprachliche Interaktion mit KI-Assistenten in lauten Umgebungen ermöglichen. Das hätte den zusätzlichen Vorteil, dass andere nicht mithören können.

Das wiederum funktionierte nur durch raffinierte Datenschutzmechanismen. Schließlich wäre es mit der beschriebenen Technologie möglich, Menschen in Cafés, Restaurants und auf der Straße perfekt auszuspionieren. Facebook nennt als eine von vielen möglichen Lösungen ein Sicherheitsprotokoll, über das Brillenträger anderen Nutzern zuerst die Erlaubnis zum Mithören erteilen müssen.

Die von solchen AR-Brillen aufgezeichneten Geräusche sollen Facebooks AR-Cloud-Projekt LiveMaps mit auditiven Kontexten füttern, sodass das System zum Beispiel erkennt, ob man ein Restaurant betritt und Umgebungsgeräusche automatisch herausfiltert.

Quelle und Titelbild: Facebook

Weiterlesen über Facebooks XR-Forschung:

• Facebook: “Wir bestimmen, wann VR 2.0 startet”
• Facebooks bestmögliche AR-Brille ist noch viele Jahre in Entwicklung
• Facebook-Forschung: Sprunghafter Anstieg bei XR-Patenten

steady2

---

Filed under: AR-Technik,Augmented Reality,Innovation,Tech,VR-Technik - @ 4. September 2020 10:02