spatialcomputing.info

Sony sieht ein 3D-Zeitalter kommen, in dem man Konzerte in Virtual Reality besucht oder ins eigene Wohnzimmer projiziert. Nun gibt das Unternehmen einen ersten Einblick in die Forschung und Entwicklung der dafür benötigten 3D-Aufnahmetechnik.

Anfang des Jahres eröffnete Sony im japanischen Hauptquartier ein Studio für volumetrische Aufnahmen. Als Erstes wurde eine Gruppe professioneller Seilspringer eingefangen. Im Raum verteilte Kameras zeichneten die Bewegungen von allen Seiten auf.

Ein Computer-Vision-Algorithmus fügte das flache Filmmaterial anschließend zu einem 3D-Video zusammen. Das Ergebnis ist eine Hologramm-ähnliche Abbildung der Seilspringer, das man von beliebigen Perspektiven aus anschauen kann, also auch von solchen, die von den einzelnen Kameras gar nicht eingefangen wurden. Damit die Personen im fertigen Video natürlicher wirken, setzte Sony zusätzlich KI-Technologie ein.

Sony will 3D-Videoherstellung erleichtern

Sony-Forscher sehen in dem Holo-Capturing eine Weiterentwicklung von 360-Grad-Aufnahmetechniken. Die 3D-Videos sollen Nutzern erlauben, Szenen zu begehen und aus verschiedenen Perspektiven zu betrachten.

Um die Technologie voranzubringen, will Sony die Herstellung und Distribution von 3D-Videos vereinfachen. Sinkt die technische Komplexität, so Sonys Hoffnung, wird das Holo-Capturing in der Unterhaltungsbranche und im Marketing ankommen. Sony denkt zum Beispiel an Konzerte, die man mit der VR-Brille (Vergleich) besucht oder per AR auf die Tischplatte projiziert.

“Indem wir auf Sonys bestehende Geschäftsfelder sowie Bild- und Videotechnik zurückgreifen, können wir kostengünstige und qualitativ hochwertige 3D-Videos aufzeichnen und so zur Schaffung eines neuen Geschäftsfelds beitragen, das sowohl professionelle Anwender als auch Normalverbraucher betrifft”, sagt Sony-Forscher Yoichi Hirota.

Die Cloud und 5G als Grundlage der 3D-Zukunft

Noch steckt das Holo-Capturing in den Kinderschuhen. Für ein immersives Erlebnis müsse besonders die Auflösung und Bildwiederholrate verbessert werden, sagen die Forscher. Dies wiederum erhöhe den Speicherbedarf. Schon jetzt zeichneten die Kameras in Sonys Studio bis zu 100 Gigabyte Daten pro Sekunde auf.

Damit man die 3D-Videos dennoch auf tragbaren Endgeräten wie Smartphones und mobilen Techbrillen in Echtzeit abspielen kann, entwickelt Sony eine eigene Cloud-Lösung. Der Ausbau des 5G-Netzes soll das Streaming großer Videodateien erleichtern und neue Anwendungsszenarien ermöglichen.

“Mit 5G-Technologie kommen wir einer Ära näher, in der VR-Inhalte von jedem erlebt werden können. Wir werden in der Lage sein, 3D-Inhalte natürlich und frei aufzuzeichnen und zu teilen, so wie wir es heute mit 2D-Bildern und -Videos tun”, sagt Hirota über seine Zukunftsvision.

Noch weit von der Marktreife entfernt

Der Sony-Forscher glaubt, dass sein Unternehmen schon heute besseres Holo-Capturing als die Konkurrenz bietet: Sonys Technologie solle mit verlgeichsweise wenigen Kameras schon jetzt größere Bereiche mit mehreren Personen gleichzeitig in einer guten Qualität räumlich einfangen können.

Einen Beweis bleibt der Forscher schuldig und nimmt man das Youtube-Video (siehe unten) als Bemessungsgrundlage, so ist dem Unternehmen noch kein Durchbruch gelungen: Die menschlichen Hologramme wirken recht grob und die Bewegungen ruckelig. Vergleichbare Demonstrationen zeigte Microsoft schon 2016.

Zwar zeigte Sony zuvor zwei volumetrische Videos von beeindruckender Qualität für Playstation VR. Die wurden jedoch mit einer anderen, sehr aufwendigen Methode aufgezeichnet und bieten eine geringe Bewegungsfreiheit: Nutzer können den Kopf in alle Richtungen um circa einen halben Meter in den Raum hineinbewegen. Von begehbaren 3D-Videos sind diese Beispiele weit entfernt.

3D-Videotechnik für Telepräsenz

Beide VR-Videos zeigen nicht von ungefähr Musiker: Sony betreibt ein großes Plattenlabel und sieht auch wegen der Pandemie ein großes Potenzial in virtuellen Konzerten. Das geht aus dem jüngsten Unternehmensbericht und Aussagen des Sony-Chefs Kenichiro Yoshida aus dem Mai 2020 hervor.

“Die Herausforderung ist, Live-Konzerte in Echtzeit und immersiv zu übertragen. Wir experimentieren mit Konzert-Streaming in VR, aber die Erfahrung muss noch angenehmer werden”, sagt Yoshida.

Ein anderes, noch weiter in der Zukunft liegendes Anwendungsszenario für die 3D-Aufnahmetechnik sind Telepräsenz-Anwendungen. Nutzer sollen sich selbst und ganze Räume in 3D übertragen können mit einer frei wählbaren Perspektive. Dafür müsste die Technologie allerdings weiter miniaturisiert und vereinfacht werden.

steady2

---

Filed under: Events in VR,Innovation,Tech,Virtual Reality - @ 1. November 2000 10:05