Neue Facebook-KI verwandelt jedes 2D-Bild in ein 3D-Bild
Bislang konnte man 3D-Fotos bei Facebook nur dann schießen, wenn das eigene Smartphone mit einer Dualkamera ausgestattet ist. Dank verbesserten KI-Algorithmen geht das jetzt auch mit einer einzelnen Kamera, bereits aufgenommenen Fotos – und sogar der Mona Lisa.
Facebooks 3D-Fotofunktion rollte erstmals im Herbst 2018 aus. Sie nutzte die bei Dualkamera-Smartphones vorhandene zusätzliche Tiefenebene in Bildern, die durch zwei Perspektiven auf dieselbe Szene entsteht, um Fotos mit einem 3D-Effekt auszustatten.
Ein Algorithmus schätzt die räumliche Tiefe eine Szene anhand zahlreicher Doppelbilder aus verschiedenen Perspektiven. Der 3D-Effekt wird im Facebook-Stream sichtbar, wenn man das Smartphone in verschiedene Richtungen neigt oder in Virtual Reality seinen Kopf bewegt.
KI schätzt Tiefenebenen
Um 3D-Fotos mit Einzelkamera zu ermöglichen, setzten Facebook-Forscher auf maschinelles Lernen. Sie trainierten ein künstliches neuronales Netz mit Millionen Paaren von 3D-Bildern und den ihr entsprechenden Tiefenstrukturen, sogenannten Depth Maps.
So lernten die KI-Algorithmen, passende Tiefenebenen in 2D-Bilder hineinzuinterpretieren. Eine Doppelkamera für ein 3D-Foto ist nach dem KI-Training nicht mehr notwendig.
Damit dieser Rechenvorgang in Echtzeit auf einem Smartphone-Prozessor ablaufen kann, optimierten die KI-Entwickler die Algorithmen umfassend. Mehr zu den technischen Details des Optimierungsprozesses steht in Facebooks Blog-Eintrag.
Der nächste Schritt: 3D-Tiefenberechnung für 2D-Videos
Dank der KI-Technik steht die 3D-Fotofunktion nun viel mehr Smartphone-Nutzern zur Verfügung. Facebook nennt ein iPhone 7 oder ein Android-Smartphone der Mittelklasse als Mindestvoraussetzung. Um ein 3D-Foto zu erstellen, wählt man in der Facebook-App zunächst “Beitrag erstellen” und anschließend den Punkt “3D-Foto”.
Mit der KI-Tiefenschätzung können nun sogar bereits aufgenommene Fotos oder Bilder von Kunstwerken wie der Mona Lisa nachträglich mit einem 3D-Effekt ausgestattet werden. 3D-Selfies mit der Smartphone-Frontkamera sind ebenfalls möglich.
Facebook will die KI als Nächstes mit Smartphone-Videos trainieren. Dies könnte zum einen in Ansätzen volumetrische Filme ermöglichen, also Videos, in denen man die Perspektive frei verändern kann ähnlich wie in einem Computerspiel.
Zum anderen lernt die KI mit dem Videotraining noch besser, Bilder räumlich zu deuten. Das könnte zum Beispiel Robotern bei der Navigation helfen oder Mixed-Reality-Brillen bei der Echtzeitrekonstruktion der physischen Umgebung.
Titelbild und Quelle: Facebook
Weiterlesen über Facebook XR-Forschung:
Filed under: Apps,KI-Training,Künstliche Intelligenz,Tools - @ 29. Februar 2020 10:02