Atlas: KI-basierte 3D-Rekonstruktion mit nur einer Kamera
Forscher von Magic Leap präsentieren eine KI-gestützte Methode, um Szenen in 3D einzufangen – mit nur einer RGB-Kamera.
Die Atlas getaufte Methode besteht aus einem zweistufigen KI-Verfahren, das aus flachen 2D-Aufnahmen eine 3D-Umgebung generiert. Eine vorherige 3D-Analyse der Umgebung beispielsweise über Stereokameras oder ein spezielles Radarsystem ist nicht notwendig.
Die Forscher gehen davon aus, dass die KI-gestützte Rekonstruktion auf Basis von 2D-Bildern effizienter ist als auf 3D-Daten basierte Verfahren. Ihr Forschungsergebnis sehen sie als Beweis für diese Hypothese.
Links ist das komplette 3D-Modell zu sehen, in der Mitte die Atlas-Rekonstruktion. Das rechte 3D-Modell wurde mit MVDepthNet ebenfalls KI-gestützt erstellt auf Basis von stereoskopischen Aufnahmen. | Bild: Murez et al.
Ein auf Bildanalyse optimiertes neuronales Netz segmentiert die einzelnen 2D-Bilder unabhängig voneinander und erstellt ein einfaches auf den Kameradaten basiertes Voxel-3D-Modell.
Diese sogenannte Rückprojektionstechnik muss man sich so vorstellen, als würde man einen Gebäudeplan aufzeichnen, indem man um das Gebäude herumgeht und durch jedes Fenster schaut. Man sieht nicht alles, aber aus den vielen unterschiedlichen Perspektiven kann ein stimmiges Gesamtbild der Innenräume aufgezeichnet werden.
KI-Rekonstruktion: Besser als 3D-Scanner?
Ein zweites für 3D-Distanzschätzung trainiertes neuronales Netz verfeinert und ergänzt das 3D-Modell. Die Forscher können so ein vollständiges 3D-Modell einer Szene erstellen, sogar von Bereichen, die beim Scanvorgang verdeckt sind.
Die KI füllt diese blinden Flecken mit passender Bildinformation, die sie beim KI-Training mit dem Datensatz ScanNet gelernt hat, der hochwertige und dokumentierte 3D-Scans enthält.
Die KI kann Szenen in 3D-Scans eigenständig mit Bildinformationen füllen an Stellen, die a) unvollständig oder ungenau eingescannt wurden oder b) gar nicht erfasst wurden. | Bild: Murez et al.
Laut der Forscher schlägt ihr KI-gestütztes 2D-3D-Rekonstruktionsverfahren quantitativ und qualitativ gängige und aufwendigere Verfahren, die auf Hardware-basierte 3D-Analyse der Umgebung setzen.
Schnelle PC-Hardware ist allerdings Voraussetzung: Aktuell läuft die Rekonstruktion mit circa 14 Bildern pro Sekunde auf einer Nvidia Titan RTX. Die Anwendung der 3D-Rekonstruktion beispielsweise für eine schlanke AR-Brille, die den Raum in Echtzeit in 3D vermisst und digitale Objekte exakt darin platziert, liegt daher noch in weiter Ferne.
Die Forscher stellen ihren Quellcode kostenlos bei Github zur Verfügung. Weitere Informationen und die wissenschaftliche Veröffentlichung gibt es auf der offiziellen Projektseite.
Weiterlesen über 3D-Scanning:
- 3D-Journalismus: New York Times macht Schauplätze begehbar
- Canvas: Profi-3D-Scanning-App für iPad Pro
- Aus 2D wird 3D: Facebook stellt beeindruckende KI-Tricks vor
Filed under: 3D,Apps,Künstliche Intelligenz,Tools - @ 8. August 2020 12:57