Apples AR-Technik wird immer realistischer
Die verbesserte Verdeckungstechnik in iOS 14 integriert digitale Objekte noch realistischer in die Umgebung.
Das neue iPad Pro bietet erstmals einen Lidar-Scanner, der den Raum präziser in der Tiefe vermessen kann als herkömmliche Kameras. Der neue Sensor soll auch im kommenden iPhone Pro stecken.
In Kombination mit dem Weit- und Ultraweitwinkelsensor im Kamerasystem ermöglicht das visuell deutlich realistischere Augmented Reality durch den sogenannten Verdeckungseffekt: Digitale Objekte erscheinen vor oder hinter realen Objekten und verdecken sie beziehungsweise umgekehrt.
Das folgende Video veranschaulicht den Effekt: Mit früherer AR-Technik hätte das Auto einfach durch das digitale Objekt hindurchgeschimmert.
Object Occlusion is rock solid as well!!! pic.twitter.com/GJtK8uKIZA
— usdzshare (@usdzshare) August 25, 2020
iOS 14 und Lidar verbessern Verdeckungseffekte enorm
Die Rendertechnik ist komplex, da das reale Objekt in Bewegung erkannt und genau an der Stelle ausgeblendet werden muss, an der es das digitale Objekt überlagert. Im gleichen Moment ist sie enorm wichtig für visuell glaubhafte Augmented Reality, denn ohne sie bricht schnell die Illusion, dass die digitale Darstellung Teil der Realität ist.
Bei Twitter zeigen Entwickler jetzt, wie groß die Fortschritte sind, die Apple mit der besseren Software ARKit 4 und dem Lidar-Scanner für iOS 14 Beta 6 erzielen konnte: Der Verdeckungseffekt funktioniert präzise an den Kanten der Objekte und ist weitgehend frei von Bildfehlern wie ungewollten Überlagerungen, unsauber ausgeschnittenen Ecken oder Zittern. Das gilt sogar bei animierten Objekten.
Another example with a more complex animated scene. => https://t.co/cVb2YEJMIr pic.twitter.com/8klBrAg9OH
— usdzshare (@usdzshare) August 25, 2020
Verdeckung ist mehr als eine visuelle Spielerei, sie ermöglicht auch neue App-Anwendungen. Beispielsweise könnten digitale Objekte hinter realen verschwinden, sich dort verändern und neu auftauchen, wie die folgende Demo andeutet.
Like this? pic.twitter.com/2N1zE82uwH
— usdzshare (@usdzshare) August 26, 2020
3D-Objekte im Content-Mix
Da Entwickler mit iOS 14 Zugriff auf die rohen Scan-Daten des Kamerasystems haben, dürften außerdem 3D-Scanning-Apps für die neue iPad- und iPhone-Generation deutlich besser werden.
Das könnte eine neue Form des Content-Sharings bringen: Anstatt ein schönes Stück im Museum nur zu fotografieren und zu teilen, könnte man es flott einscannen und als AR-Objekt in Originalgröße an den daheimgebliebenen Partner senden, dem nicht nach Kultur zumute war. Allerdings fehlen hier noch die Textur-Details eines Fotos.
Gerüchteweise hat Apples AR-Brillenprototyp ebenfalls einen LiDAR-Scanner verbaut. Die Technik passt in Apples Privatsphäre-Konzept, da sie im Unterschied zu kamerabasierter Scan-Technik die Umgebung nur abtastet statt filmt. Gerade in einer Brille, die permanent die Umgebung im Blick hat, wäre das ein wichtiger Erfolgsfaktor.
Google integrierte vor einigen Wochen ebenfalls bessere Verdeckungseffekte in die eigene AR-Schnittstelle ARCore. Allerdings hat aktuelle Android-Hardware keinen Lidar-Scanner und der Verdeckungseffekt ist daher insgesamt deutlich weniger präzise als in den neuesten Apple-Demos.
Weiterlesen über Apple XR:
- Apple-Chef Tim Cook spricht über “das nächste große Ding”
- Apples Quest-ähnliche XR-Brille soll 2022 erscheinen
- Apple kauft KI-Startup für saubere Trainingsdaten
Filed under: apple,AR,AR-Technik,Augmented Reality,Tech - @ 28. August 2020 14:52