spatialcomputing.info

In der Netflix-Produktion “The Irishman” wird Robert DeNiro durch ein aufwendiges Verfahren um fast fünfzig Jahre verjüngt. Ein YouTuber will das besser können – mit Deepfake-Freeware. Schlägt die kostenlose Software die Millionen-Dollar-Produktion?

Große Filmstudios investieren Millionen, um Gesichter von Schauspielern mit aufwendiger Technik zu verändern. Moderne CGI und Künstliche Intelligenz beleben sogar bereits verstorbene Schauspieler digital wieder.

Gesichter auf Bildern und in Videos glaubhaft auszutauschen, ist dank KI-Technik – sogenannter Deepfakes – mittlerweile auch für SFX-Laien möglich. Wie ihr Deepfakes selbst erstellt, haben wir für euch mit DeepFaceLab getestet.

Der bekannte Deepfake-YouTuber “Ctrl Shift Face” zum Beispiel nimmt sich gerne berühmte Filme vor und tauscht Gesichter von Schauspielern aus. In “Home Stallone” verjüngte er Rambo und steckte Sylvester Stallone per Deepfake in die Rolle des Kevin “allein zu Haus”.

In der Netflix-Produktion “The Irishman” war das digitale Verjüngen von Schauspielern essenzieller Bestandteil des Films. Über mehrere Jahre arbeiteten Spezialisten an einer Millionen-Dollar-teuren Verjüngungskur für Robert DeNiro, Al Pacino und Joe Pesci.

YouTuber iFake hingegen verjüngte die Schauspieler mit einer kostenlosen Deepfake-Software in nur sieben Tagen.

Scorsese: Kein Performance Capturing für “The Irishman”

Martin Scorseses Netflix-Original “The Irishman” porträtiert die Beziehungen zwischen dem US-amerikanischen Gewerkschaftsführer Jimmy Hoffa (Al Pacino), dem Mafioso Russel Bufalino (Joe Pesci) und dessen “Problemlöser” Frank Sheeran (Robert DeNiro).

Der Film begleitet die Charaktere über einen Zeitraum von mehr als fünfzig Jahren und zeigt die Entwicklung Sheerans vom einfachen Fahrer zum berüchtigten Mafia-Killer. Die Hauptdarsteller um DeNiro, Pacino und Pesci – heute allesamt in ihren Siebzigern – werden durch ein neues Verfahren zum Teil deutlich verjüngt.

Damit das Schauspiel von der Technik unbeeinflusst bleibt, wollte Regisseur Martin Scorsese weg von den üblichen Verfahren wie Performance-Capturing. Die Schauspieler sollten nicht durch Helmkameras oder Marker beeinträchtigt werden.

Beim Performance-Capture-Verfahren filmen Helmkameras die Mimik der Schauspieler. Marker im Gesicht dienen als Referenzpunkte, um in der Nachproduktion die Gesichter digital zu verändern.

Diese Technik kam beispielsweise bei James Camerons “Avatar – Aufbruch nach Pandora” (Amazon-Link) zum Einsatz. Sam Worthington und Zoë Saldaña verwandelten sich dadurch in die humanoide Spezies “Na’vi”.

The Irishman: Diese Technik steckt hinter der Verjüngungskur des Netflix-Epos

Das Animationsstudio Industrial Light & Magic (ILM) entwickelte unter der Leitung von Pablo Helman eine neue Methode zur digitalen Verjüngung der Schauspieler. ILM ist unter anderem für die Special Effects in Filmen wie “Avengers: Endgame” (Amazon-Link) oder “Jurassic World: Das gefallene Königreich” (Amazon-Link) verantwortlich.

Vor den eigentlichen Dreharbeiten durchlaufen die Schauspieler den sogenannten “Medusa-Capture-Prozess“. Visual-Effects-Spezialisten filmen ihre Mimik aus unterschiedlichen Blickwinkeln.

Daraus entstehen 3D-Modelle, die fließende Übergänge zwischen den verschiedenen Gesichtsausdrücken darstellen können. Am Set werden die Filmszenen simultan mit mehreren komplexen Kamerasystemen gefilmt.

Bei “The Irishman” kam eine dreiköpfige Kamera zum Einsatz, die Infrarotbilder aus verschiedenen Winkeln aufnimmt. BILD: Netflix

Die Primärkamera filmt die eigentlichen Szenen. Die beiden seitlich befestigten Infrarotkameras – genannt “Witness-Cameras” – zeichnen die Gesichter der Schauspieler aus verschiedenen Winkeln auf.

Dadurch werden zusätzliche Bildinformationen gesammelt, die beim Erstellen besserer 3D-Modelle helfen. Die Infrarotbilder sorgen dafür, dass die Gesichtszüge klar erkennbar und nicht durch Schatten beeinträchtigt werden.

Ein 3D-Modell aus The Irishman, das Robert DeNiro im Alter von 34 Jahren zeigt. BILD: Netflix

ILMs […]

News zu VR, AR und KI | MIXED.de & Josef Erl