spatialcomputing.info

In der Netflix-Produktion “The Irishman” wird Robert DeNiro durch ein aufwendiges Verfahren um fast fünfzig Jahre verjüngt. Ein YouTuber will das besser können – mit Deepfake-Freeware. Schlägt die kostenlose Software die Millionen-Dollar-Produktion?

Große Filmstudios investieren Millionen, um Gesichter von Schauspielern mit aufwendiger Technik zu verändern. Moderne CGI und Künstliche Intelligenz beleben sogar bereits verstorbene Schauspieler digital wieder.

Gesichter auf Bildern und in Videos glaubhaft auszutauschen, ist dank KI-Technik – sogenannter Deepfakes – mittlerweile auch für SFX-Laien möglich. Wie ihr Deepfakes selbst erstellt, haben wir für euch mit DeepFaceLab getestet.

Der bekannte Deepfake-YouTuber “Ctrl Shift Face” zum Beispiel nimmt sich gerne berühmte Filme vor und tauscht Gesichter von Schauspielern aus. In “Home Stallone” verjüngte er Rambo und steckte Sylvester Stallone per Deepfake in die Rolle des Kevin “allein zu Haus”.

In der Netflix-Produktion “The Irishman” war das digitale Verjüngen von Schauspielern essenzieller Bestandteil des Films. Über mehrere Jahre arbeiteten Spezialisten an einer Millionen-Dollar-teuren Verjüngungskur für Robert DeNiro, Al Pacino und Joe Pesci.

YouTuber iFake hingegen verjüngte die Schauspieler mit einer kostenlosen Deepfake-Software in nur sieben Tagen.

Scorsese: Kein Performance Capturing für “The Irishman”

Martin Scorseses Netflix-Original “The Irishman” porträtiert die Beziehungen zwischen dem US-amerikanischen Gewerkschaftsführer Jimmy Hoffa (Al Pacino), dem Mafioso Russel Bufalino (Joe Pesci) und dessen “Problemlöser” Frank Sheeran (Robert DeNiro).

Der Film begleitet die Charaktere über einen Zeitraum von mehr als fünfzig Jahren und zeigt die Entwicklung Sheerans vom einfachen Fahrer zum berüchtigten Mafia-Killer. Die Hauptdarsteller um DeNiro, Pacino und Pesci – heute allesamt in ihren Siebzigern – werden durch ein neues Verfahren zum Teil deutlich verjüngt.

Damit das Schauspiel von der Technik unbeeinflusst bleibt, wollte Regisseur Martin Scorsese weg von den üblichen Verfahren wie Performance-Capturing. Die Schauspieler sollten nicht durch Helmkameras oder Marker beeinträchtigt werden.

Beim Performance-Capture-Verfahren filmen Helmkameras die Mimik der Schauspieler. Marker im Gesicht dienen als Referenzpunkte, um in der Nachproduktion die Gesichter digital zu verändern.

Diese Technik kam beispielsweise bei James Camerons “Avatar – Aufbruch nach Pandora” (Amazon-Link) zum Einsatz. Sam Worthington und Zoë Saldaña verwandelten sich dadurch in die humanoide Spezies “Na’vi”.

The Irishman: Diese Technik steckt hinter der Verjüngungskur des Netflix-Epos

Das Animationsstudio Industrial Light & Magic (ILM) entwickelte unter der Leitung von Pablo Helman eine neue Methode zur digitalen Verjüngung der Schauspieler. ILM ist unter anderem für die Special Effects in Filmen wie “Avengers: Endgame” (Amazon-Link) oder “Jurassic World: Das gefallene Königreich” (Amazon-Link) verantwortlich.

Vor den eigentlichen Dreharbeiten durchlaufen die Schauspieler den sogenannten “Medusa-Capture-Prozess“. Visual-Effects-Spezialisten filmen ihre Mimik aus unterschiedlichen Blickwinkeln.

Daraus entstehen 3D-Modelle, die fließende Übergänge zwischen den verschiedenen Gesichtsausdrücken darstellen können. Am Set werden die Filmszenen simultan mit mehreren komplexen Kamerasystemen gefilmt.

Bei “The Irishman” kam eine dreiköpfige Kamera zum Einsatz, die Infrarotbilder aus verschiedenen Winkeln aufnimmt. BILD: Netflix

Die Primärkamera filmt die eigentlichen Szenen. Die beiden seitlich befestigten Infrarotkameras – genannt “Witness-Cameras” – zeichnen die Gesichter der Schauspieler aus verschiedenen Winkeln auf.

Dadurch werden zusätzliche Bildinformationen gesammelt, die beim Erstellen besserer 3D-Modelle helfen. Die Infrarotbilder sorgen dafür, dass die Gesichtszüge klar erkennbar und nicht durch Schatten beeinträchtigt werden.

Ein 3D-Modell aus The Irishman, das Robert DeNiro im Alter von 34 Jahren zeigt. BILD: Netflix

ILMs “Flux”-Software gleicht die Filmaufnahmen mit den “Medusa-Captures” ab und generiert daraus renderbare Modelle. In der Nachbearbeitung ersetzen diese die tatsächlichen Gesichter der Schauspieler und bilden so die entsprechend jüngeren Versionen der Charaktere ab.

Das Resultat der digitalen Frischzellenkur wurde von Fans und Kritikern unterschiedlich aufgenommen. Filmstarts schreibt in seiner Irishman-Kritik beispielsweise, dass DeNiro in seinen Zwanzigern und Dreißigern gewöhnungsbedürftig und die Technik noch längst nicht perfekt sei.

Besseres Irishman De-Aging mit kostenloser Deepfake-Software?

YouTuber iFake stellt der aufwendigen Netflix-Produktion seine “Low-Budget-Version” gegenüber. Nach eigenen Angaben hat er für seinen Deepfake nur sieben Tage gebraucht und hätte mit mehr Trainingszeit ein besseres Ergebnis erzielen können.

Ein Vergleich: Oben die Netflix-Verjüngung von Al Pacino, unten die Deepfake-Version. BILD: Netflix/YouTube

Deepfakes werden von einem Generative Adversarial Network (GAN) erstellt. Zwei künstliche neuronale Netze werden mit einem gemeinsamen Datensatz trainiert. Ein Fälscher-Netz erstellt dem Datensatz ähnliche Inhalte, ein Analyse-Netz vergleicht diese mit dem Original. Erkennt das Analye-Netz die Fälschung, verbessert das Fälscher-Netz den Fake-Inhalt so lange, bis das Analyse-Netz ihn nicht mehr vom Original unterscheiden kann.

Mit genug KI-Training entstehen so glaubwürdige Fotos und Videos. Für seine Deepfakes nutzt iFake die kostenlose Software DeepFaceLab. Auch der bereits erwähnte YouTuber “Ctrl Shift Face” gibt an, diese Software in seinen Deepfake-Videos zu verwenden.

In diesem Artikel erklären wir euch die wichtigsten KI-Fachbegriffe, falls ihr mehr über künstliche neuronale Netze und Deep Learning erfahren möchtet.

Vergleich: iFake-Video oder Netflix-Original?

Beim Netflix De-Aging-Prozess von “The Irishman” konzentrierten sich die Macher darauf, verjüngte Modelle der von den Schauspielern dargestellten Charaktere zu erstellen. Im YouTube-Video dienen die bereits verjüngten Modelle als Vorlage, nicht die heute siebzigjährigen Gesichter der Schauspieler.

Ein direkter Vergleich wäre also nur möglich, wenn iFake die Original-Gesichter der Stars für sein Deepfake nutzen würde. Die künstliche Verjüngung mit DeepFaceLab bringt allerdings beachtliche Ergebnisse. Die Augenpartien lassen DeNiro, Pacino und Pesci in manchen Szenen deutlich frischer wirken.

Bei den YouTube-Kommentatoren stößt die iFake-Version auf viel Gegenliebe: Einige Kommentierende fordern von Netflix ein Deepfake-Remake des Film.

Helman und sein Team von ILM entwickeln ihr Irishman-System weiter. Sie wollen Größe und Gewicht des Kamerasystems reduzieren und mit Künstlicher Intelligenz Genauigkeit und Leistung verbessern. Vielleicht führt also bald das Beste aus beiden Welten zu einem perfekten Ergebnis.

Weiterlesen über Deepfakes:

• YouTube und Twitter wollen Deepfakes aus dem Wahlkampf verbannen
• Microsoft zeigt: Deepfakes werden noch viel besser
• Facebook verbietet Deepfakes im Vorfeld des US-Wahlkampfs 2020
• Diese Deepfake-App fürs Smartphone macht euch zu Hollywood-Stars
• Deepfake: Schwarzenegger, DiCaprio und Dafoe in “No Country for Old Men”