The Irishman Verjüngung: Deepfake vs. Netflix-Original

In der Netflix-Produktion “The Irishman” wird Robert DeNiro durch ein aufwendiges Verfahren um fast fünfzig Jahre verjüngt. Ein YouTuber will das besser können – mit Deepfake-Freeware. Schlägt die kostenlose Software die Millionen-Dollar-Produktion?

Große Filmstudios investieren Millionen, um Gesichter von Schauspielern mit aufwendiger Technik zu verändern. Moderne CGI und Künstliche Intelligenz beleben sogar bereits verstorbene Schauspieler digital wieder.

Gesichter auf Bildern und in Videos glaubhaft auszutauschen, ist dank KI-Technik – sogenannter Deepfakes – mittlerweile auch für SFX-Laien möglich. Wie ihr Deepfakes selbst erstellt, haben wir für euch mit DeepFaceLab getestet.

Der bekannte Deepfake-YouTuber “Ctrl Shift Face” zum Beispiel nimmt sich gerne berühmte Filme vor und tauscht Gesichter von Schauspielern aus. In “Home Stallone” verjüngte er Rambo und steckte Sylvester Stallone per Deepfake in die Rolle des Kevin “allein zu Haus”.

In der Netflix-Produktion “The Irishman” war das digitale Verjüngen von Schauspielern essenzieller Bestandteil des Films. Über mehrere Jahre arbeiteten Spezialisten an einer Millionen-Dollar-teuren Verjüngungskur für Robert DeNiro, Al Pacino und Joe Pesci.

YouTuber iFake hingegen verjüngte die Schauspieler mit einer kostenlosen Deepfake-Software in nur sieben Tagen.

Scorsese: Kein Performance Capturing für “The Irishman”

Martin Scorseses Netflix-Original “The Irishman” porträtiert die Beziehungen zwischen dem US-amerikanischen Gewerkschaftsführer Jimmy Hoffa (Al Pacino), dem Mafioso Russel Bufalino (Joe Pesci) und dessen “Problemlöser” Frank Sheeran (Robert DeNiro).

Der Film begleitet die Charaktere über einen Zeitraum von mehr als fünfzig Jahren und zeigt die Entwicklung Sheerans vom einfachen Fahrer zum berüchtigten Mafia-Killer. Die Hauptdarsteller um DeNiro, Pacino und Pesci – heute allesamt in ihren Siebzigern – werden durch ein neues Verfahren zum Teil deutlich verjüngt.

Damit das Schauspiel von der Technik unbeeinflusst bleibt, wollte Regisseur Martin Scorsese weg von den üblichen Verfahren wie Performance-Capturing. Die Schauspieler sollten nicht durch Helmkameras oder Marker beeinträchtigt werden.

Beim Performance-Capture-Verfahren filmen Helmkameras die Mimik der Schauspieler. Marker im Gesicht dienen als Referenzpunkte, um in der Nachproduktion die Gesichter digital zu verändern.

Diese Technik kam beispielsweise bei James Camerons “Avatar – Aufbruch nach Pandora” (Amazon-Link) zum Einsatz. Sam Worthington und Zoë Saldaña verwandelten sich dadurch in die humanoide Spezies “Na’vi”.

The Irishman: Diese Technik steckt hinter der Verjüngungskur des Netflix-Epos

Das Animationsstudio Industrial Light & Magic (ILM) entwickelte unter der Leitung von Pablo Helman eine neue Methode zur digitalen Verjüngung der Schauspieler. ILM ist unter anderem für die Special Effects in Filmen wie “Avengers: Endgame” (Amazon-Link) oder “Jurassic World: Das gefallene Königreich” (Amazon-Link) verantwortlich.

Vor den eigentlichen Dreharbeiten durchlaufen die Schauspieler den sogenannten “Medusa-Capture-Prozess“. Visual-Effects-Spezialisten filmen ihre Mimik aus unterschiedlichen Blickwinkeln.

Daraus entstehen 3D-Modelle, die fließende Übergänge zwischen den verschiedenen Gesichtsausdrücken darstellen können. Am Set werden die Filmszenen simultan mit mehreren komplexen Kamerasystemen gefilmt.

Bei “The Irishman” kam eine dreiköpfige Kamera zum Einsatz, die Infrarotbilder aus verschiedenen Winkeln aufnimmt. BILD: Netflix

Die Primärkamera filmt die eigentlichen Szenen. Die beiden seitlich befestigten Infrarotkameras – genannt “Witness-Cameras” – zeichnen die Gesichter der Schauspieler aus verschiedenen Winkeln auf.

Dadurch werden zusätzliche Bildinformationen gesammelt, die beim Erstellen besserer 3D-Modelle helfen. Die Infrarotbilder sorgen dafür, dass die Gesichtszüge klar erkennbar und nicht durch Schatten beeinträchtigt werden.

Ein 3D-Modell aus The Irishman, das Robert DeNiro im Alter von 34 Jahren zeigt. BILD: Netflix

ILMs […]

News zu VR, AR und KI | MIXED.de & Josef Erl

YouTube und Twitter wollen Deepfakes aus dem Wahlkampf verbannen

Weder YouTube noch Twitter wollen das Facebook des US-Wahlkampfs 2020 werden. Ein Baustein ist das Verbot von Deepfakes. News zu VR, AR und KI | MIXED.de & Matthias Bastian

Deepfake: Gollums Heroin-Trip in Schottland

Was haben Mark Renton und Gollum gemeinsam? Richtig: Sie haben ein Suchtproblem – und spielen jetzt im gleichen Film. News zu VR, AR und KI | MIXED.de & Matthias Bastian

Logo spatialcomputing.info Nicht die Mona Lisa
Diese 100.000 KI-Porträts sind frei verfügbar und das ist erst der Anfang

Fotos von Menschen, die gar nicht existieren, könnten die Werbe- und Modelindustrie auf den Kopf stellen. Und wahrscheinlich nicht nur die. MIXED | News zu VR, AR und KI & Matthias Bastian

Logo spatialcomputing.info Nicht die Mona Lisa
Kampf gegen KI-Fakes: Facebook ruft Anti-Deepfake-Wettbewerb ins Leben

Facebook bringt eine Anti-Deepfake-Initiative auf den Weg. Das Ziel: Die KI-Gemeinschaft soll bessere Werkzeuge gegen Deepfakes entwickeln. MIXED | News zu VR, AR und KI & Tomislav Bezmalinovic

Logo spatialcomputing.info Nicht die Mona Lisa
Deepfake-Durchbruch: Gesichtertausch in Echtzeit ohne Training

Israelische Forscher stellen in einem Video eine neue Deepfake-KI vor. Die tauscht Gesichter in Live-Videos glaubhaft in Echtzeit aus – und das ohne langwieriges Training. MIXED | News zu VR, AR und KI & Maximilian Schreiner

Logo spatialcomputing.info Nicht die Mona Lisa
Fake-Media-Forscher: Deepfakes könnten “Waffe gegen Frauen” werden

Nackt ist nackt – wer fragt noch nach, ob Fake oder nicht? MIXED | News zu VR, AR und KI & Matthias Bastian

Logo spatialcomputing.info Nicht die Mona Lisa
Wie Deepfake-Technologie bei der Krebsdiagnose helfen könnte

Fake-Media im positiven Sinne: Eine neue Deepfake-GAN-Methode für medizinische Aufnahmen soll hochauflösende Trainingsdaten für Diagnose-KIs liefern. MIXED | News zu VR, AR und KI & Matthias Bastian

Logo spatialcomputing.info Nicht die Mona Lisa
Deepfakes: Wie alles begann – und wohin es führen könnte

KI-gefälschte Bilder und Videos – sogenannte Deepfakes – haben sich in den letzten Jahren rasant entwickelt. Das ist ihre Geschichte.

Der Beitrag Deepfakes: Wie alles begann – und wohin es führen könnte erschien zuerst auf MIXED.

MIXED & Maximilian Schreiner

Logo spatialcomputing.info Nicht die Mona Lisa
Deepfake erstellen: So geht es, so lange dauert es

Deepfakes schnell und einfach erstellen – das geht mit Programmen wie Reface oder DeepFaceLab. So benutzt ihr sie. MIXED | News zu VR, AR und KI & Maximilian Schreiner