KI in der Postproduktion – ein Erfahrungsbericht

Foto

Auch im Fotobereich hat KI Einzug gehalten. Online-Versionen gibt es schon seit letztem Jahr, dieses Jahr hat Adobe mit der KI Firefly nachgezogen. Bekannt aus dem Netz sind Bildgenerierer wie Dall-E, Stable Diffusion und Midjourney.

Hier gibt man per Text ein, was generiert werden soll. Je besser und genauer die Texteingabe, desto genauer das Ergebnis. Das Schöne hieran ist, dass man auch Dinge kombinieren kann, die es in Wahrheit nicht geben kann. So kann man sich etwa ein iPhone im Stil von Picasso malen lassen.

Das sind nette Spielereien, aber wirklich brauchbar sind die Ergebnisse in sehr vielen Fällen eben (noch) nicht. Allerdings kann man damit möglicherweise schneller, einfacher und besser Dinge visuell verdeutlichen und erklären — ich denke da etwa an Storyboards, Moodboards und Ähnliches.

Die Seite von Runway bietet eine große Auswahl an KI-Bildverbesserungen sowohl für Video als auch Foto.

Allerdings sind die meisten Funktionen wahrscheinlich nur für diejenigen Nutzer interessant, die keine aktuelle Version von DaVinci Resolve, Photoshop oder Premiere besitzen.

Was in Photoshop bereits sehr gut funktioniert, ist das automatische Erkennen und Maskieren von Personen und Objekten.

Auch die neueste KI-Version von Content Aware Fill klingt ziemlich vielversprechend — hier kann man mit Text-zu-Bild einfach Dinge aus dem Foto löschen oder hinzufügen — ziemlich fotorealistisch.

Drehbuch

Eine KI kann mittlerweile durchaus ein Drehbuch schreiben — sie kann aber leider kein wirklich gutes Drehbuch schreiben, geschweige denn, eines garantieren. Was die KI aber sehr gut kann, ist einem talentierten Menschen zu assistieren. Man muss sich ChatGPT aktuell wie einen rund 35-jährigen Menschen mit mittlerem Bildungsstand vorstellen — der aber in praktisch allen Bereichen gebildet ist, die es gibt!

So ist die KI tatsächlich ein guter Sparring-Partner, um einfach und schnell Inhalte auf den Tisch zu bringen. Durch Deep Learning kann die KI kombinieren und Hypothesen aufstellen. Was wäre passiert, wenn die Wikinger ins alte Ägypten eingefallen wären?

ChatGPT liefert hier interessante Denkanstöße. Durch Deep Learning kann die KI verschiedene Fakten kombinieren und analysieren.

»Denkanstöße« ist hierbei ein gutes Stichwort: Für den Artikel habe ich zu Testzwecken ein aktuelles Drehbuch von einer KI schreiben lassen. Und siehe da, eine Kameraeinstellung gefiel mir so gut, dass ich sie übernommen habe.

Interessant sind auch Konzeptvideos oder künstlerische Clips.

Ein Kollege von mir hat beispielsweise mit KI ein Musikvideo erstellt. Natürlich »schwimmen« hier die künstlich erzeugten Videos und haben eine Art »Warp-Effekt« — wie man es es halt von aktuellen KI-Videos kennt. Aber das kann man durchaus als Stil ansehen.

Video

Beim direkten Eingriff der KI in das Videobild bin ich noch skeptisch – dafür ist sie mir noch zu ungenau und willkürlich. Was aber oft ganz gut funktioniert, ist das Upscaling von Bildmaterial. Neben den bereits erwähnten Online-Diensten (viele bieten Bildbearbeitung für Video und Foto an) hat auch DaVinci Resolve eine eingebaute Funktion namens Superscale, die HD-Videos auf 4K skalieren kann — in erstaunlicher Qualität.

Des weiteren habe ich Superzeitlupe, automatische Farbanpassung und Keying ausprobiert, jeweils von verschiedenen Anbietern wie etwa von Runway. Mit den Ergebnissen war ich nicht zufrieden, diese sind in vielen Bereichen einfach noch zu ungenau.

Bei Zeitlupen kommen oft Artefakte (aber durchaus weniger als mit beispielsweise dem Optical Flow aus Premiere), und das Keying war höchstens auf dem Niveau der bordeigenen Effekte von Premiere/After Effects oder DaVinci Resolve, meistens darunter. Hier fehlt einfach noch die Möglichkeit der Feinjustierung.

Nimmt man hier zusätzlich die Zeit für das Exportieren und Hochladen hinzu, lohnt sich der Griff zur KI meist nicht. Vor allem, weil die Hersteller der Schnittprogramme ordentlich nachliefern.

In DaVinci Resolve 18.5 klappen Zeitlupen dank KI jetzt erheblich besser. Hier wählt man über Speedchange die neue Geschwindigkeit des Clips. Bei einem Clip, der in 50P aufgenommen wurde, könnte man hier höchstens 50% einstellen, um ein ruckelfreies Video in 25P zu bekommen. Ich möchte aber noch langsamer werden und stelle die Geschwindigkeit auf 25%.

Im Reiter Retiming und Scaling lässt sich dann die Überblendungsmethode der Frames einstellen. Frameblend und Optical Flow sind ja schon lange bekannt. Auch, dass bei Optical Flow Artefakte auftreten. Dies kann ich jetzt mit Hilfe von KI fast gänzlich verhindern, indem ich bei Motion Estimation den Punkt Speedwarp anwende.

Dieser Effekt ist extrem rechenintensiv, bringt aber sehr gute Ergebnisse.

Auch hier würde ich die KI wieder als guten Kumpel sehen – kommt man etwa beim Keying nicht weiter, fragt man seinen Freund KI nach Hilfe: Das kann wie im echten Leben klappen — oder halt überhaupt nicht.

Bei der Videostabilisierung bleibt mein Favorit After Effects. Aber auch hier wird sich mit zunehmendem Lernfortschritt der Künstlichen Intelligenz viel tun.

Bis dahin sollte man zur klassischen Gyrodaten-Stabilisierung greifen – hier werden die Gyrodaten der Kamera (viele Kameras zeichnen diese bereits intern auf: Red, Sony, DJI, GoPro) in ein Programm wie etwa Gyroflow geladen und dort stabilisiert.

In Zukunft wird sicherlich ein Zusammenspiel von Gyrodaten und KI stattfinden: Per Gyrodaten wird das Bild stabilisiert, mit KI dann zusätzlicher Bildinhalt dazugerechnet, damit nicht zu stark in das Bild gecroppt werden muss.

Tatsächlich arbeiten schon viele Video-Tools mit KI. Nehmen wir DaVinci Resolve als Beispiel: Hier nutzt die Speedwarp-Funktion ähnlich wie die Superzeitlupe der Online-Dienste Künstliche Intelligenz. Ebenso das bereits erwähnte Superscale.

Im Color Tab erkennt die KI Gesichter und maskiert diese für das Tool Face Refinement. Auch das Object Removal Tool basiert jetzt auf KI. Die nächste DaVinci Resolve Version 18.5 ist aktuell noch in der Betaphase und wird nochmals einen Schwung an Tools mit sich bringen, die durch die Künstliche Intelligenz unterstützt werden.

Seite 1: KI-Grundlagen
Seite 2: Audio
Seite 3: Foto, Video
Seite 4: Live, Archiv, Fazit