Wie KI die Arbeit der Bildgestaltung verändert
Ein Erfahrungsbericht über die Arte-Produktion »Lucrezia Borgia – Die Tochter des Papstes«, bei der KI eingesetzt wurde, um historische Aufnahmen zu generieren.
KI als Alternative?
Es war klar, dass wir eine Alternative finden mussten. Zu diesem Zeitpunkt kam mir die Idee, Künstliche Intelligenz ins Spiel zu bringen. Schon früh hatte ich mich, zunächst eher aus Spielerei, für KI interessiert, weil ich es spannend fand, wie sie Fantasie und Kreativität beflügeln kann. KI hat die Fähigkeit, Dinge auf überraschende Weise zu kombinieren, zu inspirieren und dabei oft gelungene Ergebnisse zu erzielen. So dachte ich mir: Warum nicht die ursprünglich als Reenactment geplanten Szenen mithilfe von KI erstellen?
Im Frühsommer 2023 hatte Midjourney mit dem Upgrade auf Version 5.0 bereits äußerst realistische Bilder generiert, und Runway, eine weitere KI-Plattform, hatte mit Gen2 und ebenso wie Pika Labs im Bereich »prompt-to-video« und »image-to-video« einen riesigen Sprung gemacht.
Alle sechs Wochen gab es neue Updates, und die Ergebnisse wurden immer realistischer. Ich war optimistisch, dass wir im Herbst, während der Postproduktion, in der Lage sein würden, Videosequenzen zu erzeugen, die die Renaissance zum Leben erwecken könnten.
In einer Besprechung, wie wir nun mit dem Wegfall des ursprünglich geplanten szenischen Drehs umgehen sollten, teilte ich meine Idee vom Einsatz von KI mit meinen beiden Kolleginnen. Bei unserer ersten Zusammenarbeit, dem Film über die Medici, hatten wir – ebenfalls aus Budgetgründen – das Reenactment letztlich als Fotostory umgesetzt – eine Idee von Ira, die damals hervorragend funktionierte. Diesmal wollte ich denselben Ansatz verfolgen, jedoch mit den neuen Möglichkeiten der KI.
Erste Tests
Cuini reagierte zunächst skeptisch. Es war noch schwer, sich vorzustellen, wie das Ergebnis aussehen würde. Um sie zu überzeugen, erarbeitete ich mit Hilfe von Midjourney, basierend auf den wenigen historischen Gemälden von Lucrezia Borgia, einen konsistenten Charakter. Das Faszinierende an der KI war, dass ich ausgehend von einer einzigen Bildvorlage in der Lage war, Lucrezia in verschiedenen Lebensphasen darzustellen: Als 12-jähriges Mädchen, als 20-Jährige und als ältere Frau mit 40. Außerdem erstellte ich erste digitale Palastaufnahmen, um die Kulisse zu testen.
Wenige Tage später trafen wir uns erneut, und ich zeigte Cuini und Ira die Ergebnisse. Die nach vielen Prompts generierten Bilder beeindruckten: Die Innenräume des Palastes und Lucrezia in ihren prächtigen Gewändern wirkten wie Stills aus einem hochbudgetierten Spielfilm. Ira war sofort überzeugt. Sie erkannte, dass diese Hochwertigkeit dem Film eine ganz neue Qualität verschaffen und ihn wettbewerbsfähig machen könnte, um ihn international zu vermarkten. Cuini hingegen brauchte mehr Zeit, sich an diese Idee zu gewöhnen. Sie hatte wie immer bereits den gesamten Film in ihrem Kopf durchdacht, Bild für Bild, Szene für Szene, und musste nun ihre Erzählstruktur überdenken.
Auch war ihr Lucrezia viel zu schön und zu glamourös, fast wie eine Disney-Figur. Ich reduzierte den Glamour, und sie erkannte, wie die immer weiter optimierten Bilder sich mehr und mehr den historischen Gemälden näherten. Nach reiflicher Überlegung war sie bereit, sich von der Erwartungshaltung an ein klassisches Reenactment zu verabschieden und stimmte dem Einsatz der KI-generierten Sequenzen schließlich zu. Lediglich auf die Anfangsszene des Filmes konnte Cuini absolut nicht verzichten.
Grünes Licht für KI
Nun stellte sich die große Frage: Wie würde Dr. Peter Allenbacher, Redakteur bei Arte für den Bereich Wissen, auf unseren Vorschlag reagieren? Zu unserer großen Freude stieß die Idee auf offene Ohren. Wir erhielten sofort grünes Licht, um für das ZDF die erste Doku mit KI-erstelltem Reenactment zu realisieren.
Die Dreharbeiten zur Dokumentation fanden im November 2023 an den historischen Lebensstationen von Lucrezia Borgia statt. Da die Fortschritte im Bereich »text-to-video« zum Stichtag noch nicht ausreichend ausgereift waren, entschieden wir uns letztlich doch, zunächst nur die KI-generierten Landschaftsaufnahmen zu animieren. Die eigentlichen Szenen setzten wir weiterhin mit Standbildern um, wobei Midjourney aufgrund der historisch genaueren Ergebnisse unsere bevorzugte Plattform blieb. Das Programm bot nicht nur einen Stealth-Modus, der sicherstellte, dass nur ich auf die erstellten Bilder zugreifen konnte, sondern lieferte auch die besten Resultate in Bezug auf historische Korrektheit – von den Räumen und Fenstern bis hin zu Möbeln, Kleidung und Frisuren.
Seite 1: Das Projekt
Seite 2: KI als Alternative für Reenactment
Seite 3: Richtiges Prompting, Chancen für Bildgestalter