Content Aware Fill: Get rid of (sh)it!

Game of Thrones-Fans waren kürzlich in Aufruhr: in einer der jüngsten Folgen hatte sich in eine Szene ein vergessener Starbucks-Kaffeebecher eingeschlichen, der auf dem Tisch der Protagonistin Daenerys Targaryen stand. Peinlicher Fehler oder Werbegag? Der Sender HBO, der die Folge ausgestrahlt hatte, löste das Problem jedenfalls im Nachhinein. Der Becher ist nun zwar nicht mehr zu sehen, aber der Aufruhr nach wie vor groß.

Nun mag es tröstlich sein, dass auch bei solchen Hochglanz-Produktionen Fehler passieren können (was auch immer die Gründe dafür sein mögen). Wenn allerdings bei den eigenen Videos Objekte in einer Szene zu sehen sind, die dort nichts verloren haben, hilft das auch nicht weiter.

Störende Objekte loswerden

Was tun in solchen Fällen? Adobe hat mit Content Aware Fill eine Funktion vorgestellt, die helfen kann, das Problem zu lösen und die störenden Objekte zu entfernen. Photoshop-Nutzer kennen diese Funktion, denn mit der Bildbearbeitungs-Software ist es schon seit geraumer Zeit möglich, störende Objekte aus einem Motiv mit ein paar Klicks zu entfernen und mit neuem, passendem Inhalt zu füllen.

Bei Bewegtbild war das bis dato ungleich aufwändiger und letztlich nur in stundenlanger Arbeit von Hand und Bild für Bild zu lösen. Das ist ab sofort anders: Content Aware Fill kann in After Effects störende Objekte automatisch aus einer Videosequenz entfernen. Die neue Funktion ging aus Project Cloak hervor und wurde möglich aufgrund der Technologie von Sensei, Adobes Plattform für künstliche Intelligenz und maschinelles Lernen. 

Die technische Herausforderung bestand in der Entwicklung von Content Aware Fill darin, die Lücke dessen, was entfernt werden sollte, mit dem richtigen Inhalt zu füllen – und zwar so, dass im Bewegtbild alles realistisch aussieht. Die gute Nachricht: Das ist gelungen.

Konkrete Anwendungen

Es muss nicht gleich der Kaffeebecher bei Game of Thrones sein, der raus aus dem Bild muss. Im Videoalltag gibt es viele kleine Fehler, die eine Szene unbrauchbar machen: Die Mikrofonangel, die oben noch ins Bild ragt; die Dolly-Schienen, die man sehen kann; ein störendes Schild im Bild oder einfach nur der Make-Up Pinsel aus der Maske, der noch irgendwo herumliegt und im Bild zu sehen ist.

Eine praktikable Lösung zu haben, solche Störenfriede aus dem Bewegtbild zu entfernen, dürfte das Leben für manche Produktion erleichtern.

Maske zeichnen und auffüllen

Bei»Content Aware Fill« reicht es, den gewünschten Clip in After Effects zu laden und eine grobe Maske um das unerwünschte Objekt zu zeichnen. Dann wird festgelegt, welchen der intelligenten Füll-Modi man nutzen möchte: Objekt, Oberfläche oder Kantenüberblendung?

Per Tastendruck beginnt After Effects im Anschluss mit der Analyse des Clips und berechnet eine zusätzliche Füllebene für den maskierten Bereich. Das funktioniert sehr gut – sogar bei Szenen mit bewegter Kamera.

Wenn die Ergebnisse mal nicht vollends überzeugen, gibt es die Möglichkeit, aus dem jeweiligen Clip ein Referenzframe zu exportieren und in Photoshop den maskierten Bereich korrekt aufzufüllen. Bei einem einzigen Bild ist das mit den Photoshop-Bordmitteln vergleichsweise schnell möglich.

After Effects orientiert sich dann im nächsten Schritt an diesem Referenzframe und versucht dann, auch im bewegten Bild den korrekten Inhalt zu liefern –  anhand der Vorgaben des Referenzframes. 

Content Aware Fill kann auf diese Weise Szenen retten, die andernfalls im Papierkorb landen würden. Das funktioniert mit wenigen Klick automatisiert – und die Ergebnisse lassen sich via Direct Link in Premiere CC übertragen. 

Interesse daran, die Funktion zu testen? Dann nichts wie los: Bis zum 23. Mai gibt es Creative Cloud im Sonderangebot! Alle Infos und Abo-Optionen gibt es hier!