Artificial Intelligence, Editing, IBC, IBC2024: 11.09.2024

Adobe stellt zukünftiges Firefly Video Model vor

Adobe hat eine Vorschau auf die Weiterentwicklung seiner generativen KI-Videofunktionen gegeben, die auf dem Adobe Firefly Video Model basieren.

Die Anfang des Jahres erstmals vorgestellten neuen Videofunktionen von Adobe sollen Filmeditor_innen und Videoprofis Werkzeuge an die Hand geben, die sie bei der Umsetzung ihrer kreativen Visionen unterstützen, Lücken in ihrer Timeline füllen und neue Elemente zu vorhandenem Filmmaterial hinzufügen. Das Firefly Video Model erweitert Adobes Familie generativer KI-Modelle, die bereits ein Image Model, ein Vector Model und ein Design Model umfasst.


Adobe Beispiele von Videos, die per Firefly generiert wurden.

Im Laufe des Jahres sollen laut Adobe neue, von Firefly unterstützte Text-zu-Video- und Bild-zu-Video-Funktionen auf Firefly.Adobe.com zur Verfügung stehen, und die Generative Erweiterung wird direkt in Premiere Pro eingebettet. Zu den Funktionen von Text-zu-Video gehören die Generierung von Videos aus Prompts, der Zugriff auf eine Vielzahl von Kamerasteuerungen wie Winkel, Bewegung und Zoom zur Feinabstimmung von Videos und die Referenzierung von Bildern zur Generierung von B-Roll, welches Lücken in der Timeline nahtlos füllt. Zu den Bild-zu-Video-Funktionen gehört unter anderem das Animieren von Standbildern oder Illustrationen durch die Umwandlung von Action-Clips. 


In der Sequenz gibt es eine Lücke. KI soll die Szene davor verlängern.

So sieht die Sequenz mit dem per KI verlängerten Clip aus.

»Unser Firefly-Videomodell baut auf unseren grundlegenden Firefly-Modellen für Bildbearbeitung, Design und Vektorerstellung auf und soll der professionellen Video-Community helfen, neue Potenziale zu zu erschließen, Arbeitsabläufe zu optimieren und ihre Kreativität zu fördern«, sagt Ashley Still, Senior Vice President, Creative Product Group bei Adobe. »Wir freuen uns, mit der Firefly-basierten Generativen Erweiterung in Premiere Pro ein neues Maß an kreativer Kontrolle und Effizienz in die Videobearbeitung zu bringen.«

Das Firefly Video Model soll eine Vielzahl von Anwendungsfällen unterstützen. Mögliche Anwendungsfälle sind demnach:

  • .

    Die Nutzung fein abgestimmter Steuerelemente, wie Kamerawinkel und Kamerabewegung, um überzeugende Animationen, Effekte und mehr zu erzeugen.

  • Die Erstellung eines Einschubs in eine zentrale Videoaufnahme mit Kamerabewegung.
  • Die Verknüpfung von Video mit professionell aufgenommenem Material, um Geschichten schneller zu erzählen.

Adobe betont, dass das Firefly Video Model so konzipiert sei, dass es kommerziell unbedenklich sei und nur mit Inhalten trainiert werde, für die Adobe die entsprechenden Nutzungsrechte besitze – und niemals mit Inhalten der Kund_innen.