Magicbox: mobile virtuelle Produktion

Während der NAB 2023 präsentierte Adobe in Zusammenarbeit mit Magicbox, einem virtuellen LED-Produktionsstudio, das auf NVidia RTX A6000-Grafikprozessoren basiert, und der Camera-to-Cloud-Technologie von Frame.io einen umfassenden End-to-End-Workflow während einer Live-Produktion — von der Aufnahme bis zur endgültigen Auslieferung.

Der nahtlose Workflow nutzt die Vorteile von Integrationen, die durch das Adobe Video Partner Programm unterstützt werden.

Moderne Videoproduktion

Die Besucher der NAB konnten in der sogenannten Magicbox an einer interaktiven Live-Produktion teilnehmen – entweder in einem Auto, einem Zug oder sogar auf einer neonbeleuchteten Straße in Tokio, die von der Unreal Engine angetrieben wurde – während Clips von ihnen über Camera to Cloud in ein Frame.io-Projekt gesendet wurden, auf das ein externer Cutter in Adobe Premiere Pro zugreifen konnte.

Kurz nach ihrer Abreise erhielten die Teilnehmer eine Nachricht mit einem Frame.io-Link zu einem bearbeiteten und gemeinsam nutzbaren Werbespot als Erinnerung an ihr Erlebnis.

Den Anfang machte das mobile virtuelle Produktionsstudio Magicbox, ein riesiger 16-m-Truck, der in wenigen Minuten in ein voll funktionsfähiges LED-Volume verwandelt werden kann. Auf den LED-Wänden im Inneren der Magicbox werden fotorealistische 3D-Umgebungen dargestellt, so dass die Besucher mit der virtuellen Welt um sie herum interagieren können. Die von den Kameras aufgenommenen Bilder sehen aus, als wären sie vor Ort gedreht worden.

Verknüpfung des gesamten Videoerstellungsprozesses

Die Magicbox, also der LKW, wurde mit modernster Technologie von NVidia ausgestattet, die Raytracing in Echtzeit ermöglichte und das Rendering beschleunigte: Die auf der LED angezeigten Inhalte liefen auf der Unreal Engine, die wiederum mit NVidia RTX A6000 Grafikprozessoren, NVidia Quadro Sync II und NVidia NVLink der dritten Generation betrieben wurde.

Mit der RTX A6000 als Herzstück des virtuellen Produktions-Workflows hat das Fahrzeug die schnellsten und leistungsstärksten GPUs für die virtuelle Produktion an Bord. Sie liefern die Rechenleistung und Echtzeit-Rendering-Fähigkeiten, die für fotorealistische Umgebungen erforderlich sind.

Die enorme Anzahl an CUDA Kernen, die große Speicherkapazität und die hohe Speicherbandbreite sorgen für eine reibungslose Wiedergabe und Handhabung komplexer Geometrien und hochauflösender Texturen und liefern visuell beeindruckende virtuelle Hintergründe, die mit realen Orten konkurrieren. Die fortschrittliche KI-Beschleunigung durch Tensor Cores der dritten Generation beschleunigt die Produktionspipelines erheblich und hebt die virtuelle Produktion auf ein neues Niveau.

Die KI-basierten Automatisierungs-Funktionen in Premiere Pro, die ab sofort verfügbar sind, wurden genutzt, um den Produktionsprozess zu beschleunigen, insbesondere zeitaufwändige Aufgaben wie das Hochskalieren von Video, das Entrauschen von Renderings, die Verbesserung von Audio und das Retiming von Video.

Das Filmmaterial im Magicbox-Sattelauflieger wurde mit zwei Red Komodo-Kameras aufgenommen, die mit Teradek Cube 655s ausgestattet waren und in den Camera to Cloud-Workflow von Frame.io integriert wurden. Proxy-Clips wurden bei jeder Start/Stopp-Aufnahme der Kamera direkt an Frame.io gesendet, was den Prozess erheblich beschleunigte.

Remote-Redakteure, die nicht vor Ort waren, riefen dann die Proxy-Clips von Frame.io auf ihren NVidia-Workstations ab und bearbeiteten das Video in Premiere Pro, komplett mit gebrandeten Grafiken. Frame.io fungierte als zentraler Knotenpunkt für die Teams vor Ort und außerhalb, um Feedback zu verfolgen, es spezifischer und umsetzbarer zu machen, den Überprüfungszyklus zu verkürzen und die Genehmigung zu beschleunigen.

Die Straffung des Produktionsprozesses bedeutete, dass jeder Start/Stopp der Kamera einen automatischen Upload in Frame.io auslöste, so dass die Redakteure vor Ort über die Frame.io-Integration mit Premiere Pro sofortigen Zugriff auf die Inhalte des Sets hatten (sobald sie fertiggestellt waren), ohne einen Webbrowser öffnen zu müssen.

Schließlich konnten die bearbeiteten Sequenzen direkt in Frame.io hochgeladen werden, um sie abschließend zu überprüfen und zu genehmigen und dann mit den Teilnehmern zu teilen.

Der komplette End-to-End-Video-Workflow wurde durch die enge Zusammenarbeit von Adobe mit seinen Videopartnern ermöglicht. Das Ergebnis war ein sehr schneller und kostengünstiger Workflow für die Erstellung hochwertiger virtueller Produktionsinhalte. Das Setup, das während der NAB zu sehen war, entstand im Rahmen des Adobe Video Partner Programms.