Assimilate: Software für Virtual Production

Die neuen Software-Pakete von Assimilate zielen auf virtuelle Produktionen ab, sowohl wenn sie in Greenscreen-Studios stattfinden, wie auch mit LED-Wänden am Set. Live FX und Live FX Studio sollen solche Produktionen vereinfachen und beschleunigen.

Laut Hersteller verfügen die Software-Pakete etwa über die neuesten Technologien in den Bereichen Keying,  Kamera-Tracking und mehr. Sie sollen die virtuelle Produktion am Set nicht nur in puncto Pre-Visualization, sondern auch für das finale Pixel für kamerainterne VFX optimieren. Durch die Aufzeichnung aller eingehenden dynamischen Metadaten zusammen mit dem Bildmaterial kann Live FX automatisch alle Inhalte für VFX/Post vorbereiten und so viel Zeit und Geld sparen, so der Hersteller.

»Wir haben bei buchstäblich jeder Einstellung des Kurzfilms ‘Tall Poppy‘ Live FX eingesetzt, um unsere Multi-Layer-Blue-Screen-Elemente präzise mit unseren virtuellen Sets abzustimmen. Unsere Pre-Comps am Set machten unser Post-VFX-Compositing viel schneller und einfacher«, so Sam Nicholson, Gründer und CEO der Stargate Studios in Los Angeles.

Live FX

Live FX bietet ein Basis-Toolset, das sich an Indie-Filmemacher richtet, die überwiegend in Green-Screen-Setups drehen. Damit können sie komplette 3D-Umgebungen und einfache kameragetrackte Green-Screen-Replacements in Echtzeit erstellen, erläutert Assimilate.

Die Software unterstützt laut Hersteller die meisten gängigen Kameratracker, wie Intel RealSense, HTC Vive, Stereolabs ZED2i und eine Reihe von Android- und iOS-Tracking-Apps. Live FX kann das generische FreeD-Protokoll und Open Sound Control (OSC) zur Erfassung von Kamera-Tracking-Informationen nutzen. Alle Tracking-Daten können anschließend verfeinert und mit dem eingehenden Live-Kamerasignal synchronisiert werden, so dass alle Daten in der gesamten Pipeline synchron bleiben.

Durch die integrierte virtuelle Kamerakalibrierung ist Live FX in der Lage, Objektivverzerrungen zu berechnen und endgültige Composites live am Set zu erstellen, so Assimilate. Darüber hinaus verfügt es über alle Tools, die erforderlich sind, um den Greenscreen zu keyen und durch normale 2D-Bilder, 360-VR-Videos oder einen Live-Feed der Unreal Engine zu ersetzen, der über SDI, NDI oder latenzfreies Spout-Texture-Sharing erfasst wurde. Um die perfekte Illusion zu erzeugen, unterstützt Live FX gängige OFX-Plug-Ins und Matchbox-Shader und kann das Live-Composite in ProRes, DNx oder H.264 aufzeichnen.

»Die Wurzeln von Virtual Production liegen in der Welt des Live-Entertainments, und die derzeit verfügbaren Tools haben sich auf diese Anwendungen konzentriert, nicht auf die Filmproduktion. Assimilate hat dieses Paradigma durch die Entwicklung von Live FX für diese neue Art des Filmemachens geändert. Basierend auf seiner Erfahrung in der digitalen Bildnachbearbeitung hat Assimilate ein robustes Toolset entwickelt, das den Filmemacher anspricht und die vollständige Kontrolle über alle modernen Techniken in Virtual Production ermöglicht. Ich kann mir kein anderes System vorstellen, das so leistungsfähig ist wie Live FX«, sagt Alexis Haggar, Effects Director bei Lexhag in London. »Ich habe Live FX bereits in der Beta-Phase für unsere Indie-LED-Wand eingesetzt, und es ist immer noch sehr leistungsfähig. Das Assimilate-Team hat erstaunlich gut reagiert, auf meine Vorschläge gehört und mich durch die Funktionen ihrer Software geführt.«

Live FX Studio

Live FX Studio baut auf Live FX auf und ermöglicht die direkte Nutzung von 3D-Umgebungen innerhalb der Anwendung in Form von Notch-Blocks und Szenen im USD-Format.

Es bietet Unterstützung für High-End-Kameratracking-Lösungen wie NCam und Mo-Sys und wird mit integrierter DMX- und ArtNet-Steuerung geliefert, um die Bühnenbeleuchtung auf der Grundlage des Bildinhalts zu steuern, führt Assimilate aus.

Live FX Studio bietet außerdem Multicam-Unterstützung, direkte Fernsteuerung von Brompton Tessera LED-Prozessoren und Video-Router-Steuerung für AJA- und Blackmagic-Router. Vor allem aber enthält es die Finishing-Software Scratch VR von Assimilate, die die live erfassten Metadaten wie Kamera-Tracking und Objektivinformationen mit den kameraintern aufgezeichneten Raw-Dateien verknüpfen kann, um hochauflösende VFX-Plates zu erstellen, einschließlich aller frame-basierten Metadaten im OpenEXR-Format.

»Live FX ermöglicht die Zusammenführung mehrerer Lösungen für die virtuelle Produktion in einer Software. Es kann sowohl 2D-Playback als auch Game-Engine-Inhalte für Previz und finale Pixel-In-Camera-VFX in einer VFX-freundlichen Umgebung verarbeiten, die sich nativ an Postproduktionsprofis wendet«, so Julian Sarmiento, Global Director, Virtual Production and Real-Time bei FuseFX.

»Die offene Beta-Phase für Live FX war absolut großartig, da wir wertvolles Feedback von Leuten erhalten haben, die die Software in realen Workflows für alles Mögliche einsetzen — von schnellen Comps bei Location-Scouts bis hin zur Steuerung voller LED-Bildschirme. Die Erweiterung unserer Produktlinie um diese innovativen Tools ermöglicht es uns, die vielfältigen Einsatzmöglichkeiten und Bedürfnisse aller Filmemacher besser abzudecken«, so Jeff Edson, CEO von Assimilate. »Und wie bei allen unseren Produkten bieten wir sehr flexible Lizenzierungsoptionen.«