Neue Produktionsweise im volumetrischen Studio

Frank Govaere, VFX-Supervisor der Ufa, begleitete schon einige volumetrische Produktionen und vertritt sein Unternehmen im technischen Beirat von Volucap. Er vergleicht die Produktionsweise im volumetrischen Studio mit der von Games und zeigt die Unterschiede zur Computeranimation auf. Weitere Informationen hat Torsten Schimmer, Chief Operation Officer der Volucap GmbH.

Rund um die Spielfläche des Volucap-Studios im FX Center Babelsberg sind in einen weißen Zylinder 32 »XiB«-Kameras von Ximea montiert. Frank Govaere rechnet vor: »Mit 16 Kamerapaaren haben wir eine Bildinformation von insgesamt 160 K. Das sind im Raw-Format und bei 30 Frames pro Sekunde je Minute ungefähr zweieinhalb Terabyte. Trotzdem kann diese Anlage 90 Minuten am Stück aufnehmen – ungefähr 200 Terabyte –, ohne dass man Daten auslagern müsste.« Das ist mehr als genug für den Produktionsalltag, berichtet Govaere. »Bei unserem letzten Dreh haben wir für ein 4 1/2minütiges Projekt 30 bis 35 Minuten aufgezeichnet. Nach meiner Erfahrung kann man am Tag vier Minuten netto drehen.« Der Prototyp, mit dem das Berliner Fraunhofer Heinrich-Hertz-Institut das Verfahren in seinen Räumen testete und entwickelte, hat nicht nur kleinere Abmessungen. »Dort reichte der Speicher für vier bis fünf Minuten. Dann war eine Drehpause von zehn bis 15 Minuten fällig, um die Daten zu verschieben.«

Für die Ausleuchtung der Spielfläche setzt man bei Volucap komplett auf weiß. »Wir haben rund 225 Arri SkyPanels um die Rotunde herum, oben und unten eingebaut. Die Lichtleistung beläuft sich auf ca. 80 kW. So haben wir ein superweiches Licht, was eine schattenfreie Ausleuchtung der Personen ermöglicht. Das ist zum Beispiel wichtig, wenn noch nicht klar ist, in welchem Lichtsetup die Person später stehen wird oder ob und wie sich das Lichtsetup während der Experience dynamisch ändert«, berichtet Torsten Schimmer. Es gibt aber auch das Gegenmodell zu einem solchen statischen Konzept: »Wir können die SkyPanels natürlich auch einzeln ansteuern und dynamische Lichtsetups programmieren oder die Lichtstimmung eines Bildes oder eines 360 Grad-Videos für die spätere Umgebung mit den SkyPanels wiedergeben.«

100 Jahre Ufa, 100 Jahre Caligari, fast ein Jahr Volucap

Mit ihrem ersten szenischen Volumetrie-Projekt »Ein ganzes Leben« feierte die Ufa ihr 100. Jubiläum. Dieser Film ist im Berliner Filmmuseum zu sehen und wird zurzeit im Rahmen einer Sonderschau auch im Düsseldorfer Filmmuseum gezeigt. VR auf Reisen zu schicken – das ist auch für das aktuelle Projekt angedacht: »Wir arbeiten mit dem Goethe-Institut und Arte an der VR-Experience Der Traum des Cesare für das Goethe-Institut in Warschau zu 100 Jahre Das Cabinet des Dr. Caligari, berichtet Frank Govaere. Die Premiere ist dort geplant und andere Standorte sind ebenfalls vorgesehen. Zum Caligari-Jubiläum 2020 ist das Projekt in Berlin während der Berlinale zu sehen.
Natürlich sind VR und AR nicht nur für die Darstellung von Filmgeschichte geeignet. Ideen und geplante Projekte der Ufa betreffen beispielsweise auch E-Learning im Corporate-Bereich, aber auch reines Entertainment. Es gehe um Brand Extension – auch darum, die »altmodischen Medien« zu ergänzen mit VR und AR. 

Zwischen HoloLens und Yoga-App

»Die Ufa ist an vielen Projekten beteiligt und eine treibende Kraft bei der Akquise neuer Projekte«, berichtet Torsten Schimmer. Direkte Anfragen bei den Babelsbergern betreffen unterschiedlichste Vorhaben: »Wir haben z.B. Anfragen aus der Industrie, für eine App, in der ein Chefingenieur eine neue Maschine erklärt, ohne selbst vor Ort zu sein. Das wäre ein Anwendungsfall für die HoloLens. Ein anderes Beispiel ist eine App, in der der Trainer im eigenen Wohnzimmer oder auf der grünen Wiese im Park erscheinen kann, um Yogaübungen oder Fitnessübungen vorzuführen. Das wäre per HoloLens oder auch auf dem Handy als AR-App machbar.«

Nicht nur, wenn die Wunsch-Location nicht möglich ist, könnte es interessant sein, Präsentatoren in einer neutralen Umgebung zu drehen. »Zeitzeugen sind ein großes Thema. Sie bleiben durch die volumetrischen Aufnahmen für die Nachwelt erlebbar. Viele Museen bekunden starkes Interesse.« Präsentationen in frei wählbaren Umgebungen sind auch für andere Bereiche interessant: »Für die Modedesignerin Lana Müller haben wir eine volumetrische Fashionshow produziert und die Kinderbuchautorin Sarah Settgast kann mittels augmented Reality überall platziert werden.«

Vom Dreh bis in die Post: Arbeitsweisen im Wandel

Wie ändern sich die Arbeitsweisen beim Dreh im Volumetrie-Zylinder? »Wir haben ja ein vorgefertigtes Studio, ohne Aufbauzeiten für Kamera, Licht usw. Das ist vergleichbar mit einem Greenscreen-Dreh. Es hat die gleiche Tücke für Schauspieler und Regie, aber hier spielt man noch mehr ins Leere: Der Regisseur sitzt getrennt von seinen Schauspielern vor einem Monitor und kann Anweisungen nur indirekt, z.B. über Intercom, geben. Das macht alles komplexer. Wir unterstützen das durch eine sehr präzise Previsualisierung. Abläufe und Positionen in einem Storyboard oder Animatic in 3D sind visuelle Planungshilfen für den Dreh.«

Für die Bildbearbeitung kommen nur zum Teil die bekannten Tools, etwa für Schnitt und Farbkorrektur, zum Einsatz. Die Software »3D Human Body Reconstruction« des HHI erzeugt aus den 32 Kamerabildern virtuelle Figuren der Schauspieler. »Es kommt ganz darauf an, was mit den volumetrischen Assets passieren soll«, so Torsten Schimmer. »Die 3D-Figuren können in alle gängigen 2D- und 3D-Programme importiert und dort in Szene gesetzt werden.«

Die Daten können wie computergenerierte Modelle bearbeitet werden. Frank Govaere nennt einen entscheidenden Unterschied zur Filmproduktion: »Der Post-Workflow hier entspricht eher dem eines Computerspiels. Wir bauen eine 3D-Welt, in der die volumetrische Figur agiert. Wir nutzen Tools aus der Gaming-Welt wie Unity, Unreal oder Cry Engine«, erläutert Govaere. »Auch Dialoge, Atmos, Geräusche usw. werden in diesen Engines angelegt. Damit arbeiten wir objektbasiert. Wir können z.B. ein Fahrgeräusch an ein vorbeifahrendes Auto anhängen. Der Ton bewegt sich automatisch in Echtzeit im Raum mit, ohne dass man eine räumliche Mischung machen müsste.«

Diese Arbeitsweisen wirken sich auf die Qualifikationen der Beteiligten aus. Frank Govaere: »Definitiv brauchen wir Leute aus dem Gaming-Bereich. Programmierer betreuen bei einem Film das Datenmanagement. Hier geht es z.B. darum, interaktive Funktionen zu programmieren.«

Reale Menschen werden VR groß machen

»Das erste Projekt „Gateway to Infinity“ anlässlich der NAB 2017 war eher experimentell. Wir konnten nur ungefähr 220 Grad aufzeichnen. Das basierte auf einem kompletten Greenscreen Workflow. Wir haben viel daraus gelernt und beim HHI entstand der Vorläufer des Studios von Volucap. Dessen Grundlage ist ein Luminanzkey-Workflow. Die Räumlichkeiten waren aber viel zu klein.« Die Vermarktung späterer Produktionen führte zu der Einschätzung: »Wenn diese Technologie eine Chance haben soll, dann muss man etwas dramaturgisch umsetzen.«

Für »Ein ganzes Leben« beschritt man erstmals diesen Weg. »Mit der Qualität des Produktes sind wir noch nicht glücklich. Die ständige Weiterentwicklung wird erschwert, weil es für VR und AR keine technischen Standards für Bildformate, Auflösung, Farbtiefe usw. wie beim Film gibt.« Das sieht Govaere als eine Parallele zur frühen Filmgeschichte. Und wie damals gelte: »Die Aufzeichnung des realen Menschen hat das Kino groß gemacht und wird VR und AR groß machen. Den Menschen hereinzubringen ist die Herausforderung. Viele Leute mögen ja keine computergenerierten Figuren, aber fast jeder schaut sich gerne andere Menschen an. Das muss etwas Genetisches oder Evolutionsbiologisches sein …«, vermutet Frank Govaere.

Baustelle Volumetrie

»Die Verbesserung der Qualität ist unsere kontinuierlichste Baustelle. Wie können wir die Abläufe beschleunigen – mit SSDs statt mit normalen Festplatten? Mit Glasfaser statt mit Ethernet-Verkabelung? Den größten Bedarf sehe ich bei der Berechnung der 3D-Geometrien. Diese genau und ohne Fehler und Artefakte zu berechnen – das ist die größte Herausforderung.«

Die riesigen Datenmengen erfordern es zurzeit noch, die Zuschauer zum Produkt zu bringen. »Vieles kann man nur location-based angucken, nicht zuhause z.B. über eine Streaming-Plattform. Wenn man das Produkt aber nicht zum Zuschauer bringen kann, hat es keine Chance.« Daraus leitet Govaere eine zweite große Herausforderung ab: »Wie komprimiere ich ein 3D-Format, damit ich es so breit wie möglich zu Verfügung stellen kann? Auch da gibt es keinen Standard.« Dennoch gibt sich Frank Govaere dazu optimistisch, schon weil das Fraunhofer HHI als einer der Volucap-Partner u.a. den MPEG-4 Codec entwickelt hat.

»Ich schau Dir in die Augen … «?

Als dritte Baustelle nennt Govaere die Idee, »irgendwann die Interaktion mit der aufgezeichneten Figur aufzunehmen. Das könnte über einen Augenkontakt mit den volumetrischen Figuren geschehen bis hin zu – da träumen wir ganz weit voraus – einer Interaktivität, die durch eine künstliche Intelligenz gesteuert wird. Das ist eine multidisziplinäre Herausforderung … Das liegt ziemlich weit in der Zukunft.«

Wie ist es mit dem Feedback?

Bei den Reaktionen der Zuschauer macht Frank Govaere einen Wettbewerb mit 3D-Computeranimationen aus. »Dass wir die von uns gewünschte technische Perfektion nicht erreicht sehen, stört das Publikum viel weniger als uns. Man ist überrascht, wie realistisch und wie nahe die Figuren sind. Die Computeranimation wirkt zwar manchmal hochwertiger. Es bleibt aber eine Animation und keine real aufgezeichnete Handlung und Emotion. Das Publikum merkt: Das Eine ist synthetisch, das Andere ist real. Diese Anziehungskraft haben wir vermutet, aber nicht in dem Ausmaß. Wenn wir die Darstellung noch hochauflösender, noch realistischer machen, wird das eine größere Rolle spielen. Je realistischer man die Schauspieler im Raum darstellt, desto emotionaler wird es für den Betrachter«, setzt Govaere die Qualitätslatte nach oben.

Was braucht es für einen Massenmarkt?

Frank Govaere hatte bereits auf die Bedeutung einer Standardisierung und der Verbreitungsplattformen hingewiesen. Sei das geklärt, »wird der Rest von allein kommen«. Er sieht aber auch inhaltliche Aspekte. »VR und AR „missbrauchen“ wir ja eigentlich für Unterhaltungszwecke und Lernanwendungen. VR und AR können viel mehr. Microsoft sagt: Wir bedienen den Computer auf unnatürliche Art und Weise für uns als dreidimensional denkende Wesen. Deswegen werden VR und AR die Betriebssysteme der Zukunft sein. Ich denke, wenn Microsoft sich das auf die Fahne schreibt, wird das kommen«, vermutet Frank Govaere.

Frische Impulse für die UFA

AR und VR will die Ufa als Erweiterung ihrer Marken und für E-Learning ausbauen. »Unsere Zuschauer erwarten spannende Erweiterungen des Fernsehens. VR-Inhalte sind prädestiniert, um frische Impulse in den Socialmedia-Markt zu bringen. Und wir denken über Mischformen nach, z.B. ein Dokumentarprojekt durch VR oder AR zu ergänzen.« Frank Govaere setzt fort: »Beim Edutainment ist der volumetrische Film sehr gut aufgehoben. Lerninhalte zu vermitteln ist mit einem sympathischen Lehrer viel einfacher, als in einem Buch zu lesen. Wir erinnern uns: Die Lehrer, bei denen wir am meisten gelernt haben, waren die mit dem höchsten Unterhaltungswert. Deswegen werden volumetrische Inhalte für das Edutainment sehr wichtig. Die UFA ist ja Teil des Bertelsmann-Universums, in dem es auch Edutainment-Firmen gibt. Mit ihnen reden wir darüber, wie wir ihre Themen in unsere Formate bringen können. Sie sind sehr interessiert und wir haben da eine Verteilerfunktion.«