Virtual Production à la Sony

Virtual Production hat sich — beschleunigt durch die Pandemie —  zu einem großen Thema entwickelt. Das griff Sony auch bei der Euro Cine Expo auf. Zusammen mit dem Regisseur und Kameramann Berti Kropac hatte das Unternehmen am Stand ein kleines Virtual-Production-Set aufgebaut, und Kropac informierte in einem Vortrag und am Sony-Stand Interessierte über seinen praktischen Ansatz und Zugang zum Thema Virtual Production. »Einfach mal loslegen«, könnte man als Motto von Berti Kropac bei diesem Thema zusammenfassen. Sony lieferte bei der Messe und mit zusätzlichem Hintergrundmaterial weitere Infos zu diesem Thema.

Die grundlegende technische Idee von Virtual Production: Statt Greenscreen steht im Filmstudio eine große LED-Wall. Sie wird in Echtzeit mit dem jeweils gewünschten Hintergrund bespielt. Das können Standbilder, aber natürlich auch bewegte Bilder sein und in der vollausgebauten Version mit Echtzeit-Animationen, die sich perspektivisch an die Kameraposition anpassen.

Die Kamera zeichnet in allen Fällen am Set mit den Schauspielern und dem gewünschten Hintergrund auf der LED-Wand ein fertiges Bild auf — direkt in der Kamera. Es ist also nicht erforderlich, Vorder- und Hintergrund mühevoll in der Postproduction zusammenzufügen. Sony spricht in diesem Zusammenhang von ICVFX, das steht für »In Camera VFX«.

Dass sich Sony verstärkt mit dem Thema Virtual Production beschäftigt, liegt nahe, denn schließlich bietet der Hersteller zentrale Produkte an, die für Virtual Production notwendig sind. Das ist einmal die Venice, eine digitale Cine-Kamera, die vielfach für Spielfilme und Werbung eingesetzt wird, und High-End-LED-Wände, die Sony im Crystal LED-LineUp zusammenfasst.

Sony und Kropac Media

Kropac hat mit seinem Unternehmen Kropac Media unzählige High-End-Werbeclips gedreht und arbeitet unter anderem mit Kunden wie Audi, Porsche oder Adidas zusammen. Für ihn ist höchste Qualität bei seinen Drehs also unabdingbar.

»Während des Lockdowns in der Corona-Pandemie standen wir dann plötzlich vor der Herausforderung, dass wir weder reisen noch an besonderen Locations drehen konnten. Wir experimentierten also mit Virtual Production — und das hat unsere Firma gerettet«, resümiert Kropac. »So konnten wir in unserem Studio in Ingolstadt Sand aufschütten lassen, in Hintergrund tolle Strände einspielen und so California Beach Feeling drehen.« 

Bei den ersten Virtual-Production-Drehs arbeitete Kropac mit verschiedenen LED Screens, auf denen er Standbilder, aber auch Bewegtbild im Hintergrund abspielte. »Dabei achtete ich darauf, dass sich die Kamera kaum bewegte, damit es keine Verschiebungen der Perspektive gab. Heute arbeiten wir zu 50% mit digitalen Hintergründen aus Unreal und 50% immer noch Videos oder Fotos.«

Eher statische Sets funktionieren aus seiner Sicht auch ohne großen Virtual-Production-Aufwand. Er nennt ein konkretes Beispiel: Bei einem Set, bei dem der Schauspieler aus einem kleinen Flugzeugfenster auf vorbeiziehende Wolken blickte, war es absolut ausreichend, dass die Wolken auf einem LCD dahinter abgespielt wurden. 

Virtual Production Set: Technik

Wenn bei den Drehs allerdings Kamerabewegung ins Spiel kommt, ist es notwendig, die Objekte an die jeweilige Kameraperspektive anzupassen. Dafür ist eine leistungsfähige Echtzeit-Computertechnik, bestehend aus einer Grafik-Software und einer performanten Server-Struktur — und man benötigt auch ein Kamera-Tracking-System.

In die Virtual-Production-Präsentation waren am Sony-Stand die folgenden Komponenten involviert: Sony Venice, eine Crystal LED-Wand von Sony, das Ncam-Tracking-System (Meldung) und die Software Unreal Engine (Meldung).

Je nach Produktion werden die Hintergründe, die auf der LED-Wand ablaufen, direkt in einer 3D-Software gestaltet und dann eingebunden. Unreal bietet dafür — wie auch andere Hersteller — die passende Software.

Die Vollformat-Kamera Venice war mit einem Ncam-Tracking-System bestückt. Es übermittelt quasi die Positionsdaten der Kamera an den Unreal Engine, also das Computersystem, das auf Basis der Tracking-Daten der Kamera und der Objektivdaten das Hintergrundbild perspektivisch so anpasst, dass die Kamera auch wenn sie bewegt wird, immer ein korrektes Bild erzeugen kann.

Virtual Production Set: Look

Sony entschied sich bei der Präsentation bei der Euro Cine Expo für ein kleines Set mit Tisch und zwei Stühlen vor einem Fenster. Das Bild, das man beim Blick aus dem Fenster sehen konnte, lief auf einer Sony Crystal LED Videowall. Der Pixelabstand der Crystal-LED-Wand betrug 1,5 mm, was für diesen Zweck ausreichte. Es gibt aber in der Crystal-Baureihe von Sony aber auch Panels noch kleinerem Pixelabstand. Generell gilt: Je geringer der Pixelabstand ist, desto hochwertiger, aber auch teurer ist die Videowand. Und wenn man eine kleinere Screengröße anstrebt, sollte man auf jeden Fall in einen kleineren Pixelabstand investieren.

Berti Kropac betont: »Wir haben bei diesem Set wirklich alles eingebaut, was bei einem Greenscreen-Dreh Schwierigkeiten bereiten würde. Wir hatten Gläser mit farbigen Getränken, transparente Vorhänge, eine spiegelnde Tischplatte, sogar einige Grünpflanzen und ein Model mit offenen Haaren. So können wir zeigen, wie leistungsfähig unser System ist.«

Sebastian Leske, European Product Manager Cinematography, ergänzt: »Wir haben mit der Venice und der Venice 2 einerseits High-End-Kameras im Portfolio und mit der Crystal LED Videowall andererseits eine hochwertige LED-Wand. Als Hersteller können wir diese beiden Komponenten bei der Virtual Production optimal aufeinander abstimmen, was natürlich ein großer Vorteil ist.«

Was Leske hier anspricht, ist ein wichtiger Punkt in der Virtual Production, denn es gibt etliche technische Fallstricke zu berücksichtigen, die letztlich die Qualität der Virtual Production beeinflussen. Wenn Kamera und LED-Wand gut zusammenspielen, lassen sich viele davon von vornherein abwenden.

Die CLED B-Serie, die Sony in München gezeigt hat, wurde explizit für den Einsatz im Bereich Virtual Production entwickelt. Sony betont, dass Probleme, die es mit herkömmlichen LED Wänden geben kann, bei dieser Produktlinie nicht auftreten.

Technische Hürden der Virtual Production

Neben dem oben bereits erwähnten Pixel-Pitch, also dem Abstand zwischen den Pixeln der LED-Wand, spielt es auch eine Rolle, wie stark die verwendete LED-Wand vorhandenes Licht am Set reflektiert. Hierin unterscheiden sich die unterschiedlichen Crystal-Serien. 

Ein weiterer Aspekt, den es zu beachten gilt, ist Moiré — ein störendes Interferenzmuster. Moiré kann auftreten, wenn sich Kamerasensor, Pixelabstand der LED-Wand, Aufnahmeabstand, Objektivbrennweite und Schärfentiefe ungünstig beeinflussen. 

Wie gut die verwendete LED-Wand echtes Schwarz darstellen kann, beeinflusst das Endergebnis ebenfalls, etwa in Bezug darauf, wieviel Detail in den Schwärzen noch zu erkennen ist. Auch Banding-Effekte können auftreten, etwa dann, wenn die Bit-Tiefe der verwendeten LED-Wand nicht ausreicht, um alle Farben richtig darzustellen.

Ein weiterer Effekt, den mancher vielleicht auch vom Fernseher zu Hause kennt: je nach Betrachtungswinkel nimmt man Luminanz- und Farbverschiebungen wahr. Es hängt also von der Qualität der LED-Wand ab, was die Kamera aufzeichnen kann.

Moderne Displays arbeiten mit einer sequenziellen Scanning-Technologie, um die Pixel des Displays zu beleuchten. Wenn Kamera-Shutter und Scanning-Frequenz nicht zusammenpassen, kann es zu Artefakten kommen. Deshalb ist es hilfreich, wenn die verwendeten LED-Controller eine Anpassung ermöglichen. 

Die verwendete LED-Wand muss eine korrekte Farbwiedergabe in dem Farbraum garantieren, in dem die Kamera arbeitet. Ist das nicht der Fall, kann es zu unerwünschten Farbeffekten im Bild kommen. 

Sony betont, dass all diese Faktoren bei der Kombination der Sony Venice mit der Crystal-LED-Videowall sehr gut zu bewältigen sind und Probleme vermieden werden können: Das konnte man bei der Installation am Stand der Euro Cine Expo tatsächlich in der Praxis begutachten.