Virtual Production mit einer LED Wall

Wenig Zeit und Großes vor

Es ist der 14.Juli 2023, als mich Katja Köstler von LEDcave ansprach und fragte; „Sag mal, wie schnell kannst du dein Filmteam zusammenbringen?“, um mich im Anschluss auch direkt zu fragen, ob ich nicht auf den „OpenDays“ in Köln bzw. Erftstadt eine Live-Dreh Performance zu zeigen

Völlig überrascht, aber hoch erfreut über diese traumhafte Möglichkeit, fand ich mich aber plötzlich in der Realität wieder, als mir dann bewußt wurde, das der Termin ja schon in 4 Wochen sei und noch alles dafür organisiert werden musste.

Das ISS-Thema war schnell gefunden, da ich aktuell ein anderes Weltraum Projekt habe. Von der Seite war also schon ein bisschen da. Auf meiner Liste stand aber auch noch: Ein Schauspieler, ein Raumanzug, ein Stuntkoordinator und alles, was man sonst noch an Crew zum Drehen braucht.

Den Schauspieler fand ich in Béla Klentze aus Köln, der für sein neues Musikprojekt „Stairway to Violet“ eh noch Astronautenaufnahmen brauchte. Mit den Raumanzügen hat mir Guido Weitkemper von „futurepeople.de“ ausgeholfen, der Original Raumanzüge in aufgearbeiteter Form für Fotos und Film vermietet. Für das „Wire-Rig“ (Seilaufhängung für Flugstunts) hatte man mir einen Kontakt zu Tom Hangartner von Stuntteam.de geschafft. Bei der Technik hat mir die LEDcave zur Seite gestanden und uns eine Arri LF-Mini zur Verfügung gestellt. Im Studio ist dann soweit alles organisiert, jetzt geht es aber an den Part auf der LED Wall, der komplett auf mich ging.

Contenterstellung

Ich hatte vor ein paar Jahren mal ein 3D Modell der Internationalen Raumstation ISS gekauft, welches allerdings nicht wirklich HighRes war und mir nur für Autodesk Maya vorlag. Dieses Modell wurde ursprünglich in 3dsMax mit Vray Materialien erstellt und hatte insofern für mich keine
funktionierenden Shader Networks. Das war für mich erst einmal nicht so tragisch, ich hatte schon damit gerechnet, für das Unreal Setup nochmal an die Shader gehen zu müssen. Ein großer Vorteil lag aber darin, dass die einzelnen Module auch als einzelne Gruppen im Outliner sortiert waren. Es musste also nur etwas aufgeräumt und nachgearbeitet werden und dann konnte ich das Ganze als fbx-file exportieren.

In Unreal war mir schnell klar, dass ich aufgrund der Grösse dieser Raumstation möglichst versuchen sollte, die Struktur zu erhalten. Das funktionierte sehr gut als Blueprint und gab mir sogar die Möglichkeit, gegebenenfalls einzelne Module durch z.B. HighRes 3D Modelle auszutauschen. Wenn der Weltraum einen Vorteil hat, dann der, dass es keine Verwitterung wie auf der Erde gibt. Das machte es mir Punkto Shadern etwas einfacher, da ich mit ShaderPaketen für Fabrics, Metal, Plastics und Glas die gesamte Station shaden konnte. Es gab lediglich ein paar Adjustments für die SolarPanels aber dann funktionierte das Model schon sehr gut. Viel (Film)Set gibt es im Weltraum nicht, aber die Erde sollte man schon sehen. Ich habe jede Menge Research betrieben zur Erstellung von Planeten, was im Übrigen doch sehr einfach geht, allerdings mit einem Nachteil: Unreal arbeitet mit echten Abmessungen und das heisst im Umkehrschluss, dass man immerzu mit lächerlich hohen Zahlen „herumhantiert“. Des Weiteren war die Erde mit seinen 32K Texturen ein echtes „Datenschwergewicht“, welches die FPS Zahl und somit die Performance in Unreal schon etwas drückte. Doch ich wollte kein Risiko eingehen und entschied mit Schlussendlich für die wesentlich Datendurchsatzfreundliche Variante eines HDR Backdrops, also einem 360° HDR-Bild. Wo jetzt das Filmset für die LED Wall fertig ist, geht es in die direkte Vorbereitung der einzelnen Shots. Für den Dreh in einer LED Umgebung ist das unabkömmlich, denn das, was man sonst später in der Post macht, macht man jetzt überwiegend in der Vorbereitung. Dazu gehört die Planung des Kamera-„Framings“ und alles, was sonst noch im Shot passieren soll. Dies macht man einfach im Sequenzer. Es ist auch sinnvoll, diese geplanten Sequences als Filme herauszurendern, damit man jedem erklären kann, wie der Shot aussehen soll.

Erster Testlauf auf der LED Wall

Nun ist es soweit. Ich muss das Setup mal auf der Wall sehen…und die Wall bei LEDcave kann sich auch sehen lassen. 44 Meter ge-curved und 7,5 Meter Höhe „schiessen“ dich direkt in deine Unreal Welt, denn wenn du mitten im Raum stehst, wird dein gesamtes Sichtfeld „bespielt“. In meinem ICVFX Fellowship war ich ja nur mit einer „witness Cam“ live dabei, aber jetzt sollte es endlich mal losgehen. Ehrlich gesagt: der erste Testlauf auf der LED Wall hat mich etwas enttäuscht. Ja, es war groß, ja, es sah „hammermässig“ aus, aber die Farben wären echt übertrieben übersättigt. Man konnte mich aber schnell eines Besseren belehren, denn das System musste nur in einem anderen Farbraum abbilden und schon sah es genauso aus wie bei mir im Büro auf dem Bildschirm. Was mich aber am Meisten freute war die Tatsache, dass meine Idee für die FPS aufging und wir gut 90 FPS auf die Wall bringen konnten. LEDcave in Erftstadt nutzt Unreal im Verbund mit Disguise Servern für die Bespielung der LED Cave und ich muss sagen, die Performance ist echt beeindruckend. So ist es auch möglich, sehr schnell ohne lange Ladezeit verschiedene Szenerien (Level) aufzurufen. Aber es braucht auch ein gutes Kameratracking. Meiner Meinung nach wird immer noch nach der SolidProof Concept gesucht, aber Stype ist diesem sehr nah.

Stype funktioniert als optisches Trackingsystem mit reflektierenden Markern an der Studiodecke und einer nach oben gerichteten zusätzlichen Kamera, die man an das KameraRig montiert.

Durch die Deckenerkennung gibt es leider eine Einschränkung beim Führen der Kamera in extreme Winkel, doch den maximal empfohlenen Kipp Winkel von 45° konnten wir dennoch überschreiten und hatte immer noch ein bombenfestes und vor allem „ruckelfreies“ Tracking für die virtuelle Kamera. Wir haben bewußt den ersten Tag der „opendays“ sehr entspannt ohne Druck geplant, weil wir ja auch jetzt zum ersten Mal alles zusammenbringen.

So hat mein eingeplanter Kameramann Panagiotis Costoglou zwar relativ viel 3D Programm Verständnis, aber mit Realtime Engines noch nie selber gearbeitet. Ich hatte ihn natürlich gefragt, wie es sich im Vergleich zu klassischer Kameraführung anfühlt. Er war sehr erfreut, dass alle für Kameraleute wichtigen Funktionen wie Blendeneinstellungen, Zoomeinstellungen sowie Focus-Pulling unterstützt werden und sich bei Virtual Production genauso anfühlen wie „klassisch“. Selbst das kleine Bilddelay stellt kein grosses Problem dar, weil man in Zeiten von drahtlosen Bildübertragungen über z.B. Hollyland Transmittern ja auch eine kleine Verzögerung hat.

Eine Kleine Herausforderung gibt es allerdings dennoch und das ist das „Matching“ der Farben und des Lichts von LED Cave und den realen Sets und Akteuren. Hier zählt ein gutes Auge auf einen guten Referenzmonitor, damit Übergänge nahtlos werden. Selbiges gilt für den Weißabgleich.

Fazit:

Virtual Production ist trotz der sehr weit entwickelten Technik immer noch ein kleines Abenteuer… welches aber unfassbar Spaß macht, denn wenn alles richtig eingestellt ist, kann man sehr schnell und bequem Shot für Shot arbeiten mit einem kleinen Team und hat sein fertiges Bild „nahezu schon auf der Festplatte“. Für mich auf jeden Fall etwas Zukunftsträchtiges, insbesonders für Sets mit besonderer Lichtsetzung oder schwer erreichbaren oder fiktionellen Drehorten.