Lytro Immerge: Bahnbrechende Kamera, mit der Sie sich in VR-Videos bewegen können

Seit Lytro vor drei Jahren mit seiner ersten Lichtfeldkamera auf den Markt kam, hat es die Dinge ganz anders gemacht. Die Imaging-Technologie des Unternehmens war schon immer bahnbrechend: Sie stellen Standbildkameras her, mit denen Sie eine Aufnahme aufnehmen und dann entscheiden können, wo Sie fokussieren und wie Sie die Schärfentiefe nachträglich anpassen. Plötzlich galt „fix it in post“ für Dinge, die in der Standfotografie noch nie möglich waren — zumindest mit einer einzigen Kamera.

Aber die ersten beiden Kameras von Lytro waren aus gutem Grund keine Smash-Hits. Das erste Verbraucherprodukt des Unternehmens, ein kleiner Kaleidoskop-Shooter mit grundlegenden Steuerelementen und einem winzigen Sucherbildschirm, war für seinen Preis von 400 bis 500 US-Dollar extrem begrenzt. Die zweite Kamera, die Lytro Illum, sah eher wie eine DSLR aus und bot tiefere Bedienelemente. Es kostete auch $ 1.600 und stolperte in Schlüsselbereichen der Benutzerfreundlichkeit. Keine der beiden Kameras konnte hochauflösende Bilder aufnehmen und trotz dieser innovativen Refokussierungstricks eine hervorragende Bildqualität erzielen.

Mehr anzeigen

Sie haben auch kein Video gedreht, aber Lytro neckte immer, dass ähnliche Fokus-After-the-Shot—Funktionen auch mit bewegten Bildern möglich waren – eine Lytro-Kamera, die Videos aufnahm, war wirklich unvermeidlich. Jetzt ist es hier, und es ist ein ganz anderes Tier als das, was die meisten erwartet hatten. Lytro hat es sich zur Aufgabe gemacht, VR-Videos aufzunehmen, und das Unternehmen kündigt ein neues End-to-End-System an, das die Möglichkeiten für VR-Zuschauer und Filmemacher gleichermaßen radikal verändern könnte.

Das Lytro Immerge System befindet sich seit etwa anderthalb Jahren in der Entwicklung. Es ist das erste Lytro-Produkt für die professionelle Videoproduktion. Und es ist nicht nur ein VR-Kamera-Rig aus Video-shootin ‚Lytros, entweder: Lytro CEO Jason Rosenthal sagt, die Sensoren und das System wurden komplett von Grund auf neu entwickelt. Sein Herzstück ist die Immerge-Kamera, Ein Fünf-Ring-Globus, der das erfasst, was Lytro als „Lichtfeldvolumen“ bezeichnet.“ Im Gegensatz zu bestehenden VR-Kamera-Rigs, die ein statisches 360-Grad-Bild aufnehmen, können Sie sich mit der Immerge-Kamera ein wenig in der Szene bewegen.

„Stellen Sie sich eine Kamera vor, die stationär bleibt, aber in der Lage ist, Ihren Kopf zu bewegen und sich immer weiter von einem Objekt in einer Szene zu entfernen“, erklärt Rosenthal. „Die Reflexion und die Lichtstrahlen müssen sich entsprechend anpassen. Was das Lichtfeldvolumen darstellt, ist, dass wir alle Strahlen in einem bestimmten geometrischen Volumen dicht erfassen und dann eine Software entwickelt haben, mit der wir diese Strahlen mit sehr hohen Bildraten und hoher Auflösung wiedergeben können. Es gibt Ihnen die perfekte Nachbildung der tatsächlichen Welt, die Sie erfassen.“

Diese Fähigkeit allein ist ein umwerfender Sprung für das VR-Filmemachen, und die Immerge-Ankündigung ist zeitlich gut auf die nächste Generation von VR-Hardware vorbereitet. Positions-Tracking-Headsets wie Oculus Rift, HTC Vive und Sony PlayStation VR sollen im nächsten Jahr erscheinen. Laut Rosenthal wird das Video von Lytro mit all diesen Plattformen kompatibel sein.

Bis jetzt haben diese kommenden Positions-Tracking-Headsets einen großen, neuen Sprung nach vorne für immersive Spiele vorgeschlagen, aber nicht unbedingt für Video: Mit einer vollständig computergenerierten Umgebung können sich die Spieler tatsächlich darin bewegen. Aber wenn seine Aufnahmen mit einem Positions-Tracking-Headset betrachtet werden, verspricht Immerge ähnliche Bewegungsfreiheit wie Live-Action-Video – wenn auch eine sehr begrenzte Bewegungsfreiheit in diesem Produkt der ersten Generation.

„Jede der Schichten repräsentiert eine sehr dicht gepackte Welle von Lichtfeldsensoren“, erklärt Rosenthal und sagt, dass es in einem einzigen Rig Hunderte von einzelnen Sensoren geben wird, die das Lichtfeldvolumen erfassen. „Es ist eine 360-Grad-Lichtfeldaufnahme. Und dann, indem wir fünf übereinander stapeln, geben wir Ihnen eine Erfassung des gesamten Lichtfeldvolumens. Sie erhalten ungefähr einen Kubikmeter Fläche, mit dem Sie die darin enthaltenen Strahlen vollständig erfassen können. Und dann können Sie sich aus Verbrauchersicht innerhalb dieses Volumens bewegen und die Welt entsprechend reagieren lassen.

“ Wir können und werden größere Kugeln und andere Konfigurationen für verschiedene Arten von Aufnahmesituationen bauen. Sie können außerhalb des Rings gehen, aber was Sie sehen werden, ist eine allmähliche Verschlechterung der Erfahrung. Sie werden Lücken bemerken, in denen wir möglicherweise nicht über die Bilddaten verfügen, um die Szene vollständig neu zu erstellen … Dies sind immer noch Dinge, die wir verfeinern, aber wenn Sie ein iPhone verwenden und zum Ende der Schriftrolle gelangen, erhalten Sie diese Art von Gummiband-Erfahrung. Sie könnten sich etwas Ähnliches in einer VR-Erfahrung vorstellen, wo Sie an den Rand dessen kommen, was eine Kamera kann, Ihre Umgebung dehnt sich ein wenig aus.“

Lytro beabsichtigt Immerge als End-to-End-Workflow-System. Vergessen Sie, eine SD-Karte mit hoher Kapazität in dieses Ding zu stecken: Um lächerliche Mengen an Hochgeschwindigkeitsdaten mit hoher Auflösung zu sparen, die während der Erfassung von Hunderten von Sensoren übertragen werden, verfügt das Immerge-System über einen eigenen Serverstapel. Rosenthal sagt, dass jeder etwa eine Stunde 360-Grad-Lichtfeld-Video hält.

Da es für Profis gedacht ist, wurde es für die Arbeit mit Produktionswerkzeugen wie Nuke, Final Cut Pro, Adobe Premiere und Avid Media Composer entwickelt. Es wird Plug-Ins für diese Programme und andere Industriestandard-Software geben, die den Import und die Arbeit mit Immerge Video unterstützen.

“ Im Moment erstellen Content-Ersteller und Filmemacher ihre eigenen Tools und Technologien, da der Produktionsworkflow von der Hardware bis zur Software tatsächlich nicht vorhanden ist „, sagt Rosenthal. „Und das kostet viel Zeit, Kosten und Energie, die sie lieber in das Erzählen großartiger Geschichten investieren würden.“

Es gibt einen weiteren großen Unterschied bei der Regie von VR-Videos. VR-Kamera-Rigs erfassen Videos in alle Richtungen, sodass die Crew nicht am Set stehen kann, ohne Teil der Show zu sein. Aus diesem Grund ist das Immerge-System so konzipiert, dass es über ein Tablet oder Telefon ferngesteuert werden kann, sodass Kameraleute Anpassungen vornehmen können, ohne in der Szene zu sein. Und die Kamerasteuerungssoftware wurde entwickelt, um eine enorme Lernkurve zu vermeiden, da sie den Steuerschemata für professionelle Arri-, RED- und Sony-Kameras nachempfunden ist.

„Es ist sehr viel dieses System, das einmal erfassen, bearbeiten und verarbeiten wird, aber es wird in jedem Gerät rendern und wiedergeben“, sagt Rosenthal. „Dies ist etwas, worüber wir von unseren Partnern viel Aufregung gehört haben. Heute müssen sie einen ganz anderen Produktionsworkflow durchlaufen, je nachdem, für welches Gerät sie bauen.“

Zu diesen Partnern gehören einige Schwergewichte in der VR-Welt. Lytro sagt, dass das System mit Input von erfahrenen VR-Produktionsfirmen Vrse, Wevr und Felix & Paul entwickelt wurde. Rosenthal sagt, dass Sie in den ersten Monaten des Jahres 2016 Inhalte ansehen können, die von diesen Produktionsfirmen mit dem Immerge-System aufgenommen wurden.

Halten Sie nicht den Atem an, wenn es darum geht, Lichtfeld-VR-Videos mit Ihrem Telefon oder einer Consumer-Kamera aufzunehmen. Das Immerge-System ist kostenintensiv und sperrig; Rosenthal sagt, es sei so konzipiert, dass es auf einem Stativ oder einem Dolly montiert werden kann, anstatt als Handgerät betrieben zu werden. Und es ist zu schwer für eine Drohne. Der Kauf wird mehrere hunderttausend Dollar kosten, wenn es in der ersten Hälfte von 2016 verfügbar ist. In der Welt des Filmemachens werden die meisten professionellen Geräte gemietet, und laut Rosenthal sind Mietpläne für ein paar tausend Dollar pro Tag in Arbeit.

All dies ist nur die erste Stufe. Rosenthal sagt, dass noch mehr erstaunliche Anwendungen für Immerges Zukunft geplant sind: Die Fähigkeit, innerhalb einer Szene basierend auf dem Eye-Tracking eines Headsets, der sofortigen 3D-Modellierung und der realistischen Mischung von CG-Inhalten mit Live-Videos neu zu fokussieren.

„Wir erfassen die gesamte Tiefe und die 3D-Geometrie der realen Welt, sodass computergenerierte Objekte mit der richtigen Tiefe und der richtigen Schattierung, Schatten und Beleuchtung viel einfacher als je zuvor zusammengesetzt werden können“, erklärt Rosenthal. „Stellen Sie sich ein Videospiel vor, in dem Sie anstelle der seltsamen, in Bewegung aufgenommenen, CG-gerenderten Personen tatsächlich fotorealistische Personen haben können. Das beginnt möglich zu werden.“