✨ 3D Gaussian Splatting

Die Revolution in Echtzeit-3D — besser als NeRF, ohne Neural Networks

3D Gaussian Splatting ist die derzeit spannendste Methode, um reale Szenen aus Fotos oder Videos fotorealistisch und in Echtzeit darzustellen. Diese Übersicht erklärt, was dahintersteckt, wie sich das Verfahren von Photogrammetrie und NeRF unterscheidet, wo seine Stärken und Grenzen liegen und wofür es eingesetzt wird. Der praktische Einstieg mit konkreten Tools folgt am Ende über den verlinkten Guide.

Was ist Gaussian Splatting?

3D Gaussian Splatting (3DGS) ist eine Methode zur 3D-Rekonstruktion aus Fotos oder Videos. Statt eines Meshes oder eines neuronalen Netzes verwendet es Millionen winziger, teils durchscheinender Ellipsoide — die „Gaussians" —, die zusammen eine komplette Szene ergeben. Jeder Gaussian trägt eine Position, eine Größe und Ausrichtung, eine Farbe und eine Transparenz.

Erzeugt wird ein Splat, indem zunächst — wie bei der Photogrammetrie — per Structure-from-Motion (meist mit COLMAP) die Kamerapositionen aller Bilder bestimmt werden. Anschließend werden die Gaussians in einem Trainingslauf schrittweise so optimiert, dass ihre Überlagerung die Eingabefotos aus jedem Blickwinkel möglichst exakt reproduziert. Das Rendern erfolgt danach durch schnelles Rastern und Überblenden der Ellipsoide.

Unterschied zu Photogrammetrie & NeRF

Gegenüber der Photogrammetrie ist der Kernunterschied das Ergebnis: Photogrammetrie rechnet die Fotos in ein festes Mesh mit Oberfläche um, Gaussian Splatting behält stattdessen eine wolkenartige Darstellung aus Millionen Gaussians bei. Das wirkt fotorealistischer und kommt mit Reflexionen besser zurecht, liefert aber keine bearbeitbare Geometrie.

NeRF (Neural Radiance Fields) war der unmittelbare Vorgänger und lieferte bereits beeindruckend realistische Ansichten — allerdings musste zum Rendern jeder Pixel durch ein neuronales Netz berechnet werden, was langsam ist. Gaussian Splatting erreicht eine vergleichbare oder bessere Qualität, rendert aber 100- bis 1000-mal schneller, weil es die Gaussians mit klassischer Rasterisierung direkt auf den Bildschirm zeichnet — ganz ohne neuronales Netz im Renderpfad.

Stärken

• Echtzeit-Darstellung: Fertige Splats rendern flüssig mit 60+ FPS im Browser oder in Game-Engines — ideal für interaktive Rundgänge.
• Reflexionen & Glanz: Über sogenannte Spherical Harmonics speichert jeder Gaussian blickwinkelabhängige Farbe. Spiegelungen und glänzende Materialien, die Photogrammetrie stören, wirken hier natürlich.
• Volumen & feine Strukturen: Halb-transparente und filigrane Dinge wie Laub, Haare, Rauch oder Glas werden überzeugender abgebildet als mit einem festen Mesh.
• Fotorealistische Ansichten: Aus den trainierten Gaussians lassen sich neue, im Original nie fotografierte Blickwinkel täuschend echt berechnen.
• Kein Meshing nötig: Der aufwändige und fehleranfällige Schritt der Oberflächen-Rekonstruktion entfällt komplett.

Grenzen

• Kein echtes Mesh: Ein Splat ist eine Wolke aus Ellipsoiden, keine geschlossene Geometrie — schlecht für 3D-Druck, Kollision oder klassische Bearbeitung.
• Speicherhunger: Rohe Ergebnisse werden schnell mehrere hundert MB bis über 1 GB groß; erst spezielle Formate komprimieren sie fürs Web.
• Aufwändige Bearbeitung: Splats zu editieren ist unintuitiver als das Arbeiten mit Meshes und braucht spezielle Werkzeuge.
• Empfindlich bei der Aufnahme: Bewegung in der Szene, wechselndes Licht oder zu wenige Blickwinkel erzeugen „Floater" und Geisterbilder.
• Junge Technik: Erst 2023 vorgestellt — Standards, Formate und Tools entwickeln sich noch rasant.

Einsatzfelder

Splatting spielt seine Stärken überall dort aus, wo es auf realistische Darstellung statt auf bearbeitbare Geometrie ankommt:

• Virtual Production & VFX: Fotorealistische Kulissen und Establishing-Shots, die sich in Echtzeit umfliegen lassen.
• Immobilien & Architektur: Begehbare 3D-Rundgänge durch Wohnungen, Gebäude oder Projekte direkt im Browser.
• VR, AR & Metaverse: Immersive, in Echtzeit gerenderte Umgebungen für Headsets und mobile Erlebnisse.
• Digital Twins & Industrie: Anlagen und Baustellen als realitätsgetreue, aus der Ferne erkundbare Abbilder.
• Kulturerbe & Museen: Räume und Denkmäler so erfassen, dass Reflexionen und Atmosphäre erhalten bleiben.
• Produkt & Marketing: Glänzende oder komplexe Objekte eindrucksvoll und interaktiv präsentieren.

Eine Gegenüberstellung aller aktuellen Programme findest du im Software-Vergleich →