# Gaussian Splatting

Gaussian Splatting ist eine Volumenrendering-Technik, die sich mit der direkten Darstellung von Volumendaten befasst, ohne diese in Oberflächen- oder Linien-Primitive umzuwandeln. Die Technik wurde ursprünglich Anfang der 1990er Jahre von Lee Westover als „Splatting“ eingeführt. Mit Fortschritten in der Computergrafik wurden neuere Methoden wie 3D- und 3D-Temporales Gaussian Splatting entwickelt, die Echtzeit-Darstellung von Strahlungsfeldern und dynamischen Szenen ermöglichen.

## Entwicklung

Volumenrendering konzentriert sich auf die Erzeugung von Bildern aus diskreten Volumendaten, die üblicherweise in drei Dimensionen abgetastet werden. Diese Daten können aus verschiedenen Quellen wie CT-Scans oder Ozon-Dichtemessungen stammen. Traditionelle Methoden wandelten diese Volumendaten in Linien und Oberflächen-Primitive um, um sie auf Computergrafik-Displays darzustellen. Dieser Ansatz führte jedoch manchmal zu Artefakten und beeinträchtigte die interaktive Ansicht.
Um diese Probleme zu lösen, wurden direkte Rendering-Techniken entwickelt, die mit den ursprünglichen Volumendaten arbeiten. Diese Methoden lassen sich in zwei Hauptkategorien einteilen: Feed-Backward-Methoden und Feed-Forward-Methoden. Der Splatting-Algorithmus, als Feed-Forward-Methode, befasst sich direkt mit der Darstellung von rechtwinkligen Volumen-Gittern. Splatting kann so angepasst werden, dass Volumen entweder als Wolken oder Oberflächen dargestellt werden, indem die Schattierungsfunktionen angepasst werden, was Flexibilität im Renderprozess bietet.
Seit seiner Einführung hat sich Splatting in vielerlei Hinsicht weiterentwickelt. Zu den bedeutenden Entwicklungen gehören Texturierte Splats, Anti-Aliasing, bildausgerichtetes, schichtbasiertes Splatting, nachklassifiziertes Splatting und die Einführung eines Splat-Primitivs namens „FastSplats“.

### 3D Gaussian Splatting

Jüngste Fortschritte in der neuartigen Ansichts-Synthese haben die Nützlichkeit von Radiance-Field-Methoden gezeigt. Um die visuelle Qualität zu verbessern und gleichzeitig Echtzeit-Darstellungsraten zu gewährleisten, wurde eine neue Methode entwickelt, die 3D-Gaussian verwendet. Diese Methode integriert spärliche Punkte, die während der Kamera-Kalibrierung erzeugt wurden, und stellt Szenen mit 3D-Gaussian dar, die Eigenschaften kontinuierlicher volumetrischer Strahlungsfelder beibehalten. Zusätzlich wurde eine verflochtene Optimierungs- und Dichtekontrolle der 3D-Gaussian eingeführt, zusammen mit einem schnellen, sichtbarkeitsbewussten Rendering-Algorithmus, der anisotropes Splatting unterstützt. Diese Technik hat Potenzial zur Echtzeit-Synthese hochwertiger 3D-Szenen aus 2D-Bildern gezeigt.

### 3D Temporales Gaussian Splatting

Durch die Erweiterung des Konzepts des 3D-Gaussian Splatting integriert das 3D-Temporale Gaussian Splatting eine Zeitkomponente, die dynamische Szenendarstellung ermöglicht. Es stellt dynamische Szenen dar und konzentriert sich darauf, komplexe Bewegungen effizient zu modellieren. Die Methode verwendet ein HexPlane, um verschiedene benachbarte Gaussian zu verbinden, was eine präzise Darstellung von Positions- und Formverformungen ermöglicht. Durch die Verwendung eines einzigen Satzes kanonischer 3D-Gaussian und prädiktive Analytik modelliert das 3D-Temporale Gaussian Splatting, wie sie sich über verschiedene Zeitstempel hinweg bewegen. Es ist zu beachten, dass diese Methoden manchmal fälschlicherweise als 4D-Gaussian Splatting bezeichnet werden. Diese Namenskonvention impliziert die Verwendung von 4D-Gaussian-Primitiven (parametrisiert durch eine 4x4-Mittelwert- und eine 4x4-Kovarianzmatrix). Die meisten Arbeiten in diesem Bereich verwenden jedoch weiterhin 3D-Gaussian-Primitiven, die zeitliche Einschränkungen als zusätzlichen Optimierungsparameter anwenden.
Erfolge dieser Technik umfassen die Echtzeit-Darstellung von dynamischen Szenen in hoher Auflösung bei gleichbleibender Qualität. Sie zeigt mögliche Anwendungen für zukünftige Entwicklungen in Film und anderen Medien, wobei derzeitige Einschränkungen hinsichtlich der Länge der erfassten Bewegung bestehen.