Appearance
Innovación en Síntesis de Vistas con 3D Gaussian Splatting
Ejemplo de 3D Gaussian Splatting
¿Qué es 3D Gaussian Splatting?
3D Gaussian Splatting va a representar un antes y después en la visualización de escenas tridimensionales en tiempo real. Generando modelos 3D a partir de imagenes 2D, 3D Gaussian Splatting es una técnica innovadora para la síntesis de nuevas vistas en renderización 3D que ofrece calidad visual de vanguardia y permite la síntesis de vistas novedosas en tiempo real, superando los 100 fps en resolución 1080p, a través de la optimización de campos de radiancia volumétricos.
X.com - @8Infinite8
En 2019, obtuvimos información detallada de un modelo de BMA Models en Londres, iluminándolos con nuestro sistema personalizado de 156 LEDs. Esto se logró mediante técnicas especializadas y el anterior sistema de cámara 48x Ximea de IR.
Con los avances proporcionados por 3DGS del equipo de Inria, estamos explorando detalles sin precedentes, capturando hasta los cabellos más finos de las personas bajo diferentes condiciones de luz. Esto representa una nueva frontera para los artistas de gráficos computarizados, brindándoles una herramienta innovadora para crear duplicados digitales. Aún estamos en las primeras fases de poder ampliar este proceso para satisfacer las necesidades de producción.
Además, actualmente estamos en conversaciones...
Introducción a 3D Gaussian Splatting
El método de 3D Gaussian Splatting emerge como una técnica revolucionaria en el ámbito de la síntesis de nuevas vistas, especialmente en escenas capturadas mediante múltiples fotos o vídeos. A pesar de los avances recientes en los métodos de Campos de Radiación, lograr una alta calidad visual aún exige redes neuronales que son costosas tanto en entrenamiento como en renderización.
Retos Actuales en Síntesis de Vistas
Aunque se ha progresado significativamente en este campo, los métodos actuales que ofrecen velocidades de visualización en tiempo real para escenas ilimitadas y completas en renderización de resolución 1080p, inevitablemente sacrifican la calidad por la velocidad. Por tanto, se requiere una solución que no comprometa la calidad visual mientras mantiene tiempos de entrenamiento y renderización razonables.
Claves de la Innovación Propuesta
Primer Elemento: Representación de Escena con 3D Gaussianos
A partir de puntos dispersos generados durante la calibración de la cámara, representamos la escena utilizando Gaussianos 3D que mantienen propiedades deseables de campos de radiancia volumétricos continuos, evitando cálculos innecesarios en espacios vacíos.
Segundo Elemento: Optimización Interleaved/Density Control de 3D Gaussianos
Se implementa una optimización y control de densidad entrelazados de los Gaussianos 3D, optimizando específicamente la covarianza anisotrópica para lograr una representación precisa de la escena.
Tercer Elemento: Desarrollo de un Algoritmo de Renderización Rápida
Desarrollamos un algoritmo de renderización que es consciente de la visibilidad, que apoya el "splatting" anisotrópico y que acelera tanto el entrenamiento como permite la renderización en tiempo real.
Evaluación y Resultados
Se probó nuestro algoritmo en 13 escenas reales tomadas de datasets previamente publicados y en el dataset sintético Blender, mostrando calidad visual de vanguardia y renderización en tiempo real en varios datasets establecidos.
Conclusión
La técnica de 3D Gaussian Splatting no solo mantiene una calidad visual de alto nivel, sino que también permite una síntesis de vistas novedosas en tiempo real, abriendo nuevas posibilidades en la renderización 3D y la visualización de escenas.