DreamCraft3D: Generación Avanzada de Contenido 3D ​

Accede a web del proyecto

Introducción al DreamCraft3D ​

DreamCraft3D presenta un método jerárquico de generación de contenido 3D que produce objetos 3D coherentes y de alta fidelidad. A diferencia de otros trabajos, aborda el problema de la consistencia que a menudo se encuentra en la generación de contenido 3D.

Uso de Imágenes 2D como Referencia ​

Nuestro enfoque se basa en utilizar una imagen 2D de referencia para guiar las etapas de modelado geométrico y mejora de textura. Para esculpir geometrías que se visualicen coherentemente, empleamos una técnica de muestreo mediante un modelo de difusión dependiente de la vista.

Abordando la Fidelidad y Coherencia ​

Si bien priorizamos la consistencia geométrica, a menudo esto compromete la fidelidad de la textura. Para superar esta limitación, proponemos el Bootstrapped Score Distillation (BSD).

Impulsando la Textura con BSD ​

El BSD se utiliza para mejorar específicamente la textura. Entrenamos un modelo de difusión personalizado, llamado Dreambooth, en las representaciones aumentadas de la escena. Esto dota al modelo de un conocimiento 3D profundo de la escena que está siendo optimizada.

Beneficios de DreamCraft3D ​

Notablemente, a través de una optimización alterna del modelo de difusión y la representación 3D de la escena, logramos mejoras mutuamente reforzadas. Con el uso de priors 3D personalizados a lo largo de la generación jerárquica, DreamCraft3D genera objetos 3D coherentes con renderizaciones fotorealistas, estableciendo un nuevo estándar en la generación de contenido 3D.