Skip to content

Renderizado de imágenes 3D a partir de imagenes 2D

Y asi como de la nada a partir de una simple imagen en 2D esta inteligencia artificial crea un render 3D


Resumen del proyecto:

Proponemos MVDream, un modelo de difusión multivista capaz de generar imágenes multivista geométricamente coherentes a partir de un texto determinado. Aprovechando los modelos de difusión de imágenes preentrenados en conjuntos de datos web a gran escala y un conjunto de datos multivista renderizados a partir de activos 3D, el modelo de difusión multivista resultante puede lograr tanto la generalizabilidad de la difusión 2D como la coherencia de los datos 3D. Por tanto, este modelo puede aplicarse como un previo multivista para la generación 3D mediante Score Distillation Sampling, donde mejora enormemente la estabilidad de los métodos de elevación 2D existentes al resolver el problema de consistencia 3D. Por último, mostramos que el modelo de difusión multivista también puede ajustarse con precisión en un entorno de pocas tomas para la generación 3D personalizada, es decir, la aplicación DreamBooth3D, donde la consistencia puede mantenerse tras conocer la identidad del sujeto.

Más

Web del proyecto.