Proyectos de IA: Imagen y Gráficos

Proyectos open source para generación y manipulación de imágenes y gráficos con inteligencia artificial

FalSprite

Genera sprite sheets animados a partir de texto. Pipeline de 3 etapas con generación de imagen (nano-banana-2), mejora de prompts con LLM y eliminación de fondo automática. Exporta PNG, GIF y hojas de sprites con vista previa animada.

• Imagen
• Sprites
• Open Source
• Gamedev

Deep-Live-Cam

Face swap en tiempo real con una sola imagen. Intercambia rostros en webcam, vídeos o streaming en directo con aceleración GPU (CUDA, DirectML, CoreML), máscara de boca para movimientos naturales y mapeo multi-cara simultáneo.

• Imagen
• Video
• Open Source
• Deepfake

Spark XR Start

Plantilla WebXR para crear experiencias inmersivas de realidad virtual con gaussian splats como fondos de entorno. Incluye seguimiento de manos, audio espacial, motor de física Rapier, integración de modelos 3D (GLB, FBX, GLTF) y sistema de iluminación configurable, todo basado en Three.js y Vite.

• Imagen
• WebXR
• 3D
• Open Source
• VR

MeiGen AI Design MCP

Servidor MCP open source que transforma asistentes de código con IA (Claude Code, Cursor, VS Code) en herramientas de diseño. Ofrece generación de imágenes con ComfyUI local o APIs cloud, biblioteca de 1.500+ prompts curados, generación por lotes en paralelo, imágenes de referencia para estilos consistentes y gestión de workflows de ComfyUI.

• Imagen
• MCP
• Open Source
• ComfyUI
• Generación de Imágenes

One-DM

Generador de texto manuscrito estilizado mediante modelos de difusión. Con una sola muestra de referencia, replica el estilo caligráfico de cualquier persona y genera texto arbitrario imitando esa escritura. Soporta inglés, chino y japonés. Paper publicado en ECCV 2024.

• Imagen
• Difusión
• Open Source
• Escritura a mano
• Transferencia de estilo

SAM 3D Objects

Modelo fundacional de Meta que reconstruye geometría 3D completa, textura y disposición espacial a partir de una sola imagen. Maneja escenas reales con oclusión y desorden, generando pose, forma y textura de objetos. Entrenamiento progresivo con feedback humano. Exporta a Gaussian Splats. Supera a modelos previos en preferencia humana.

• Imagen
• 3D
• Open Source
• Meta
• Reconstrucción

FantasyWorld

Modelo unificado feed-forward que genera vídeo y escenas 3D simultáneamente a partir de una imagen y un prompt de texto, con consistencia geométrica explícita. Arquitectura dual con Preconditioning Blocks e Integrated Reconstruction and Generation Blocks. Primer puesto en el WorldScore Leaderboard. Aceptado en ICLR 2026. Pesos disponibles en HuggingFace y ModelScope.

• Imagen
• 3D
• Vídeo
• Open Source
• Generación

Video Composer Agent

Framework agéntico de Diffusion Studio para edición de vídeo automatizada con IA. Los agentes componen y editan vídeos de forma autónoma a partir de instrucciones en lenguaje natural, con búsqueda semántica de documentación, embeddings vectoriales y herramientas personalizables. Y Combinator F24. Licencia MIT.

• Imagen
• Vídeo
• Open Source
• Agente IA
• Automatización

MeshGen

Addon de Blender potenciado por IA de Hugging Face que permite controlar el modelado 3D con lenguaje natural. Genera mallas 3D a partir de prompts como 'Crea un muñeco de nieve'. Soporta múltiples backends (OpenAI, Anthropic, HF, LLaMA-Mesh, Hyper3D), inferencia local con GPU NVIDIA y APIs remotas. Licencia MIT.

• Imagen
• 3D
• Open Source
• Blender
• Hugging Face

SAM 3D Body

Modelo de Meta Research que reconstruye mallas 3D completas del cuerpo humano (pose, manos y pies) a partir de una sola imagen. Acepta prompts auxiliares como keypoints 2D y máscaras para guiar la inferencia. Arquitectura encoder-decoder con dos variantes de checkpoint (DINOv3-H+ 840M y ViT-H 631M), pipeline de anotación multi-etapa y dataset en Hugging Face. Demo disponible en Meta AI.

• Imagen
• 3D
• Open Source
• Meta
• Visión por Computador

OmnimatteZero

Método training-free para video matting, eliminación de objetos y composición de capas usando modelos de difusión de vídeo preentrenados. Elimina objetos junto con sus efectos secundarios (sombras, reflejos), extrae capas de foreground con efectos asociados y compone sobre nuevos fondos, todo sin entrenamiento específico. Genera máscaras de efectos vía self-attention. Paper en arXiv.

• Imagen
• Vídeo
• Open Source
• Difusión
• Visión por Computador

EchoMimic

Genera animaciones faciales realistas sincronizadas con audio a partir de una sola imagen de referencia. Soporta habla en inglés y chino, canto, control por landmarks editables y combinación audio+pose. Aceleración 10x disponible. Interfaz Web UI y Gradio. Aceptado en AAAI 2025.

• Imagen
• Vídeo
• Open Source
• Difusión
• Animación Facial

ProtoMotions 3

Plataforma de NVIDIA para entrenamiento de humanos digitales y robots humanoides con simulación física acelerada por GPU. Entrena personajes en datasets masivos de movimiento (40+ horas de AMASS en ~12h con 4 A100), retargeting de animaciones entre morfologías con un comando, soporte multi-simulador (IsaacGym, Newton, IsaacLab), renderizado con Gaussian Splatting, navegación de terrenos y entrenamiento multi-GPU distribuido. Python + MuJoCo + CUDA. Licencia Apache 2.0.

• Imagen
• 3D
• Open Source
• NVIDIA
• Simulación
• Robótica

YumCut

Generador open source de vídeos cortos con IA para TikTok, YouTube Shorts e Instagram Reels. Automatiza la producción completa de vídeos verticales (9:16): generación de guiones, síntesis de voz, composición visual, subtítulos y renderizado por lotes. Soporte multiidioma, hooks de API para desarrolladores y despliegue self-hosted. Next.js + TypeScript + FFmpeg + Prisma.

• Imagen
• Vídeo
• Open Source
• Automatización
• Creación de Contenido

BitDance

Modelo autoregresivo multimodal de 14B parámetros con tokens visuales binarios para generación eficiente de imágenes. Predice hasta 64 tokens visuales en paralelo por paso (paradigma next-patch diffusion), logrando ~30x de speedup frente a next-token prediction estándar. Tokenizador binario de gran vocabulario, cabeza de difusión binaria, generación a 1024px y framework unificado texto-imagen. PyTorch + Flash Attention. Licencia Apache 2.0.

• Imagen
• Generación
• Open Source
• Autoregresivo
• Difusión