LTX 2.3 ofrece vídeo 4K de código abierto con audio sincronizado
Lightricks ha lanzado LTX 2.3, un modelo de generación de vídeo de código abierto que produce vídeo 4K nativo a hasta 50 FPS con audio estéreo sincronizado en una sola pasada de inferencia. Es el primer modelo de código abierto que combina la generación de vídeo de alta resolución y audio, y funciona en hardware de consumo.
Presentación oficial de LTX 2.3 por Lightricks
Qué incluye el modelo
LTX 2.3 es un DiT (transformador de difusión) con 22.000 millones de parámetros que aborda la generación de vídeo y audio como una tarea unificada. Admite texto a vídeo, imagen a vídeo, audio a vídeo, vídeo a vídeo y condicionamiento por profundidad. Le proporcionas un prompt de texto y obtienes un clip de vídeo con sonido acorde. Sin un paso independiente de generación de audio ni sincronización posterior.
El modelo genera clips de hasta 20 segundos a 24, 25, 48 o 50 FPS. Admite tanto relaciones de aspecto horizontales como verticales nativas (9:16), algo importante para quienes crean contenido destinado a formatos de redes sociales. La salida de audio es estéreo a 24 kHz.
Qué ha cambiado desde LTX 2
Las mayores mejoras respecto a la versión anterior son unos detalles más nítidos y un movimiento más fluido. LTX 2 tendía a producir imágenes algo estáticas. LTX 2.3 soluciona este problema con un VAE (autoencoder variacional) rediseñado que ofrece texturas más definidas y movimientos más naturales.
La comprensión de los prompts también ha mejorado considerablemente. El conector de texto es ahora cuatro veces más grande e incorpora atención con compuertas, lo que permite al modelo consultar más activamente distintas partes del prompt durante todo el proceso de generación. Si describes un movimiento de cámara específico mientras un personaje realiza una acción, mantiene mejor ambos elementos de forma simultánea.
Otras mejoras incluyen un audio más limpio y con menos artefactos, funciones de control del movimiento como la guía mediante el primer y el último fotograma, y efectos de cámara como dolly, grúa y cambio de enfoque.
Demostración práctica de lo que puede producir LTX 2.3
Rendimiento
Lightricks afirma que el modelo funciona 18 veces más rápido que otros modelos de la competencia en GPU H100. En hardware de consumo, puede producir un clip de 5 segundos a 24 FPS en unos 4 segundos. Es lo bastante rápido para flujos de trabajo iterativos en los que se generan varias tomas y se elige la mejor.
Por qué es importante para el desarrollo de videojuegos
Los pesos abiertos permiten ejecutar LTX 2.3 de forma local, sin costes de API ni límites de uso. Para los desarrolladores de videojuegos, esto abre varias posibilidades: generar prototipos de escenas cinemáticas, crear metraje para tráileres durante la preproducción, producir materiales de marketing o prototipar rápidamente secuencias cinemáticas antes de comprometerse con la producción completa.
La salida combinada de vídeo y audio resulta especialmente útil para tráileres y cinemáticas de videojuegos, donde de otro modo sería necesario sincronizar el audio por separado. Poder iterar simultáneamente sobre el tono visual y sonoro en una sola pasada de generación acorta considerablemente el ciclo de feedback.
El modelo se puede utilizar gratuitamente siempre que los ingresos anuales no superen los 10 millones. Está disponible a través de Lightricks API Playground, ComfyUI, PyTorch y plataformas de terceros como Replicate.