LTX 2.3 apporte la vidéo 4K open source avec audio synchronisé
Lightricks a lancé LTX 2.3, un modèle open source de génération vidéo capable de produire en une seule passe des vidéos 4K natives jusqu’à 50 IPS, avec un son stéréo synchronisé. C’est le premier modèle open source à combiner la génération de vidéos haute résolution et d’audio, tout en fonctionnant sur du matériel grand public.
Présentation officielle de LTX 2.3 par Lightricks
Contenu du modèle
LTX 2.3 est un DiT (transformeur de diffusion) de 22 milliards de paramètres qui traite la génération vidéo et audio comme une tâche unifiée. Il prend en charge la génération texte-vers-vidéo, image-vers-vidéo, audio-vers-vidéo et vidéo-vers-vidéo, ainsi que le conditionnement par profondeur. Vous lui fournissez un prompt textuel et obtenez une séquence vidéo accompagnée d’un son correspondant. Aucune étape distincte de génération audio, aucune synchronisation ultérieure.
Le modèle génère des séquences allant jusqu’à 20 secondes à 24, 25, 48 ou 50 IPS. Il gère aussi bien le format horizontal que le format portrait natif (9:16), un point important pour les créateurs visant les formats des réseaux sociaux. La sortie audio est en stéréo à 24 kHz.
Ce qui a changé depuis LTX 2
Les principales améliorations par rapport à la version précédente concernent la netteté des détails et la qualité des mouvements. LTX 2 avait tendance à produire des images quelque peu statiques. LTX 2.3 corrige ce problème grâce à un VAE (autoencodeur variationnel) reconstruit, qui offre des textures plus nettes et des mouvements plus naturels.
La compréhension des prompts a également bénéficié d’une amélioration majeure. Le connecteur textuel est désormais quatre fois plus grand et intègre un mécanisme d’attention à portes, ce qui permet au modèle de se référer plus activement aux différentes parties de votre prompt tout au long du processus de génération. Si vous décrivez un mouvement de caméra précis pendant qu’un personnage effectue une action, il parvient mieux à maintenir les deux simultanément.
Les autres améliorations comprennent un son plus propre avec moins d’artefacts, des fonctions de contrôle du mouvement telles que le guidage par la première et la dernière image, ainsi que des effets de caméra comme le travelling sur chariot, la grue et le changement de mise au point.
Aperçu concret de ce que LTX 2.3 peut produire
Performances
Lightricks affirme que le modèle fonctionne 18 fois plus vite que les modèles concurrents sur des GPU H100. Sur du matériel grand public, il peut produire une séquence de 5 secondes à 24 IPS en environ 4 secondes. C’est suffisamment rapide pour un travail itératif consistant à générer plusieurs prises avant de sélectionner la meilleure.
Pourquoi c’est important pour le développement de jeux
Les poids ouverts permettent d’exécuter LTX 2.3 localement, sans frais d’API ni limites d’utilisation. Pour les développeurs de jeux, cela ouvre plusieurs possibilités : générer des prototypes de cinématiques, créer des séquences de bande-annonce pendant la préproduction, produire des supports marketing ou prototyper rapidement des séquences cinématiques avant de s’engager dans une production complète.
La sortie combinant vidéo et audio est particulièrement utile pour les bandes-annonces et les cinématiques de jeux, qui nécessiteraient autrement une synchronisation audio distincte. La possibilité d’ajuster simultanément l’ambiance visuelle et sonore en une seule passe de génération raccourcit considérablement la boucle d’itération.
Le modèle est utilisable gratuitement en dessous d’un seuil de 10 millions de revenus annuels. Il est disponible via l’API Playground de Lightricks, ComfyUI, PyTorch et des plateformes tierces comme Replicate.