LTX 2.3 traz vídeo 4K de código aberto com áudio sincronizado
A Lightricks lançou o LTX 2.3, um modelo de geração de vídeo de código aberto que produz vídeo 4K nativo a até 50 FPS com áudio estéreo sincronizado em uma única passagem. É o primeiro modelo de código aberto a combinar a geração de vídeo em alta resolução e áudio, e pode ser executado em hardware de uso doméstico.
Apresentação oficial do LTX 2.3 pela Lightricks
O que há no modelo
O LTX 2.3 é um DiT (Diffusion Transformer) de 22 bilhões de parâmetros que trata a geração de vídeo e áudio como uma tarefa unificada. Ele oferece suporte a texto para vídeo, imagem para vídeo, áudio para vídeo, vídeo para vídeo e condicionamento por profundidade. Você fornece um prompt de texto e recebe um clipe de vídeo com som correspondente. Sem uma etapa separada de geração de áudio e sem sincronização posterior.
O modelo gera clipes de até 20 segundos a 24, 25, 48 ou 50 FPS. Ele aceita tanto proporções horizontais quanto verticais nativas (9:16), o que é importante para quem produz conteúdo voltado a formatos de redes sociais. A saída de áudio é estéreo a 24 kHz.
O que mudou em relação ao LTX 2
As maiores melhorias em relação à versão anterior são detalhes mais nítidos e movimentos melhores. O LTX 2 tinha a tendência de produzir imagens um tanto estáticas. O LTX 2.3 resolve isso com um VAE (autoencoder variacional) reconstruído, que proporciona texturas mais definidas e movimentos mais naturais.
A compreensão de prompts também recebeu uma melhoria significativa. O conector de texto agora é quatro vezes maior e conta com atenção controlada por portas, o que significa que o modelo consulta de forma mais ativa diferentes partes do prompt durante todo o processo de geração. Se você descrever um movimento específico de câmera enquanto um personagem realiza uma ação, o modelo consegue manter ambos simultaneamente com mais precisão.
Outras melhorias incluem áudio mais limpo e com menos artefatos, recursos de controle de movimento, como orientação pelo primeiro e pelo último quadro, e efeitos de câmera, incluindo dolly, grua e mudança de foco.
Demonstração prática do que o LTX 2.3 consegue produzir
Desempenho
A Lightricks afirma que o modelo é executado 18 vezes mais rápido do que modelos concorrentes em GPUs H100. Em hardware de uso doméstico, ele consegue produzir um clipe de 5 segundos a 24 FPS em cerca de 4 segundos. Isso é rápido o bastante para um fluxo de trabalho iterativo, no qual você gera várias tomadas e escolhe a melhor.
Por que isso é importante para o desenvolvimento de jogos
Os pesos abertos permitem executar o LTX 2.3 localmente, sem custos de API nem limites de uso. Para desenvolvedores de jogos, isso abre diversas possibilidades de uso: gerar protótipos de cenas cinematográficas, criar material para trailers durante a pré-produção, produzir materiais de divulgação ou desenvolver rapidamente protótipos de sequências cinematográficas antes de se comprometer com a produção completa.
A saída combinada de vídeo e áudio é especialmente útil para trailers e cenas cinematográficas de jogos, nos quais, de outra forma, seria necessário sincronizar o áudio separadamente. A possibilidade de iterar simultaneamente sobre o tom visual e sonoro, em uma única passagem de geração, reduz consideravelmente o ciclo de feedback.
O modelo pode ser usado gratuitamente por empresas com receita anual inferior a 10 milhões. Ele está disponível por meio do API Playground da Lightricks, do ComfyUI, do PyTorch e de plataformas de terceiros como a Replicate.