LTX 2.3, senkronize sesli açık kaynak 4K video sunuyor
Lightricks, tek bir ileri geçişte 50 FPS'ye kadar doğal 4K video ve senkronize stereo ses üreten açık kaynak video üretim modeli LTX 2.3'ü yayımladı. Yüksek çözünürlüklü video ile ses üretimini bir araya getiren ilk açık kaynak model olan LTX 2.3, tüketici donanımlarında da çalışıyor.
Lightricks'in resmî LTX 2.3 tanıtımı
Modelde neler var?
LTX 2.3, video ve ses üretimini birleşik bir görev olarak ele alan 22 milyar parametreli bir DiT'tir (Diffusion Transformer). Metinden videoya, görüntüden videoya, sesten videoya, videodan videoya üretimi ve derinlik koşullandırmasını destekler. Modele bir metin istemi verdiğinizde, karşılığında uyumlu sese sahip bir video klip elde edersiniz. Ayrı bir ses üretme adımına veya sonradan senkronizasyona gerek yoktur.
Model; 24, 25, 48 veya 50 FPS'de, 20 saniyeye kadar klipler üretir. Hem yatay hem de doğal dikey (9:16) en-boy oranlarını desteklemesi, sosyal medya formatlarını hedefleyenler için önemlidir. Ses çıkışı 24 kHz stereodur.
LTX 2'ye kıyasla neler değişti?
Önceki sürüme göre en büyük iyileştirmeler, daha keskin ayrıntılar ve daha iyi hareketlerdir. LTX 2, zaman zaman biraz durağan görseller üretme eğilimindeydi. LTX 2.3, daha net dokular ve daha doğal hareketler için yeniden oluşturulmuş bir VAE (variational autoencoder) ile bu sorunu gideriyor.
İstemleri anlama yeteneği de önemli ölçüde geliştirildi. Metin bağlayıcı artık 4 kat daha büyük ve ek kapılı dikkat mekanizmasına sahip. Bu sayede model, üretim süreci boyunca isteminizin farklı bölümlerini daha etkin biçimde dikkate alıyor. Bir karakter bir eylem gerçekleştirirken belirli bir kamera hareketi tarif ederseniz, model artık ikisini aynı anda koruma konusunda daha başarılı.
Diğer iyileştirmeler arasında daha az artefakta sahip daha temiz ses, ilk/son kare yönlendirmesi gibi hareket kontrolü özellikleri ve dolly, jib ile odak kaydırma dâhil kamera efektleri bulunuyor.
LTX 2.3'ün neler üretebildiğine uygulamalı bakış
Performans
Lightricks, modelin H100 GPU'larda rakip modellere göre 18 kat daha hızlı çalıştığını belirtiyor. Tüketici sınıfı donanımlarda 24 FPS'de 5 saniyelik bir klibi yaklaşık 4 saniyede üretebiliyor. Bu hız, birden fazla çekim üretip en iyisini seçtiğiniz yinelemeli çalışmalar için yeterli.
Oyun geliştirme açısından neden önemli?
Açık ağırlıklar sayesinde LTX 2.3'ü API maliyetleri veya kullanım sınırları olmadan yerel olarak çalıştırabilirsiniz. Bu durum oyun geliştiricilerine çeşitli kullanım alanları sunuyor: ara sahne prototipleri oluşturmak, ön yapım sırasında fragman görüntüleri hazırlamak, pazarlama materyalleri üretmek veya tam üretime geçmeden önce sinematik sekansların hızlı prototiplerini geliştirmek.
Birleşik video ve ses çıkışı, normalde sesi ayrıca senkronize etmeniz gereken oyun fragmanları ve sinematikler için özellikle kullanışlıdır. Görsel ve işitsel tonu tek bir üretim geçişinde eş zamanlı olarak yineleyebilmek, geri bildirim döngüsünü önemli ölçüde kısaltır.
Model, yıllık 10 milyon gelir eşiğinin altında ücretsiz olarak kullanılabilir. Lightricks API Playground, ComfyUI, PyTorch ve Replicate gibi üçüncü taraf platformlar üzerinden erişilebilir.