LTX 2.3 menghadirkan video 4K sumber terbuka dengan audio tersinkronisasi
Lightricks telah merilis LTX 2.3, model pembuatan video sumber terbuka yang menghasilkan video 4K native hingga 50 FPS dengan audio stereo tersinkronisasi dalam satu kali forward pass. Ini adalah model sumber terbuka pertama yang menggabungkan pembuatan video beresolusi tinggi dan audio sekaligus, serta dapat dijalankan pada perangkat keras konsumen.
Pengenalan resmi LTX 2.3 dari Lightricks
Apa yang ada di dalam model ini
LTX 2.3 adalah DiT (Diffusion Transformer) dengan 22 miliar parameter yang menangani pembuatan video dan audio sebagai satu tugas terpadu. Model ini mendukung teks-ke-video, gambar-ke-video, audio-ke-video, video-ke-video, dan pengondisian kedalaman. Anda cukup memberikan prompt teks dan akan mendapatkan klip video dengan suara yang sesuai. Tidak ada tahap pembuatan audio terpisah maupun sinkronisasi setelahnya.
Model ini menghasilkan klip berdurasi hingga 20 detik pada 24, 25, 48, atau 50 FPS. Model ini mendukung rasio aspek horizontal maupun potret native (9:16), yang penting bagi siapa pun yang menargetkan format media sosial. Keluaran audionya berupa stereo 24 kHz.
Perubahan dari LTX 2
Peningkatan terbesar dibandingkan versi sebelumnya adalah detail yang lebih tajam dan gerakan yang lebih baik. LTX 2 cenderung menghasilkan visual yang agak statis. LTX 2.3 mengatasinya dengan VAE (variational autoencoder) yang dibangun ulang untuk menghasilkan tekstur lebih tajam dan gerakan lebih alami.
Pemahaman prompt juga mengalami peningkatan signifikan. Konektor teksnya kini empat kali lebih besar dengan tambahan gated attention, yang berarti model lebih aktif merujuk berbagai bagian prompt Anda sepanjang proses pembuatan. Jika Anda mendeskripsikan gerakan kamera tertentu saat karakter melakukan suatu aksi, model ini lebih mampu mempertahankan keduanya secara bersamaan.
Peningkatan lainnya mencakup audio yang lebih bersih dengan lebih sedikit artefak, fitur kendali gerakan seperti panduan bingkai pertama/terakhir, serta efek kamera termasuk dolly, jib, dan pergeseran fokus.
Tinjauan langsung hasil yang dapat dibuat LTX 2.3
Performa
Lightricks mengklaim model ini berjalan 18 kali lebih cepat daripada model pesaing pada GPU H100. Pada perangkat keras kelas konsumen, model ini dapat menghasilkan klip berdurasi 5 detik pada 24 FPS dalam waktu sekitar 4 detik. Kecepatan ini memadai untuk alur kerja iteratif ketika Anda membuat beberapa versi dan memilih yang terbaik.
Mengapa ini penting untuk pengembangan game
Bobot terbuka berarti Anda dapat menjalankan LTX 2.3 secara lokal tanpa biaya API atau batas penggunaan. Bagi developer game, hal ini membuka beberapa kegunaan: membuat prototipe cutscene, membuat cuplikan trailer selama praproduksi, menghasilkan materi pemasaran, atau membuat prototipe cepat untuk adegan sinematik sebelum berkomitmen pada produksi penuh.
Keluaran gabungan video dan audio sangat berguna untuk trailer dan sinematik game, yang biasanya memerlukan sinkronisasi audio secara terpisah. Kemampuan untuk mengiterasi nuansa visual dan audio secara bersamaan dalam satu kali proses pembuatan dapat memperpendek siklus umpan balik secara signifikan.
Model ini dapat digunakan secara gratis bagi pihak dengan pendapatan tahunan di bawah 10 juta. Model ini tersedia melalui Lightricks API Playground, ComfyUI, PyTorch, dan platform pihak ketiga seperti Replicate.