LTX 2.3 bringt Open-Source-4K-Video mit synchronisiertem Audio
Lightricks hat LTX 2.3 veröffentlicht, ein Open-Source-Modell zur Videogenerierung, das in einem einzigen Forward-Pass native 4K-Videos mit bis zu 50 FPS und synchronisiertem Stereo-Audio erzeugt. Es ist das erste Open-Source-Modell, das hochauflösende Video- und Audiogenerierung kombiniert, und läuft auf Consumer-Hardware.
Offizielle Vorstellung von LTX 2.3 durch Lightricks
Was das Modell bietet
LTX 2.3 ist ein DiT (Diffusion Transformer) mit 22 Milliarden Parametern, der die Video- und Audiogenerierung als einheitliche Aufgabe verarbeitet. Es unterstützt Text-zu-Video, Bild-zu-Video, Audio-zu-Video, Video-zu-Video und Tiefenkonditionierung. Man gibt einen Text-Prompt ein und erhält einen Videoclip mit passendem Ton. Kein separater Schritt zur Audiogenerierung, keine nachträgliche Synchronisierung.
Das Modell generiert Clips von bis zu 20 Sekunden mit 24, 25, 48 oder 50 FPS. Es unterstützt sowohl horizontale als auch native Hochformat-Seitenverhältnisse (9:16), was für alle relevant ist, die Inhalte für Social-Media-Formate erstellen. Die Audioausgabe erfolgt in Stereo mit 24 kHz.
Was sich gegenüber LTX 2 geändert hat
Die größten Verbesserungen gegenüber der vorherigen Version sind schärfere Details und bessere Bewegungen. LTX 2 neigte dazu, etwas statisch wirkende Bilder zu erzeugen. LTX 2.3 behebt dies mit einem neu entwickelten VAE (Variational Autoencoder), der für klarere Texturen und natürlichere Bewegungen sorgt.
Auch das Prompt-Verständnis wurde deutlich verbessert. Der Text-Connector ist jetzt viermal größer und verfügt über zusätzliche Gated Attention. Dadurch bezieht sich das Modell während des gesamten Generierungsprozesses aktiver auf verschiedene Teile des Prompts. Wenn man eine bestimmte Kamerabewegung beschreibt, während eine Figur eine Handlung ausführt, kann das Modell beides besser gleichzeitig beibehalten.
Weitere Verbesserungen umfassen saubereres Audio mit weniger Artefakten, Funktionen zur Bewegungssteuerung wie die Vorgabe des ersten und letzten Frames sowie Kameraeffekte wie Kamerafahrt, Kranfahrt und Fokusverlagerung.
Praxisnaher Einblick in die Möglichkeiten von LTX 2.3
Leistung
Laut Lightricks läuft das Modell auf H100-GPUs 18-mal schneller als konkurrierende Modelle. Auf Consumer-Hardware kann es einen fünfsekündigen Clip mit 24 FPS in etwa vier Sekunden erzeugen. Das ist schnell genug für iterative Arbeitsabläufe, bei denen mehrere Varianten generiert und anschließend die beste ausgewählt wird.
Warum das für die Spieleentwicklung wichtig ist
Offene Modellgewichte bedeuten, dass LTX 2.3 lokal ohne API-Kosten oder Nutzungslimits ausgeführt werden kann. Für Spieleentwickler eröffnet das mehrere Anwendungsfälle: die Generierung von Zwischensequenz-Prototypen, die Erstellung von Trailer-Material während der Vorproduktion, die Produktion von Marketingmaterialien oder das schnelle Prototyping filmischer Sequenzen, bevor die vollständige Produktion beginnt.
Die kombinierte Video- und Audioausgabe ist besonders nützlich für Spieletrailer und Filmsequenzen, bei denen der Ton andernfalls separat synchronisiert werden müsste. Die Möglichkeit, die visuelle und akustische Stimmung gleichzeitig in einem einzigen Generierungsdurchlauf zu verfeinern, verkürzt die Feedbackschleife erheblich.
Das Modell kann bis zu einem Jahresumsatz von 10 Millionen kostenlos genutzt werden. Es ist über den Lightricks API Playground, ComfyUI, PyTorch und Drittanbieterplattformen wie Replicate verfügbar.