Beste KI-Videomodelle mit Unterstützung für Referenzbilder (2026)
Zuletzt aktualisiert: Juli 2026.
Einen 10-sekündigen Clip zu erzeugen, ist inzwischen einfach. Jedes große Modell kann das. Die eigentliche Frage lautet: Kann man 5 oder 10 Minuten zusammenhängendes Video erzeugen, in dem eine Figur in Minute eins genauso aussieht wie in Minute acht? In dem die Szene über Hunderte von Frames hinweg konsistent bleibt?
Das ist das schwierige Problem. Und genau hier entwickelt sich derzeit vieles sehr schnell. Dieser Leitfaden behandelt alle Modelle, die wir gefunden haben und die entweder nativ lange Videos erzeugen oder die nötigen Workflows unterstützen, um mithilfe von Referenzbildern Langform-Inhalte mit konsistenten Figuren zu erstellen. Wir teilen sie in drei Kategorien ein: Modelle, die direkt minutenlange Videos erzeugen, Modelle mit starker Unterstützung für Referenzbilder, die sich durch Fortsetzungen verlängern lassen, und Open-Source-Optionen, die man selbst betreiben kann.
Kategorie 1: Native Langform-Generierung (mehrere Minuten)
Diese Modelle erzeugen Videos, deren Länge in Minuten statt in Sekunden gemessen wird. Sie wurden von Grund auf für zeitliche Konsistenz über lange Sequenzen hinweg entwickelt.
LongCat Video
Meituan veröffentlichte LongCat Video Ende 2025. Es handelt sich um einen Diffusion Transformer mit 13,6 Milliarden Parametern und um das erste Modell, das zuverlässig zusammenhängende Videos mit einer Länge von bis zu 15 Minuten erzeugen kann.
Das Modell unterstützt Text-zu-Video, Bild-zu-Video und Videofortsetzung in einer einheitlichen Pipeline. Im I2V-Modus wird das Eingabebild zum tatsächlichen ersten Frame des Videos. Es ist keine frei verwendbare Figurenreferenz, die man in einer beliebigen Szene platzieren kann. Das Modell animiert ausgehend von diesem Startframe und nutzt dabei „Cross-Chunk Latent Stitching“, um während der gesamten Generierung immer wieder auf das Originalbild zurückzugreifen. Dadurch werden Farbverschiebungen verhindert und die visuelle Konsistenz über lange Sequenzen hinweg erhalten. Eine aktualisierte Variante aus dem Jahr 2026 ergänzt die audiogesteuerte Avatar-Generierung mit Lippensynchronisation für Talking-Head-Videos von mehr als 5 Minuten Länge.
Unter der Haube verwendet LongCat einen Grob-zu-fein-Generierungsansatz mit Block Sparse Attention, um die enormen Sequenzlängen zu bewältigen. RLHF-Feinabstimmung verbessert die Bewegungsqualität. Im Benchmark VBench 2.0 belegt das Modell insgesamt den dritten Platz hinter Google Veo 3 und Vidu Q1 von Shengshu.
Verfügbarkeit: Open Source unter der MIT-Lizenz. Über die fal.ai-API für 0,04 $ pro generierter Sekunde verfügbar (36 $ für ein 15-minütiges Video in 720p). Außerdem über die eigene Plattform von LongCat mit kreditbasierter Preisgestaltung erhältlich.
| Spezifikation | Wert |
|---|---|
| Maximale Dauer | ca. 15 Minuten |
| Auflösung | 720p bei 30 fps |
| Parameter | 13,6 Mrd. |
| Referenzbilder | Nur erster Frame (I2V-Modus, keine Figurenreferenz) |
| Lizenz | MIT |
| API-Kosten | ca. 0,04 $/Sekunde (fal.ai) |
Seaweed APT2
Seaweed APT2 von ByteDance verfolgt einen anderen Ansatz. Statt vorab ein vollständiges Video zu erzeugen, generiert es Frames autoregressiv mit 24 fps und einer Latenz von nur 0,16 Sekunden pro Frame auf einer einzelnen H100. Das Ergebnis sind stabile Videos von bis zu 5 Minuten Länge mit durchgehend erhaltener zeitlicher Konsistenz.
Der technische Kniff ist Autoregressive Adversarial Post-Training (AAPT), das ein vortrainiertes bidirektionales Video-Diffusionsmodell in einen unidirektionalen autoregressiven Generator umwandelt. Pro Frame ist nur eine einzige Vorwärtsauswertung des Netzwerks erforderlich. Das ermöglicht die Generierung in Echtzeit.
Über die reine Länge hinaus ist dieses Modell besonders wegen seiner Interaktivität interessant. Man kann die Kamera steuern, Figuren mittels Posenerkennung animieren und Szenen während des Renderns verändern. Es funktioniert also weniger nach dem Prinzip „ein Video erzeugen“ und mehr nach dem Prinzip „ein Video in Echtzeit steuern“.
Verfügbarkeit: Nur in der Forschungsphase. Noch nicht öffentlich verfügbar. Für das 7B-Basismodell (Seaweed-7B) wurde ein Paper veröffentlicht, die APT2-Gewichte wurden jedoch noch nicht freigegeben.
| Spezifikation | Wert |
|---|---|
| Maximale Dauer | ca. 5 Minuten |
| Auflösung | 736x416 (eine GPU), bis zu 720p (8 GPUs) |
| Parameter | 8 Mrd. |
| Referenzbilder | Über I2V und interaktive Posensteuerung |
| Lizenz | Nicht veröffentlicht |
| Status | Forschungsvorschau |
Helios
Helios stammt von der Universität Peking und basiert auf Wan 2.1. Es ist ein Modell mit 14 Milliarden Parametern, das auf einer einzelnen H100 minutenlange Videos mit 19,5 FPS erzeugt. Die entscheidende Innovation besteht darin, wie das Modell mit dem Abdriften bei langen Videos umgeht. Anstatt herkömmliche Anti-Drift-Techniken wie Self-Forcing oder Keyframe-Sampling zu verwenden, simuliert Helios das Abdriften während des Trainings, damit das Modell lernt, es selbstständig zu korrigieren.
Es unterstützt nativ Text-zu-Video-, Bild-zu-Video- und Video-zu-Video-Aufgaben. Der I2V-Modus akzeptiert Referenzbilder als Ausgangspunkt für die Generierung.
Verfügbarkeit: Vollständig Open Source unter Apache 2.0. Veröffentlicht im März 2026. Code und Gewichte auf GitHub (PKU-YuanGroup/Helios). In Diffusers, SGLang und vLLM-Omni integriert. Gradio-Demo auf HuggingFace Spaces.
| Spezifikation | Wert |
|---|---|
| Maximale Dauer | Minutenlang (keine feste Obergrenze) |
| Auflösung | 720p |
| Parameter | 14 Mrd. |
| Referenzbilder | Ja (I2V-Modus) |
| Lizenz | Apache 2.0 |
| Hardware | Eine einzelne H100 für Echtzeit |
SkyReels V2 / V3
Die SkyReels-Reihe von Skywork zielt auf Videos mit unbegrenzter Länge ab. V2 verwendet eine AutoRegressive-Diffusion-Forcing-Architektur, die Videos ohne feste Längenbegrenzung erzeugt. V3, veröffentlicht im Januar 2026, vereint referenzbildbasierte Videoerzeugung, Video-zu-Video-Erweiterung und audiogesteuerte Avatar-Generierung in einem einzigen Modell.
V3 akzeptiert 1 bis 4 Referenzbilder und bewahrt die Identität des Motivs im gesamten generierten Video. Der Video-zu-Video-Modus ermöglicht nahtlose Fortsetzungen einzelner Einstellungen und Wechsel zwischen mehreren Einstellungen mit filmischen Übergängen.
Skywork veröffentlichte SkyReels V4 am 25. Februar 2026. Es ist das erste Open-Source-Modell, das Video und Audio gemeinsam in einem einzigen Dual-Stream-Durchlauf mit bis zu 1080p/32 fps erzeugt. Es akzeptiert Text, Bilder, Videoclips, Masken und Audio als Konditionierungseingaben und vereint Generierung, Inpainting und Bearbeitung in einem Framework. Damit erweitert es den Referenz-und-Erweiterungs-Ansatz von V2/V3 um nativen Ton. In der Text-zu-Video-Rangliste von Artificial Analysis liegt es inzwischen nahe an der Spitze.
Verfügbarkeit: Vollständig Open Source. Modelle mit 1,3 bis 14 Milliarden Parametern. In 540p und 720p verfügbar. Code und Gewichte auf GitHub und HuggingFace.
| Spezifikation | Wert |
|---|---|
| Maximale Dauer | Unbegrenzt (autoregressiv) |
| Auflösung | 540p, 720p |
| Parameter | 1,3 Mrd., 5 Mrd., 14 Mrd. |
| Referenzbilder | 1–4 Bilder (V3) |
| Lizenz | Open Source |
| Hardware | Mindestens RTX 4090, empfohlen 4–8x A100 |
Kategorie 2: Kurze Clips mit starken Referenz- und Erweiterungsfunktionen
Diese Modelle erzeugen Clips von 8–60 Sekunden Länge, bieten jedoch starke Unterstützung für Referenzbilder und Funktionen zur Videoerweiterung. Für Langform-Inhalte verkettet man Clips mithilfe der Fortsetzungs- oder Erweiterungs-Endpunkte des Modells. Die Figurenkonsistenz entsteht durch Referenzbilder, die über mehrere Generierungen hinweg beibehalten werden.
Dies ist der praktische Workflow, den die meisten Kreativen heute für Inhalte verwenden, die länger als eine Minute sind. Die Qualität der einzelnen Clips ist häufig höher als bei den nativen Langform-Modellen.
Kling 3.0 Omni (Kuaishou)
Kling verfügt über das umfassendste Referenzbildsystem aller Videomodelle. Es unterteilt Referenzeingaben in drei unterschiedliche Kategorien, die jeweils einem anderen Zweck dienen:
Referenzbilder (image_urls): Bis zu 4 Bilder zur Steuerung von Stil und Erscheinungsbild. Im Prompt kennzeichnet man sie als @Image1, @Image2 usw. Sie beeinflussen den allgemeinen Look, den Stil der Szene und die Umgebung, ohne zum ersten Frame zu werden.
Elemente (elements): Spezielle Eingaben für Figuren und Objekte. Jedes Element nutzt eine frontal_image_url (ein deutliches, frontal aufgenommenes Foto) sowie optionale reference_image_urls (weitere Blickwinkel). Im Prompt verweist man mit @Element1, @Element2 auf sie. Das Modell extrahiert die Identität der Figur und platziert sie in einer beliebigen beschriebenen Szene. Dies ist die entscheidende Funktion für Inhalte im Stil eines Abenteuerfilms: Man lädt ein Foto der Figur hoch und beschreibt dann, wie sie durch einen Wald läuft, gegen einen Drachen kämpft oder etwas völlig anderes tut.
Start-/End-Frames (start_image_url, end_image_url): Legt bestimmte Bilder als ersten oder letzten Frame fest. Dabei handelt es sich um tatsächliche Frames, nicht um Stilvorlagen.
Insgesamt können in allen drei Kategorien zusammen bis zu 7 Referenzeingaben verwendet werden. Bei gleichzeitiger Nutzung eines Referenzvideos sinkt die Zahl auf 4. Ein einzelner Prompt wie "@Element1 and @Element2 are having dinner at this table on @Image1" kann Figuren mit Szenenreferenzen kombinieren.
Für Langform-Inhalte bietet Kling zwei Wege. Der Multi-Shot-Modus erzeugt bis zu 6 Szenen in einem einzigen Aufruf, jeweils mit eigenem Prompt und eigener Dauer von 3–15 Sekunden. Figurenelemente bleiben automatisch über alle Einstellungen hinweg erhalten. Die Extend-API setzt ein abgeschlossenes Video an dessen Ende fort und erreicht durch verkettete Erweiterungen eine Länge von ungefähr 3 Minuten. Der V2V-Bearbeitungsmodus nimmt ein vorhandenes Video von 3–10 Sekunden Länge und transformiert es mithilfe von Elementreferenzen und einem Text-Prompt. Dabei bleiben Kamerabewegung und Figureninszenierung aus dem Ausgangsmaterial erhalten, während Figuren und Umgebungen anhand der Referenzen neu gestaltet werden. Dadurch eignet sich Kling besonders gut zur Aufwertung vorhandenen Materials, einschließlich einfacher 3D-Renderings.
Kling 3.0 Omni vereint Text-zu-Video, Bild-zu-Video, Referenz-zu-Video und Videobearbeitung in einem einzigen Modell mit nativer Audiogenerierung und Lippensynchronisation. Am 17. Juni 2026 ergänzte Kuaishou Kling 3.0 Turbo, eine schnellere und günstigere Variante mit enthaltenem Audio bei 720p und 1080p (Listenpreis etwa 0,11–0,14 $/Sek.) und erweiterte die Bearbeitungspipeline von Omni um die Ein- und Ausgabe von 4K-Videos.
Verfügbarkeit: Kommerzielle API über Kuaishou, fal.ai (0,084–0,112 $/Sek.) und Replicate. Weboberfläche unter klingai.com.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | 3–15 Sekunden |
| Erweiterte Länge | ca. 3 Minuten (über verkettete Erweiterungen) |
| Auflösung | 720p, 1080p (4K bei Omni-Bearbeitung) |
| Referenzbilder | Bis zu 4 (@Image-Stilreferenzen) |
| Elemente | Bis zu 4 (@Element-Figurenreferenzen mit Frontalansicht und weiteren Blickwinkeln) |
| Referenzen insgesamt | Bis zu 7 kombiniert (4 mit Videoreferenz) |
| Multi-Shot | Ja (bis zu 6 Einstellungen im Storyboard) |
| Audio | Natives synchronisiertes Audio + Lippensynchronisation |
| Videobearbeitung | Ja (textgesteuerte Bearbeitung vorhandener Videos) |
| API | Kuaishou, fal.ai, Replicate |
Grok Imagine (xAI)
xAI führte Anfang 2026 den Referenz-zu-Video-Modus von Grok Imagine mit Unterstützung für 1–7 Referenzbilder ein. In der Dokumentation wird dieser ausdrücklich von Bild-zu-Video unterschieden: „Anders als bei Bild-zu-Video, wo das Ausgangsbild zum Startframe wird, beeinflussen Referenzbilder, was im Video erscheint, ohne den ersten Frame festzulegen.“
Bilder werden im Prompt als <IMAGE_1>, <IMAGE_2> usw. gekennzeichnet. Ein Prompt wie "the model from <IMAGE_1> walks onto the runway wearing the shirt from <IMAGE_2>" kombiniert eine Personenreferenz mit einer Kleidungsreferenz. Das Modell unterstützt virtuelle Anproben, Produktplatzierungen und figurenkonsistentes Storytelling über mehrere Szenen hinweg.
Eine Einschränkung besteht darin, dass sich Referenzbilder und Bild-zu-Video nicht in derselben Anfrage kombinieren lassen. Man verwendet entweder den Erstframe-Modus oder den Referenzmodus, nicht beide gleichzeitig.
Grok Imagine verfügt außerdem über einen Endpunkt zur Videoerweiterung, der neues Material an das Ende eines vorhandenen Videos anhängt. Der Parameter duration steuert nur den neu erzeugten Abschnitt. Erweiterungen lassen sich verketten, um längere Inhalte zu erstellen.
xAI veröffentlichte Grok Imagine 1.5 am 3. Juni 2026 als API-Vorschau und stellte es anschließend am 16. Juni als grok-imagine-video-1.5 allgemein bereit. Gleichzeitig wurde eine Fast-Variante schrittweise in den Verbraucher-Apps eingeführt. Es handelt sich um ein Bild-zu-Video-Modell, das ein einzelnes Standbild mit Kamerabewegungen, Atmosphäre, Physik und nativ erzeugtem, synchronisiertem Audio im selben Inferenzdurchlauf in eine filmische Animation verwandelt. Es unterstützt Multi-Shot-Sequenzen, um konsistente Szenen zu verketten, erzeugt einen 6-sekündigen 720p-Clip in etwa 25 Sekunden und belegt derzeit den dritten Platz in der Bild-zu-Video-Rangliste von Artificial Analysis. Der Preis beträgt 0,08 $/Sek. bei 480p und 0,14 $/Sek. bei 720p, zuzüglich 0,01 $ pro Eingabebild.
Verfügbarkeit: xAI-API (gestartet im Januar 2026), fal.ai und Replicate. Python SDK, JavaScript/AI SDK und REST API. 0,05 $/Sek. bei 720p mit Audio. Auch für Abonnenten von X Premium verfügbar.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | 1–15 Sekunden |
| Erweiterte Länge | Über die Erweiterungs-API verkettbar |
| Auflösung | 480p, 720p |
| Referenzbilder | 1–7 (echte Referenzen, nicht das erste Einzelbild) |
| Prompt-Tags | <IMAGE_1>, <IMAGE_2> usw. |
| Audio | Ja (720p) |
| Videobearbeitung | Ja (textgesteuert) |
| API | xAI API, fal.ai, Replicate |
| API-Kosten | 0,05 $/Sekunde (720p mit Audio) |
Seedance 2.0 (ByteDance)
Seedance 2.0 von ByteDance akzeptiert die meisten Referenzeingaben aller Modelle: bis zu 12 Dateien gleichzeitig, darunter bis zu 9 Bilder, 3 Videos und 3 Audiodateien. Das Modell unterstützt native Audio-Video-Generierung mit Lippensynchronität auf Phonemebene in mehr als 8 Sprachen.
Einzelne Bilder dürfen jeweils bis zu 30 MB groß sein. Referenzvideos müssen 2–15 Sekunden lang sein. Das Modell nutzt die Referenzen für das Aussehen der Figuren, die Gestaltung der Szenen und die Bewegungssteuerung.
Der nächste Sprung ist bereits angekündigt. ByteDance stellte Seedance 2.5 auf seiner Volcano Engine FORCE-Konferenz am 23. Juni 2026 vor: ein einzelner nativer 30-Sekunden-Clip in einem Durchlauf und bis zu 50 multimodale Referenzdateien statt bisher 12. Die Einführung beginnt bei Dreamina und Jimeng; die API wird am 16. Juli 2026 auf BytePlus geöffnet. Wenn das Modell wie vorgeführt erscheint, entfällt ein großer Teil des in diesem Leitfaden beschriebenen Zusammenfügens von Clips.
Verfügbarkeit: Offizielle ByteDance-API (über Volcengine, im Februar 2026 eingeführt) und Drittanbieter-APIs. Ausgabe über die API mit 480p–720p, über die Plattform mit bis zu 2K-Kinoauflösung.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | 4–15 Sekunden |
| Auflösung | Bis zu 2K (Kino) |
| Referenzbilder | Bis zu 9 Bilder + 3 Videos + 3 Audiodateien (insgesamt 12) |
| Audio | Nativ mit Lippensynchronität (mehr als 8 Sprachen) |
| API | ByteDance/Volcengine, Drittanbieter |
Runway Gen-4.5
Runway Gen-4.5 startete mit 1.247 ELO an der Spitze der Text-to-Video-Bestenliste von Artificial Analysis und lag zu diesem Zeitpunkt vor Veo 3 und Sora 2 Pro. Bis Mitte 2026 hatte sich die Rangfolge in der Arena verändert (Gemini Omni Flash führt nun), doch Gen-4.5 bleibt ein Spitzenmodell für filmische Qualität und steuerbare Aktionen. Das Modell generiert 2–10 Sekunden lange Clips per Text-to-Video und unterstützt durch Sequenzierung mehrerer Einstellungen charakterkonsistente Langvideos von bis zu einer Minute.
Image-to-Video wurde im Januar 2026 hinzugefügt und unterstützt Referenzbilder für alle Seitenverhältnisse. Das Modell integriert Neural Radiance Fields und Gaussian Splatting in die Diffusionsarchitektur und verfügt dadurch über ein geometrisches 3D-Verständnis statt ausschließlich einer Vorhersage auf Pixelebene. Das sorgt für eine bessere Objektbeständigkeit und physikalisch plausible Bewegungen.
Verfügbarkeit: Kommerzielle API und Weboberfläche. SDKs für Node und Python. Auch auf Replicate verfügbar.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | 2–10 Sekunden |
| Langvideo-Modus | Bis zu ca. 1 Minute |
| Auflösung | Bis zu 1080p |
| Referenzbilder | 0–1 pro Generierung |
| Audio | Native Audiogenerierung |
| Mehrere Einstellungen | Ja |
| API | Ja (Runway, Replicate) |
Google Veo 3.1
Googles Veo 3.1 generiert nativ 4, 6 oder 8 Sekunden lange Clips. Die Funktion „Extend Video“ (derzeit als Vorschau verfügbar) verkettet Clips zu einer Gesamtlänge von etwa 1–2,5 Minuten, wobei die Kohärenz bei längeren Sequenzen nachlassen kann.
Die Funktion „Ingredients to Video“ akzeptiert bis zu 3 Referenzbilder als Eingabe. Du kannst zu animierende Figuren, Hintergründe und Materialtexturen bereitstellen. Bei der Verwendung von Referenzbildern hält sich das Modell enger an deine visuellen Vorlagen und nimmt weniger zufällige Änderungen vor. Eine Einschränkung: Der Referenzbildmodus funktioniert nur mit der Daueroption von 8 Sekunden.
Seit Januar 2026 unterstützt Veo 3.1 auf Vertex AI auch Hochformatvideos (9:16) für referenzbasierte Generierung und 4K-Upscaling.
Verfügbarkeit: Google Vertex AI API, Gemini API und Google Flow. Erfordert ein Google-Cloud-Konto.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | 4, 6 oder 8 Sekunden |
| Erweiterte Länge | ca. 1–2,5 Minuten |
| Auflösung | Bis zu 4K (mit Upscaling) |
| Referenzbilder | Bis zu 3 („Ingredients to Video“) |
| Audio | Synchronisierte Dialoge und Musik |
| API | Vertex AI, Gemini API |
Google Gemini Omni Flash
Google kündigte die Gemini-Omni-Familie im Mai 2026 auf der I/O an und veröffentlichte Gemini Omni Flash als erstes Modell. Es belegte schnell den ersten Platz in der Arena von Artificial Analysis, noch vor Veo 3.1. Das Konzept ist dialogbasierte Videogenerierung: Du generierst aus Text, Bildern oder Videos einen 10-Sekunden-Clip und bearbeitest ihn anschließend mit aufeinander aufbauenden Folgeanweisungen. Beleuchtung ändern, Kleidung austauschen, Kamera anpassen – alles ohne eine vollständige Neugenerierung.
Als Referenzen akzeptiert Omni Flash Bilder und kurze Videoclips für Stil, Bewegung und Effekte; Audioreferenzen sind geplant. Die Charakterkonsistenz bleibt bei dialogbasierten Bearbeitungen erhalten, auch wenn Google in der eigenen Dokumentation darauf hinweist, dass sie bei Szenenwechseln und Kameraschwenks nachlassen kann. Prüfe daher Ausgaben mit vielen Figuren, bevor du sie veröffentlichst.
Verfügbarkeit: Die API (gemini-omni-flash-preview) wurde am 30. Juni 2026 über Google AI Studio und die Gemini API als öffentliche Vorschau geöffnet und kostet etwa 0,10 $ pro Sekunde Ausgabe. Jeder Clip trägt ein SynthID-Wasserzeichen. Endnutzer greifen über die Gemini-App, Google Flow und YouTube Shorts darauf zu.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | 10 Sekunden (längere Laufzeiten geplant) |
| Auflösung | 720p |
| Referenzeingaben | Bilder + kurze Videoclips (Audio geplant) |
| Bearbeitung | Dialogbasiert, iterativ |
| Audio | Nativ |
| API | Gemini API (öffentliche Vorschau), ca. 0,10 $/Sek. |
OpenAI Sora 2 / Sora 2 Pro
Wird eingestellt (2026): OpenAI fährt Sora herunter. Die Sora-App für Endnutzer wurde am 26. April 2026 geschlossen, und die Sora-2-API wird am 24. September 2026 eingestellt, ohne dass ein Nachfolger angekündigt wurde. Die unten aufgeführten Funktionen sind weiterhin bemerkenswert, aber du solltest keine neue Pipeline auf Sora aufbauen. Verwende stattdessen Kling, Grok Imagine oder ein offenes Modell.
Sora 2 Pro generiert Clips mit einer Länge von bis zu 20 Sekunden. Die Characters API verfolgt einen anderen Ansatz als Kling oder Grok: Statt statische Bilder hochzuladen, erstellst du eine character_id, indem du die API auf einen Videoclip verweist (mit einem Zeitstempelbereich von 1–3 Sekunden). Sora analysiert die Videoframes, um Gesichtsstruktur, Körperproportionen, Kleidungsstil und andere Erkennungsmerkmale zu extrahieren. Diese character_id bleibt unbegrenzt bestehen und kann für beliebig viele zukünftige Generierungen wiederverwendet werden.
Du kannst pro Generierung bis zu 2 hochgeladene Figuren referenzieren. Seit März 2026 funktionieren Figurenreferenzen auch für Objekte und Tiere, nicht nur für Menschen. Bei der Videoerweiterung wird der gesamte ursprüngliche Clip als Kontext für die Fortsetzung verwendet.
Das Figurensystem benötigt zur Erstellung von Figuren eine Videoeingabe und keine statischen Bilder. Wenn du nur Fotos hast, musst du zunächst ein kurzes Video generieren und die Figur anschließend daraus extrahieren.
Verfügbarkeit: OpenAI API mit Unterstützung der Batch API für Produktionsabläufe.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | Bis zu 20 Sekunden |
| Auflösung | Bis zu 1920x1080 |
| Figurenreferenzen | Bis zu 2 pro Generierung (dauerhafte character_id) |
| Figureneingabe | Videoclip (Zeitstempelbereich von 1–3 Sek.), keine statischen Bilder |
| Audio | Synchronisiert |
| Erweiterung | Ja (vollständiger Clip als Kontext) |
| API | OpenAI API + Batch API |
MiniMax Hailuo 02
Hailuo 02 belegte bei seiner Einführung weltweit Platz 2 im Benchmark von Artificial Analysis und übertraf Veo 3. Es generiert 10-Sekunden-Clips in nativer 1080p-Auflösung und bietet eine der besten Physiksimulationen in diesem Bereich. Das Modell bewältigt extreme Bewegungen wie Turnen und Akrobatik, ohne dass die Darstellung auseinanderfällt.
Es unterstützt Image-to-Video-Generierung mit hoher Charakterkonsistenz durch Gesichtserkennung und Körperverfolgung. Die Noise-aware Compute Redistribution-Architektur weist Rechenleistung dynamisch auf Grundlage der Szenenkomplexität zu.
MiniMax hat Hailuo 02 inzwischen durch die Hailuo-2.3-Familie (Standard, Pro, Fast, Fast Pro) überholt, die physische Aktionen, Stilisierung und Mikroausdrücke der Figuren verbessert. Sie gibt 1080p bei 6 Sekunden oder 768p bei 10 Sekunden aus und ist über die MiniMax-Plattform und fal.ai verfügbar.
Verfügbarkeit: Kommerzielle API. Verfügbar über die MiniMax-Plattform, fal.ai und Replicate. 0,28 $ pro Video.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | Bis zu 10 Sekunden |
| Auflösung | Nativ 1080p |
| Referenzbilder | Ja (I2V-Modus) |
| Audio | Nicht nativ |
| Physik | Erstklassige Simulation |
| API | MiniMax, fal.ai, Replicate |
Luma Ray3.2
Lumas Ray2 wurde durch die Ray3-Familie abgelöst. Ray3 (September 2025) ergänzte Character Reference zur Identitätsfixierung und einen Modify-Modus für Video-to-Video. Ray3.2 (9. Juni 2026) fügte eine Steuerung auf Einzelbildebene mit bis zu 16 Schlüsselbildern pro Clip, eine Reframe-Funktion und Clips von bis zu 20 Sekunden hinzu sowie die erste öffentliche API für die Ray3-Reihe. Die Ausgabe erfolgt nativ in 1080p; 4K ist per Hi-Fi-Upscaling verfügbar. Image-to-Video akzeptiert Referenzbilder als Start- oder Endschlüsselbilder.
Verfügbarkeit: Luma API und Weboberfläche.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | Bis zu 20 Sekunden (Ray3.2) |
| Referenztyp | Start-/Endschlüsselbilder + Character Reference (Identität) |
| Auflösung | Nativ 1080p, 4K per Upscaling |
| Referenzbilder | Ja (Schlüsselbilder + Figurenreferenz) |
| API | Luma API |
Pika 2.5
Pika verfolgt mit Pikaframes einen schlüsselbildbasierten Ansatz. Lade 2–5 Schlüsselbilder hoch (Referenzbilder für wichtige Zeitpunkte), und das Modell generiert fließende Übergänge zwischen ihnen. Die Gesamtdauer erreicht 20–25 Sekunden.
Pikascenes akzeptiert bis zu 10 Referenzbilder und kombiniert sie zu einem einzigen Video. Das Modell erkennt automatisch, welche Rolle jede Referenz spielt, etwa Figur, Hintergrund oder Requisite.
Verfügbarkeit: Pika-Webplattform und API. Abonnementmodelle von Kostenlos bis Pro.
| Spezifikation | Wert |
|---|---|
| Native Cliplänge | 5–10 Sekunden |
| Pikaframes-Länge | 20–25 Sekunden |
| Auflösung | Bis zu 1080p |
| Referenzbilder | Bis zu 10 (Pikascenes), 2–5 Schlüsselbilder (Pikaframes) |
| API | Ja |
Stufe 3: Open-Source-Modelle für selbst gehostete Workflows
Diese Modelle generieren kürzere Clips, sind dafür aber vollständig offen. Du kannst sie auf deiner eigenen Hardware ausführen, feinabstimmen und benutzerdefinierte Erweiterungspipelines ohne API-Abhängigkeiten entwickeln.
Wan 2.1 (Alibaba)
Wan 2.1 bildet die Grundlage für mehrere andere Modelle, darunter Helios. Die Wan-VAE-Architektur kodiert und dekodiert 1080p-Videos beliebiger Länge und bewahrt dabei zeitliche Informationen. Das Modell ist in I2V-Varianten mit 480p und 720p sowie als First-Last-Frame-to-Video-Modell verfügbar, das zwischen zwei Referenzbildern ein Video generiert.
Wan-Edit ermöglicht die Übertragung von Stil und Inhalt mithilfe von Referenzbildern, während bestimmte Strukturen oder Figurenposen erhalten bleiben. Wan 2.2 (Juli 2025) ist die neuere offene Veröffentlichung: ein Mixture-of-Experts-Modell mit einer 5B-Variante, die auf einer einzelnen RTX 4090 läuft und weiterhin unter Apache 2.0 steht. Ein wichtiger Vorbehalt für Selbsthoster: Ab Version 2.5 wurde Wan geschlossen. Die neueren Versionen Wan 2.5, 2.6 und nun 2.7 – das Mitte 2026 in der Artificial-Analysis-Arena für Modelle mit Audio Platz drei belegt – bieten synchronisiertes Audio und höhere Auflösungen, sind jedoch ausschließlich per API verfügbar und besitzen keine öffentlichen Gewichte. Daher bleibt 2.2 die neueste offene Version. Ignoriere SEO-Seiten, die behaupten, die Gewichte von Wan 2.7 seien herunterladbar. Sowohl die offizielle GitHub-Organisation als auch das Hugging-Face-Konto enden bei Version 2.2.
| Spezifikation | Wert |
|---|---|
| Parameter | 1,3B, 5B, 14B (2.1); 5B + 14B MoE (2.2) |
| I2V-Modi | I2V-480P, I2V-720P, FLF2V-720P |
| Neueste offene Version | Wan 2.2 (2.5 bis 2.7 sind ausschließlich per API verfügbar) |
| Lizenz | Apache 2.0 |
| Hardware | Ab 8 GB VRAM (kleinere Varianten) |
| Plattformen | Diffusers, ComfyUI |
HunyuanVideo (Tencent)
Tencents Modell mit 13B Parametern war während des größten Teils des Jahres 2025 führend bei der Open-Source-Videogenerierung. HunyuanVideo-I2V verwendet eine Token-Ersetzungstechnik mit einem vortrainierten MLLM, um Informationen aus Referenzbildern einzubeziehen. Das im November 2025 veröffentlichte HunyuanVideo-1.5 verbesserte die Effizienz. HunyuanCustom ermöglicht multimodal gesteuerte, individualisierte Videogenerierung.
| Spezifikation | Wert |
|---|---|
| Parameter | 13B |
| I2V | Ja (Token-Ersetzungstechnik) |
| Lizenz | Open Source |
| Hardware | Ab 60 GB VRAM (720p) |
| Varianten | Base, I2V, 1.5, Avatar, Custom |
LTX-2 (Lightricks)
Lightricks veröffentlichte LTX-2 im Januar 2026 als Open Source, einschließlich vollständiger Gewichte, Inferenzcode und Trainingscode. Es ist ein DiT-basiertes Modell, das Video und synchronisiertes Audio gemeinsam in einem Durchlauf generiert – nativ in 4K und mit bis zu 50 fps sowie Cliplängen von bis zu 20 Sekunden. Image-to-Video und die Konditionierung mit mehreren Schlüsselbildern sind integriert, sodass du Referenzstandbilder ähnlich wie bei Pikaframes an bestimmten Punkten im Clip fixieren kannst.
Der Haken ist die Lizenz – oder auch nicht, je nach Größe deines Unternehmens. LTX-2 ist für Forschung und kommerzielle Nutzung bei einem Jahresumsatz unter 10 Mio. $ kostenlos. Darüber ist eine kommerzielle Lizenz erforderlich, weshalb es sich im strengen Sinne eher um offene Gewichte als um Open Source handelt. LTX-2.3, der aktuelle Checkpoint, ist eine Aktualisierung mit 22B Parametern, besserem Audio und zuverlässigerer Prompt-Befolgung. Die Gewichte sind auf Hugging Face verfügbar, einschließlich destillierter 8-Schritt-Varianten, LoRA-Adapter sowie Integrationen für ComfyUI und Diffusers. Gehostete APIs werden über die LTX-Plattform, fal.ai und Replicate angeboten.
| Spezifikation | Wert |
|---|---|
| Parameter | 22B (LTX-2.3) |
| Maximale Cliplänge | ca. 20 Sekunden |
| Auflösung | Nativ 4K mit bis zu 50 fps |
| Audio | Nativ synchronisiert |
| I2V | Ja (Bild- + Mehrfachschlüsselbild-Konditionierung) |
| Lizenz | LTX-2 Community License (kostenlos bei weniger als 10 Mio. $ Jahresumsatz) |
| Hardware | Destillierte und FP8-Varianten für Consumer-GPUs |
CogVideoX (Tsinghua/Zhipu AI)
CogVideoX verwendet einen kausalen 3D-VAE, der die Sequenzlänge reduziert und Flimmern verhindert. Der Transformer mit adaptiver LayerNorm verbessert die Abstimmung zwischen Text und Video. Verfügbar in Varianten mit 2B (Apache 2.0) und 5B Parametern (Forschungslizenz) sowie nativer Diffusers-Integration.
Die Clips sind 6–10 Sekunden lang und haben eine Auflösung von 720x480. Das ist kurz, aber das Verhältnis von Qualität zu Rechenaufwand ist gut, und das Modell läuft auf einer GPU mit 12 GB.
| Spezifikation | Wert |
|---|---|
| Parameter | 2B, 5B |
| I2V | Ja (CogVideoXImageToVideoPipeline) |
| Auflösung | 720x480 bei 8 fps |
| Lizenz | Apache 2.0 (2B), Forschung (5B) |
| Hardware | 12 GB VRAM |
Erstes Einzelbild vs. echte Referenz: der entscheidende Unterschied
Die Unterstützung von „Referenzbildern“ ist nicht bei allen Modellen gleich. Den Unterschied zu verstehen, ist für die Wahl des richtigen Modells entscheidend.
Modelle mit erstem Einzelbild (LongCat, Helios, Hailuo, Luma Ray2, HunyuanVideo) behandeln dein Bild als wortwörtliches erstes Einzelbild. Das Modell animiert ausgehend von genau diesem Motiv weiter. Du kannst kein Porträt einer Figur hochladen und sie in einer anderen Szene beschreiben. Das Bild ist die Szene.
Modelle mit echten Referenzen (Kling, Grok Imagine, Seedance, SkyReels V3) extrahieren die Identität aus deinem Bild und platzieren die betreffende Figur oder das Objekt in einer beliebigen von dir beschriebenen Szene. Lade ein Foto einer Person hoch und gib dann den Prompt „Diese Person geht bei Sonnenuntergang durch einen Wald“ ein. Die Figur erscheint in einer völlig neuen Umgebung und behält dabei ihre Identität. Genau das brauchst du für erzählerische Inhalte mit mehreren Szenen, etwa einen Abenteuerfilm.
Modelle mit Figuren-ID (Sora 2 Pro) extrahieren die Identität aus Videoclips statt aus statischen Bildern. Du erstellst einmalig eine dauerhafte Figuren-ID und verwendest sie bei beliebig vielen zukünftigen Generierungen wieder.
Stil-/Ingredient-Modelle (Veo 3.1) verwenden Referenzbilder, um den visuellen Stil, Texturen und die Gesamtästhetik zu beeinflussen, statt die Identität bestimmter Figuren zu extrahieren. Sie eignen sich gut, um die visuelle Konsistenz innerhalb eines Projekts zu wahren, bieten aber weniger präzise Kontrolle über einzelne Figuren.
Der tatsächliche Workflow für zehnminütige Videos
Hier ist eine ehrliche Einschätzung des Stands Mitte 2026. Kein einzelnes Modell erzeugt zuverlässig zehn Minuten konsistentes, hochwertiges Video in einem Durchgang. LongCat Video kommt diesem Ziel mit einer angegebenen Dauer von 15 Minuten am nächsten, doch Qualität und Kohärenz schwanken bei solchen Längen erheblich. Helios und SkyReels V2 erzeugen Videos im „Minutenbereich“ beziehungsweise von „unbegrenzter Länge“, doch die Ausgaben erfordern sorgfältige Prompts und häufig mehrere Versuche.
Der Workflow, der für die meisten Kreativen bei fünf- bis fünfzehnminütigen Videos tatsächlich funktioniert, kombiniert mehrere Ansätze:
Für Talking-Head-/Avatar-Inhalte: Der 2026 eingeführte audiogesteuerte Modus von LongCat Video oder die Avatar-Generierung von SkyReels V3 kann mehr als fünf Minuten einer konsistenten sprechenden Figur erzeugen. Das kommt „Knopf drücken, langes Video erhalten“ derzeit am nächsten.
Für erzählerische Inhalte mit mehreren Szenen (im Stil eines Abenteuerfilms): Verwende Kling 3.0, Grok Imagine oder Seedance 2.0 mit echten Figurenreferenzbildern. Generiere einzelne Einstellungen von jeweils 10–15 Sekunden. Verwende bei jeder Generierung dieselben @Element- oder <IMAGE>-Referenzen, um die Identität der Figur zu erhalten. Verknüpfe die Einstellungen über den Multi-Shot-Modus (Kling unterstützt sechs Einstellungen pro Aufruf) oder die Extend-API. Kling ist für diesen Workflow am umfassendsten praxiserprobt. Grok Imagine ist durch die explizite Trennung zwischen „Referenzmodus“ und „Erstes-Einzelbild-Modus“ eine starke Alternative. Seedance 2.0 akzeptiert die meisten Referenzeingaben (12 Dateien), ist aber neuer und weniger erprobt.
Für Figurenkonsistenz über viele Clips hinweg: Das dauerhafte character_id-System von Sora 2 Pro ist der sauberste Ansatz für sehr lange Projekte. Extrahiere die Figur einmal aus einem kurzen Video und generiere anschließend Dutzende Clips, die auf diese ID verweisen. Die Identität der Figur verschlechtert sich im Laufe der Zeit nicht, weil sie als dauerhaftes Embedding gespeichert und nicht jedes Mal neu aus einem Bild interpretiert wird.
Für Inhalte mit Stilübertragung: Lucy Restyle auf fal.ai verarbeitet bestehende Videos von bis zu 30 Minuten und wendet KI-Stiltransformationen an, während die Bewegungen erhalten bleiben. Wenn du über Ausgangsmaterial verfügst, umgehst du damit das Problem der Generierungslänge vollständig. 0,01 $ pro Sekunde Ausgangsvideo.
Für Open-Source-Pipelines: Baue auf Wan 2.1 oder Helios eine Schleife zur Videofortsetzung auf. Generiere einen Clip, verwende dessen letztes Einzelbild als Startbild für den nächsten Clip und wiederhole den Vorgang. ComfyUI-Workflows automatisieren dies. Die Konsistenz nimmt über viele Wiederholungen hinweg ab, aber der Ansatz ist kostenlos und kontrollierbar.
Die zentrale Herausforderung bleibt bestehen: Selbst bei Unterstützung für echte Referenzbilder verstärkt sich die Abweichung der Figuren über Dutzende Clips hinweg. Gesichtszüge, Haare, Kleidung und Hautton verändern sich allmählich. Die Behelfslösungen – hochwertige Referenzfotos, konsistente Prompts und das gebündelte Generieren von Einstellungen – sind notwendig. Modelle wie Kling und Grok Imagine, die die Figurenidentität von der Szenenkomposition trennen, machen dies jedoch erheblich einfacher als Modelle, die ausschließlich das erste Einzelbild unterstützen.
Der 3D-Gerüst-Ansatz: einfach rendern, hochwertig transformieren
Ein Workflow gewinnt zunehmend an Bedeutung, der die meisten Probleme der Langformgenerierung vollständig umgeht. Statt ein KI-Modell zehn Minuten Video von Grund auf erzeugen zu lassen, renderst du eine einfache 3D-Zwischensequenz mit korrekter Kameraführung, Figureninszenierung und zeitlicher Abstimmung. Anschließend verarbeitest du sie mit einem Video-zu-Video-Modell, Referenzbildern und einem Optimierungs-Prompt. Die 3D-Engine übernimmt die Struktur. Die KI übernimmt die Ästhetik.
Das funktioniert, weil die V2V-Transformation ein enger umrissenes Problem als die vollständige Generierung ist. Das Modell muss weder Kamerabewegungen noch Figurenplatzierung oder Szenenkomposition erfinden. Es muss lediglich bestehendes Filmmaterial gemäß deinen visuellen Referenzen fotorealistisch aussehen lassen. Das ist wesentlich leichter zu bewältigen und lässt sich auf jede Länge skalieren, die deine 3D-Engine rendern kann.
Warum dieser Ansatz funktioniert
Deine 3D-Engine bietet alles, womit KI-Videomodelle noch immer Schwierigkeiten haben: präzise Kamerasteuerung, exakte Platzierung der Figuren im Bild, korrekte physikalische Interaktionen und konsistentes Timing über minutenlanges Material hinweg. Dolly-Zooms, Kamerafahrten sowie Figuren, die zum richtigen Zeitpunkt ins Bild treten oder es verlassen, sind in einer 3D-Engine trivial, bei einer Generierung mit Text-Prompts dagegen unzuverlässig. Die einzige Aufgabe des V2V-Modells besteht darin, Materialien, Beleuchtung und Texturen in eine fotorealistische Ausgabe zu verwandeln und dabei die von dir bereits festgelegte Geometrie und Bewegung beizubehalten.
Auch die Figurenkonsistenz wird einfacher. Statt bei 50 separaten KI-Generierungen gegen Identitätsabweichungen anzukämpfen, zeigst du dem Modell in jedem Einzelbild dieselbe 3D-Figur. Die Referenzbilder vermitteln dem Modell, wie diese Figur in der endgültigen Ausgabe aussehen soll. Das ist einfacher, als jedes Mal eine konsistente Figur von Grund auf neu zu generieren.
Auch die Länge ist keine Einschränkung mehr. Lucy Restyle verarbeitet 30 Minuten in einem einzigen Aufruf. Wan 2.1 kann in ComfyUI Material beliebiger Länge abschnittsweise verarbeiten. Du musst dich überhaupt nicht mehr mit der Frage „Wie generiere ich zehn Minuten?“ befassen, weil das Filmmaterial bereits existiert.
RealMaster (Meta / Universität Tel Aviv)
RealMaster ist ein Forschungssystem, das speziell für diesen Workflow entwickelt wurde. Es wurde im März 2026 von Meta Reality Labs und der Universität Tel Aviv veröffentlicht und wandelt gerenderte 3D-Videos in fotorealistische Videos um, wobei die vollständige geometrische Übereinstimmung mit dem Ausgangsmaterial erhalten bleibt.
Die Methode extrahiert Kantenkarten aus dem 3D-Render, um Struktur und Bewegung zu bewahren. Anschließend transformiert ein Video-Diffusionsmodell auf Grundlage der VACE/Wan-Architektur alle übrigen Elemente in eine fotorealistische Ausgabe. Ein leichtgewichtiger IC-LoRA-Adapter destilliert die Pipeline in einen einzigen Inferenzdurchlauf, der keine Ankerbilder benötigt und auch Objekte verarbeitet, die mitten in der Sequenz erscheinen.
In Tests mit Sequenzen aus GTA-V und dem CARLA-Simulator übertrifft RealMaster universelle Basisverfahren zur Videobearbeitung deutlich. Über den Text-Prompt lassen sich außerdem Wettereffekte wie „Lass es regnen“ oder „Lass es schneien“ zusätzlich zur Realismustransformation anwenden. Das Modell lässt sich ohne erneutes Training auf verschiedene Simulatoren übertragen. Mit GTA-V-Daten trainierte Gewichte funktionieren ohne zusätzliche Feinabstimmung auch mit Ausgaben aus CARLA.
Verfügbarkeit: Nur für Forschungszwecke. Noch keine öffentlichen Gewichte und keine API.
| Spezifikation | Wert |
|---|---|
| Eingabe | Gerendertes 3D-Video (beliebige Engine) |
| Ausgabe | Fotorealistisches Video unter Beibehaltung von Geometrie und Bewegung |
| Architektur | IC-LoRA auf einem VACE/Wan-Video-Diffusions-Backbone |
| Konditionierung | Kantenkarten aus dem Ausgangsrender |
| Getestet mit | GTA-V, CARLA-Simulator |
| Lizenz | Nicht veröffentlicht (nur Forschungsarbeit) |
Heute verfügbare V2V-Werkzeuge für die Produktion
Kling 3.0 V2V mit Elementreferenzen ist die vollständigste Option für den Produktionseinsatz. Die Endpunkte Edit Video und Reference V2V auf fal.ai akzeptieren drei- bis zehnsekündige Ausgangsvideoclips zusammen mit Elementreferenzen (@Element1, @Element2 mit Frontal- und Mehrwinkelaufnahmen) und einem Optimierungs-Prompt. Das Modell analysiert die Bewegungsverläufe und Kameramuster im Ausgangsmaterial und generiert es anschließend mit dem von dir vorgegebenen Aussehen der Figuren und dem gewünschten visuellen Stil neu. Dabei bleiben die ursprüngliche Inszenierung und Kameraführung erhalten. Bis zu sieben Referenzeingaben. Ausgabe in 1080p. Verarbeite deine Zwischensequenz in Abschnitten von 10–15 Sekunden und verwende über alle Abschnitte hinweg dieselben Elementreferenzen, um die Figurenkonsistenz zu wahren.
Lucy Restyle 2 verarbeitet in einem einzigen API-Aufruf bis zu 30 Minuten Ausgangsvideo für 0,01 $ pro Eingabesekunde. Es akzeptiert einen Text-Prompt und ein optionales Referenzbild zur Stilsteuerung. Es gibt keine separaten Elementreferenzen pro Figur wie bei Kling, doch für die allgemeine filmische Stilübertragung auf ein vollständiges 3D-Rendering ist es der einfachste und günstigste Weg. Übergib dein vollständiges Rendering zusammen mit einem Prompt, der die gewünschte Ästhetik beschreibt. Die Ausgabe erfolgt in 720p mit zeitlicher Konsistenz über Tausende Einzelbilder hinweg.
Wan 2.1 VACE in ComfyUI ist die Open-Source-Option. Das 14B-VACE-Modell ermöglicht referenzgesteuertes V2V: Du gibst ein Ausgangsvideo und ein Stilreferenzbild ein und erhältst eine neu gestaltete Version, die Struktur und Bewegung bewahrt. Die Konditionierung mit Kantenkarten verbessert die Strukturtreue. Du kannst eine Verarbeitungsschleife erstellen, die Material beliebiger Länge abschnittsweise mit konsistenten Stilreferenzen verarbeitet. Kostenlos und lokal auf deiner eigenen Hardware ausführbar.
Grok Imagine V2V akzeptiert im Referenzmodus ein Ausgangsvideo sowie 1–7 Referenzbilder. 0,05 $ pro Sekunde bei 720p. Durch die explizite Trennung zwischen Referenzmodus und Erstes-Einzelbild-Modus steuern deine Referenzen das Aussehen der Figuren, ohne die Struktur des Ausgangsvideos zu überschreiben.
Anforderungen an dein 3D-Rendering
Die Mindestqualität des Renderings spielt eine Rolle. Ein bloßes Drahtgitter bietet dem V2V-Modell nicht genügend Informationen. Du brauchst jedoch auch keine produktionsreifen Materialien oder Beleuchtung.
Korrekte Proportionen und Geometrie. Figurenmodelle benötigen annähernd korrekte Körperproportionen und Gesichtsstrukturen, damit die Referenzbilder richtig zugeordnet werden können. Eine einfache humanoide Geometrie mit korrekten Proportionen reicht aus. Eine Strichfigur ergibt keine wiedererkennbare Figur.
Grundlegende Lichtrichtung. Eine einzelne gerichtete Lichtquelle, die die allgemeine Beleuchtung der Szene festlegt, hilft dem Modell, die beabsichtigte Stimmung zu verstehen. Die KI verbessert die Beleuchtung und ergänzt Details, muss aber erkennen können, ob die Szene helles Tageslicht oder einen dunklen Innenraum zeigt.
Gleichmäßige Kamerabewegung. Stabile, gezielte Kamerabewegungen lassen sich gut übertragen. Unruhige oder extrem schnelle Bewegungen können V2V-Modelle verwirren. Deine virtuelle Kamera sollte sich so verhalten, wie es eine echte Kamera tun würde.
Flache Schattierung statt Drahtgitter. Einfache flach schattierte oder Low-Poly-Geometrie liefert bessere Ergebnisse als Drahtgitter oder untexturierte Modelle. Selbst einfache Vollfarben auf Oberflächen helfen dem Modell, Materialgrenzen zu erkennen.
Kosten und Skalierung
Verarbeitung einer zehnminütigen Zwischensequenz mit verschiedenen Werkzeugen:
| Werkzeug | Maximale Eingabelänge | Kosten für 10 Min. | Auflösung | Referenzbilder |
|---|---|---|---|---|
| Kling O3 V2V | 10-Sek.-Clips | ~50–67 $ | 1080p | Bis zu 7 (Elemente + Stil) |
| Lucy Restyle 2 | 30 Minuten | 6 $ | 720p | 1 (nur Stil) |
| Grok Imagine V2V | 10-Sek.-Clips | ~30 $ | 720p | 1–7 |
| Wan 2.1 VACE | Beliebig (abschnittsweise) | Kostenlos (lokale GPU) | 720p | 1 pro Abschnitt |
Lucy Restyle ist für die Verarbeitung in voller Länge am günstigsten. Kling bietet mit Elementreferenzen die höchste Präzision bei der figurenspezifischen Optimierung. Wan 2.1 ist kostenlos, wenn du über die nötige Hardware verfügst. Für das 14B-Modell bei 720p sind etwa 60 GB VRAM erforderlich, für die 1.3B-Variante mit geringerer Qualität 8 GB.
Vergleichstabelle
| Modell | Maximale native Dauer | Erweiterte Dauer | Referenztyp | Max. Referenzen | Auflösung | API verfügbar | Open Source |
|---|---|---|---|---|---|---|---|
| LongCat Video | ~15 Min. | N/V | Nur erstes Einzelbild | 1 | 720p/30fps | Ja (fal.ai) | Ja (MIT) |
| Seaweed APT2 | ~5 Min. | N/V | I2V + Pose | 1 | 720p | Nein | Nein |
| Helios | Minutenbereich | N/V | Erstes Einzelbild (I2V) | 1 | 720p | HF Spaces | Ja (Apache 2.0) |
| SkyReels V3 | Unbegrenzt | N/V | Echte Referenz | 1–4 | 720p | Nein | Ja |
| Kling 3.0 | 15 Sek. | ~3 Min. | Elemente + Stilreferenzen | 7 | 1080p | Ja | Nein |
| Grok Imagine | 15 Sek. | Verkettbar | Echte Referenz | 7 | 720p | Ja | Nein |
| Seedance 2.0 | 15 Sek. | N/V | Multimodale Referenzen | 12 | 2K | Ja | Nein |
| Runway Gen-4.5 | 10 Sek. | ~1 Min. | I2V (0–1) | 1 | 1080p | Ja | Nein |
| Veo 3.1 | 8 Sek. | ~2,5 Min. | Ingredients (Stil) | 3 | 4K | Ja | Nein |
| Gemini Omni Flash | 10 Sek. | Dialogbasierte Bearbeitungen | Multimodale Referenzen | Bilder + Video | 720p | Ja (Vorschau) | Nein |
| Sora 2 Pro ⚠️ wird eingestellt | 20 Sek. | Verkettbar | Figuren-ID (Video) | 2 | 1080p | API wird im Sep. 2026 eingestellt | Nein |
| Hailuo 02 | 10 Sek. | N/V | I2V (erstes Einzelbild) | 1 | 1080p | Ja | Nein |
| Luma Ray3.2 | 20 Sek. | N/V | Keyframes + Figurenreferenz | 16 Keyframes | 1080p (4K-Upscaling) | Ja | Nein |
| Pika 2.5 | 10 Sek. | 25 Sek. | Pikascenes | 10 | 1080p | Ja | Nein |
| Wan 2.1 | Kurze Clips | Über Fortsetzung | I2V / FLF2V | 1–2 | 720p | Über fal.ai | Ja (Apache 2.0) |
| HunyuanVideo | Kurze Clips | Über Fortsetzung | I2V (erstes Einzelbild) | 1 | 720p | Über fal.ai | Ja |
| LTX-2.3 | 20 Sek. | Über Fortsetzung | I2V + Keyframes | Mehrere Keyframes | 4K | Ja (LTX, fal.ai) | Gewichte (ARR-begrenzt) |
| CogVideoX | 6–10 Sek. | Über Fortsetzung | I2V (erstes Einzelbild) | 1 | 720x480 | Über fal.ai | Ja |
Was als Nächstes kommt
Die Entwicklung bis 2026 ist eindeutig. LongCat Video hat bewiesen, dass ein offenes Modell minutenlange Videos konsistent generieren kann. Helios zeigte, dass dies in Echtzeit möglich ist. Seaweed APT2 demonstrierte die interaktive Generierung längerer Videos. Und die Modelle mit echter Referenzunterstützung (Kling, Grok, Seedance) bewiesen, dass die Identität von Figuren über beliebige Szenen hinweg erhalten bleiben kann.
Der nächste Schritt besteht darin, diese Fähigkeiten zu kombinieren: native Langform-Generierung mit echter Unterstützung für Figurenreferenzen. Derzeit muss man sich für das eine oder das andere entscheiden. Sobald ein Modell fünf Minuten Video generieren und dabei Figuren aus Referenzbildern über Dutzende Szenenwechsel hinweg konsistent halten kann, wird der Workflow mit verketteten Clips überflüssig. Die angekündigten Spezifikationen von Seedance 2.5 (native 30-Sekunden-Clips, bis zu 50 Referenzdateien, API-Start am 16. Juli 2026) sind der erste echte Schritt in diese Richtung.
Mitte Juli 2026 wird die Text-zu-Video-Arena von Artificial Analysis (mit Audio) von Googles Gemini Omni Flash (~1.240 Elo) angeführt, gefolgt von Seedance 2.0, Alibabas ausschließlich per API verfügbarem Wan 2.7 und den HappyHorse-Modellen. Dicht dahinter liegen Varianten von Kling 3.0, SkyReels V4 und Veo 3.1. Die Rangliste verändert sich häufig, daher sollte jede einzelne Platzierung als Momentaufnahme und nicht als feste Reihenfolge betrachtet werden.
Der Ansatz mit einem 3D-Grundgerüst bietet eine parallele Entwicklungsperspektive. Je besser V2V-Modelle Strukturen bewahren und fotorealistische Ergebnisse erzeugen, desto praktikabler wird die Aufwertung einfacher 3D-Renderings für vollständige Produktionen. RealMaster von Meta erzielt bereits Ergebnisse auf Forschungsniveau bei der Sim-to-Real-Transformation von Ausgaben aus Spiele-Engines. Sobald diese Fähigkeit über produktionsreife APIs mit Referenzbildunterstützung verfügbar ist, kann jeder mit grundlegenden 3D-Kenntnissen fotorealistische Langform-Videos beliebiger Länge produzieren – mit vollständiger Kontrolle über Kamera, Inszenierung und Platzierung der Figuren.
Derzeit hängt die praktische Antwort vom jeweiligen Anwendungsfall ab:
Am besten für Referenzen mit mehreren Figuren: Kling 3.0 (bis zu 7 Referenzen mit getrenntem Element- und Stilsystem) oder Seedance 2.0 (bis zu 12 multimodale Eingaben, ansteigend auf 50, wenn die Seedance-2.5-API am 16. Juli 2026 startet).
Beste API für Referenz-zu-Video: Grok Imagine (übersichtliche API, expliziter Referenzmodus, 0,05 $/Sek.) oder Kling über fal.ai (0,084–0,112 $/Sek.).
Am besten für konsistente Figuren über viele Clips hinweg: Die Elementreferenzen von Kling 3.0 oder die Referenz-und-Erweitern-Funktion von SkyReels V3. (Das Figuren-ID-System von Sora 2 Pro war der eleganteste Ansatz, wird jedoch 2026 eingestellt. Beginne daher keine neuen Projekte damit.)
Beste Open-Source-Lösung: SkyReels V3 (1–4 echte Referenzbilder, unbegrenzte Länge) oder Helios (Echtzeit, Apache 2.0).
Am besten für maximale Dauer: LongCat Video (~15 Min., aber nur mit erstem Einzelbild).
Am besten zur Aufwertung von 3D-Renderings: Kling 3.0 V2V (Elementreferenzen pro Figur, 1080p) oder Lucy Restyle 2 (30 Min. Eingabelänge, 0,01 $/Sek.).
Häufige Fragen
Welches KI-Videomodell eignet sich am besten für lange Videos?
Für die reine Dauer generiert LongCat Video nativ etwa 15 Minuten, arbeitet jedoch nur mit dem ersten Einzelbild. Für lange Videos mit konsistenten Figuren ist 2026 ein Referenz-und-Erweitern-Workflow die praktischste Lösung: Generiere Clips mit einem Modell, das Referenzen zuverlässig unterstützt (Kling 3.0, Runway Gen-4.5 oder das quelloffene SkyReels V3), und verkette sie anschließend. Kein einzelnes Modell erzeugt zugleich lange Videos und bewahrt die Figurenidentität perfekt, weshalb die meisten Produktions-Workflows mehrere Modelle kombinieren.
Welche KI-Videomodelle unterstützen Referenzbilder?
Unter den kommerziellen Optionen unterstützen Kling 3.0 Omni, Runway Gen-4.5, Seedance 2.0, Google Veo 3.1 und Gemini Omni Flash Referenzbilder. Bei den Open-Source-Modellen akzeptieren SkyReels V2/V3, Wan 2.1 und LTX-2 Referenzeingaben und können selbst betrieben werden. Die Qualität der Unterstützung variiert stark, weshalb der obige Leitfaden die Modelle in Kategorien einteilt.
Kann KI eine konsistente Figur über ein langes Video hinweg generieren?
Ja, aber nicht in einem einzigen Durchgang. Der zuverlässige Ansatz besteht darin, eine Figur mit einem oder mehreren Referenzbildern festzulegen, kurze Clips zu generieren und diese zu erweitern oder zusammenzufügen, wobei dieselben Referenzen erneut eingespeist werden. Echte Referenzunterstützung – bei der das Modell die Identität über neue Generierungen hinweg bewahrt – ist hier wesentlich wichtiger als die Konditionierung mit dem ersten Einzelbild, die lediglich das Anfangsbild vorgibt.
Was ist der Unterschied zwischen der Unterstützung eines ersten Einzelbilds und echter Referenzbildunterstützung?
Bei der Konditionierung mit dem ersten Einzelbild wird dein Bild als tatsächliches Anfangsbild des Clips verwendet, danach weicht das Ergebnis im weiteren Verlauf zunehmend davon ab. Bei echter Referenzunterstützung behandelt das Modell das Bild als Identitätsanker, den es während der gesamten Generierung berücksichtigt. Dadurch bleiben eine Figur oder ein Stil sowohl über den gesamten Clip als auch über separate Clips hinweg konsistent. Der obige Abschnitt zeigt, welche Modelle welchen Ansatz verwenden.
Verwandte Inhalte
- Führende generative Open-Source-KI-Modelle — praxisnaher Leitfaden zu generativer Open-Source-KI für Video, Bilder, 3D, Audio und mehr
- KI-Asset-Generatoren für Spiele — Grafiken, Modelle und Audio aus einem Prompt
- Die besten KI-Musikgeneratoren für Spiele — generierte Musik für dein Spiel
- Videogenerator — unser von Kling 3.0 Pro unterstütztes Tool zur Videogenerierung
Überspringe die Render-Warteschlange und fahre direkt live hindurch.