Meine ersten Erfahrungen mit Video-KI: Was funktioniert – und was nicht

Für meine ersten eigenen Versuche mit Video-KI habe ich mir einen Higgsfield-Ultra-Account für einen Monat eingerichtet. Ich wollte nicht nur ein paar spektakuläre Beispiele ansehen, sondern selbst herausfinden, wie weit Video-KI inzwischen wirklich ist: Was gelingt auf Anhieb? Was kostet mehrere Versuche? Wie wichtig sind die verschiedenen Modelle? Und wie viel Kontrolle bleibt übrig, wenn aus einem Prompt plötzlich bewegte Bilder werden?

Mein Ziel war dabei von Anfang an konkret: Ich wollte Reels für den Instagram-Account von Operus produzieren. Dort veröffentliche ich auch die meisten Ergebnisse, die aus diesen Versuchen entstehen. Die Reels sind damit nicht nur Testmaterial, sondern der sichtbare Abschluss eines praktischen Produktionsprozesses – einschließlich der gelungenen Ideen, der notwendigen Korrekturen und gelegentlich auch eines Fehlers, aus dem sich etwas lernen lässt.

Ich habe Higgsfield über das MCP mit Codex verbunden. Dadurch entstand ein ungewöhnlicher Arbeitsablauf. Aus einer Idee wurden gemeinsam ein Konzept, Referenzbilder, ein strukturierter Prompt und schließlich ein Video. Danach wurde nicht nur die Vorschau angesehen. Die fertige Datei wurde gespeichert, in normaler Geschwindigkeit abgespielt und bei wichtigen Produktionen zusätzlich über alle Frames kontrolliert.

Das Higgsfield MCP ist dabei nicht an Codex gebunden. Derselbe Ansatz lässt sich beispielsweise auch mit Claude nutzen. Ich habe mich bewusst für Codex entschieden, weil die integrierte Bildgenerierung mit ImageGen Ergebnisse liefert, die mir deutlich besser gefallen. Startbilder und visuelle Referenzen entstehen dadurch im selben Arbeitsablauf; ich muss dafür kein weiteres Bildgenerierungswerkzeug einsetzen.

Für den Schnitt und die weitere Zusammenstellung verwende ich Codex mit Remotion. So endet der Arbeitsablauf nicht bei der Generierung einzelner Clips: Szenen lassen sich gezielt kürzen, anordnen und zu einem fertigen Reel zusammensetzen. Das ist besonders hilfreich, wenn ein guter Abschnitt erhalten bleiben soll, obwohl nicht die gesamte Generierung verwendbar ist.

Damit der Ablauf reproduzierbar bleibt, habe ich Ablage, Versionsnamen und Endkontrolle in einer eigenen AGENTS.md festgehalten. Wie diese Prüfung konkret funktioniert und welche Schritte sich automatisieren lassen, zeige ich ausführlich in Teil 7.

Ein KI-Video kann beim ersten Ansehen großartig wirken und trotzdem für wenige Frames etwas zeigen, das dort nicht hingehört.

Erfahrung aus den ersten Produktionen

In der kurzen Zeit konnte ich nicht alle in Higgsfield verfügbaren Video-Modelle ausprobieren. Zum Beginn dieser Serie beziehe ich mich deshalb vor allem auf Seedance, Kling, Veo und Wan – also auf die Modelle, mit denen ich bereits erste praktische Erfahrungen gesammelt habe. Diese Auswahl ist weder vollständig noch als Rangliste gedacht. Zunächst geht es um eine Beobachtung, die sich durch fast alle Produktionen zieht: Das Modell kann erstaunlich viel, versteht die Geschichte aber nicht so, wie ich sie verstehe.

Von der Idee zum fertigen Clip

Bei meinen bisherigen Versuchen begann die Arbeit meistens mit einer kurzen Idee: Ein niedliches Alien soll beim Tanzen eine unerwartete Rückseite zeigen. Ein Frosch soll so tief quaken, dass die Szene fast vibriert. Ein Roboter soll eine Blume zum Leben erwecken. Oder ein Rapper soll vor einer Mannheimer Kulisse eine kurze Strophe vortragen.

• Was muss bereits im ersten Bild verständlich sein?
• Welche Figur, Kleidung oder Umgebung darf sich nicht verändern?
• Welche sichtbare Handlung trägt die Geschichte?
• Welcher Moment ist der Höhepunkt?
• Braucht das Modell nur ein Startbild oder auch Zwischen- und Endbilder?
• Welches Modell passt zur Aufgabe und wie viele Credits kostet der Versuch?
• Welche Fehler würden den Clip unbrauchbar machen?

Codex half mir dabei, aus der Idee eine überprüfbare Produktionsanweisung zu machen. Higgsfield stellte die Modelle und die Generierung bereit. Die kreative Entscheidung blieb trotzdem bei mir: Welcher Versuch wird gestartet, welcher Fehler ist akzeptabel und welches Ergebnis darf am Ende tatsächlich verwendet werden?

Ein Ergebnis, das funktioniert hat

Einer der gelungenen Versuche beginnt mit einem winzigen, harmlos wirkenden Alien. Es tanzt auf einem Holztisch, dreht sich und zeigt auf der Rückseite seines Kopfes ein riesiges Gebiss. Die Pointe funktioniert, weil das Video zunächst eine klare Erwartung aufbaut und sie anschließend sichtbar bricht.

Dieser Clip war für mich zunächst vor allem der Beweis, dass die Idee technisch funktionieren konnte. Als dauerhafte Figur war das Alien aber noch nicht fertig. Das riesige Gebiss auf der Rückseite war als einmalige Pointe lustig, auf Dauer jedoch zu absurd. Auch das dritte Auge habe ich bei späteren Fassungen entfernt. Mit zwei Augen wirkte die Figur deutlich putziger und sympathischer. Aus diesen Änderungen entstand nach und nach Fridolin.

Der Clip wurde mit Seedance 2.0 Mini erzeugt. Eine Generierung mit 15 Sekunden, Hochformat, hoher Bitrate und nativem Audio kostete 15 Credits. Besonders wichtig waren zwei vorbereitete Bilder: Das Startbild legte die niedliche Vorderseite fest, das Endbild definierte die Rückseite mit dem großen Gebiss.

Create a single continuous 15-second vertical Instagram Reel shot with strong character consistency and a clean comedic story. Use the supplied three-eyed alien image as the exact opening frame and character design. Use the supplied reverse-side giant-mouth image as the exact final reveal target. The creature remains tiny on the same wooden tabletop in the same warm blurred room, with identical pearlescent translucent pale-green skin, cyan light from camera-left, magenta rim light from camera-right, same macro lens, framing and shallow depth of field.\n\n0.0-1.5s HOOK: a distorted toothy shadow/reflection flickers briefly across the polished tabletop while the innocent three-eyed alien stands above it, then the shadow vanishes.\n\n1.5-5.5s CUTE DANCE: the alien hears a cheerful quirky beat and begins an awkward joyful dance, bouncing lightly, tapping its tiny feet, wiggling its mismatched arms and wobbling its oversized head; all three front eyes remain stable and expressive.\n\n5.5-8.0s BUILD: the dance becomes confident; it plants one foot, winds up, and begins one smooth energetic spin, with physically coherent limbs and no camera cut.\n\n8.0-10.5s REVEAL: during the turn, the three-eyed front rotates out of view and the opposite/back side of its head naturally reveals the enormous grinning mouth from the end reference, filled with multiple rows of long pointed ivory teeth; this is anatomy on the reverse side, not a morph and not a second creature. Hit a playful bass drop at the reveal.\n\n10.5-14.0s PUNCHLINE: still facing the camera with the toothy reverse side, it dances even more happily and rhythmically, bouncing and doing tiny side steps while the giant mouth grins and lightly chatters its teeth in time with the beat. The mood is absurd, joyful and surprising, not violent.\n\n14.0-15.0s END: settle clearly into the supplied end-image pose, holding the delighted giant grin for a satisfying final beat.\n\nNative audio: upbeat quirky electronic percussion, tiny rubbery foot taps, a tasteful comic whoosh during the spin, one bass-drop accent at the reveal, and light rhythmic tooth clicks; no speech.\n\nMaintain one creature, one continuous shot, stable background and consistent body throughout. No blood, no gore, no attack, no biting at camera, no drool, no extra eyes on the mouth side, no extra limbs, no duplicated creature, no body warping, no camera cuts, no text, no captions, no logos, no watermark.

Der Prompt beschreibt Handlung und Timing sehr genau. Entscheidend war aber nicht nur der Text. Das Modell bekam mit Start- und Endbild zwei starke visuelle Anker. Es musste das Aussehen der Figur und das Ziel der Enthüllung nicht vollständig selbst erfinden.

Ein fast gelungenes Ergebnis, das trotzdem durchfiel

Ein zweiter Clip verwendete dieselbe Figur, dasselbe Modell, dieselbe Länge und ebenfalls 15 Credits. Diesmal sollte das Alien niesen. Sein Kopf sollte sich wie ein Ballon aufblasen und die kleine Figur daran nach oben schweben. Auf den ersten Blick funktioniert das erstaunlich gut. Bei der Wiedergabe taucht jedoch kurz ein zusätzlicher Mund am Bauch auf – ein eindeutiger Anatomiefehler.

Create one continuous 15-second vertical Instagram Reel shot. Begin exactly from the supplied start image and preserve this exact tiny alien character, its pearlescent translucent pale-green skin, two large outer eyes, the adorably closed small middle eye, tiny round torso, delicate arms and legs, antennae, wooden tabletop, warm blurred room, cyan light from camera-left, magenta rim light from camera-right, macro lens and shallow depth of field. The creature must remain recognizable and cute throughout.\n\n0.0-2.5s HOOK: the alien simply stands close to camera and looks overwhelmingly adorable, with the small middle eye gently closed like a contented smile. It tilts its oversized head and gives a tiny shy wave. Keep the pose readable immediately and do not open the middle eye yet.\n\n2.5-4.5s BUILD: one floating dust mote drifts down and tickles the tip of its antenna. The antenna twitches. The two large eyes widen. The tiny body braces for a sneeze while the closed middle eye scrunches tighter.\n\n4.5-6.0s SURPRISE: it produces one tiny cute squeaky sneeze. On the sneeze, its huge translucent head rapidly but smoothly inflates like a soft transparent balloon, becoming even larger and rounder while remaining organic and retaining the same skin material and facial identity. This is playful elastic inflation, not an explosion and not body horror.\n\n6.0-11.5s PUNCHLINE: the buoyant inflated head gently lifts into the air. The tiny body stays attached beneath it and dangles safely above the tabletop, joyfully pedaling its little legs and waving its arms while slowly floating upward and sideways. The two large eyes show delighted surprise; the closed middle eye remains cute. The antenna bobs naturally. Camera makes a subtle smooth upward tilt to keep the entire creature visible.\n\n11.5-14.0s FINISH: the floating creature drifts toward the lens, softly taps the camera with the glowing antenna tip, and smiles with its eyes. Add a gentle rubbery bounce on contact.\n\n14.0-15.0s LOOP FEEL: with a quick soft deflation squeak, the head returns to its original proportions and the creature settles back toward the opening pose, ready for a satisfying repeat.\n\nNative audio: quiet whimsical plucked-electronic rhythm, soft room ambience, a tiny buildup inhale, one adorable high-pitched sneeze, a rubber-balloon inflation sound, airy floating whooshes, tiny happy squeaks, and a gentle boop on the lens; no speech.\n\nOne creature only, one uninterrupted shot, stable lighting and background. Preserve clean anatomy and consistent limbs. No giant mouth, no teeth, no horror, no popping explosion, no injury, no slime, no extra eyes, no duplicated creature, no detached body parts, no text, no subtitles, no logos, no watermark.

Trotz der ausdrücklichen Vorgaben entstand der zusätzliche Mund. Eine negative Anweisung ist keine Garantie. Bei starken Veränderungen – hier wachsen, schweben, gestikulieren und sich der Kamera nähern – kann die zuvor stabile Anatomie kurz neu interpretiert werden.

Beide Versuche kosteten gleich viel

Gleiches Modell und gleicher Preis führen nicht zu derselben Zuverlässigkeit. Der erste Clip besitzt mit dem Endbild ein klares Ziel. Beim zweiten muss das Modell mehrere starke Zustandsänderungen selbst lösen. Das zeigt, warum ich Referenzbilder inzwischen nicht als Dekoration des Prompts betrachte: Sie sind ein Teil der eigentlichen Regie.

Was nach den ersten Versuchen bereits klar ist

Meine bisherigen Produktionen reichen noch nicht für eine endgültige Rangliste der Modelle. Seedance 2.0 Mini habe ich wesentlich häufiger eingesetzt als Kling, Veo, Wan oder die teureren Varianten. Der Grund war schlicht der Preis: Seedance 2.0 Mini war vergleichsweise günstig und lieferte zugleich fantastische Ergebnisse. Ein fairer Vergleich braucht später dieselbe Aufgabe, dieselben Bilder und möglichst ähnliche Einstellungen.

Außerdem ist das bisher nur ein Ausschnitt. In Higgsfield stehen deutlich mehr Video-Modelle und Modellvarianten zur Verfügung, als ich während meiner ersten Versuche sinnvoll ausprobieren konnte. Sie alle mit vergleichbaren Aufgaben, mehreren Varianten und einer vollständigen Qualitätskontrolle zu testen, würde nicht nur Zeit kosten, sondern auch eine erhebliche Menge weiterer Credits. Diese Serie ist deshalb keine vollständige Marktübersicht. Sie dokumentiert die Modelle, die ich tatsächlich eingesetzt habe, und erweitert den Vergleich, wenn neue belastbare Versuche hinzukommen.

• Ein klar erkennbares Ausgangsbild ist oft wertvoller als ein weiterer Absatz im Prompt.
• Ein Endbild kann dem Modell helfen, eine Pointe oder Transformation tatsächlich zu erreichen.
• Kurze, sichtbare Handlungen funktionieren zuverlässiger als viele Zustandswechsel in einem einzigen Clip.
• Negative Anweisungen verhindern Anatomiefehler nicht zuverlässig.
• Teurer bedeutet nicht automatisch passender.
• Native Sprache und Musik können erstaunlich gut sein, benötigen aber eine menschliche Hörkontrolle.
• Der gespeicherte Export muss vollständig angesehen werden; eine Vorschau oder ein schönes Einzelbild reicht nicht.

Warum daraus eine Serie wird

Video-KI ist momentan weder bloß ein Spielzeug noch bereits eine verlässliche Kamera. Mit guten Bildern und einer begrenzten Handlung kann sie in wenigen Minuten Szenen erzeugen, die ich auf herkömmlichem Weg kaum produzieren könnte. Gleichzeitig können einzelne Frames, eine falsche Aussprache oder eine ignorierte Bewegungsanweisung das Ergebnis unbrauchbar machen.

In den nächsten Teilen geht es um die unterschiedlichen Modelle, den Wert guter Referenzbilder, typische Missverständnisse, Kosten, Nachbearbeitung und die vollständige Endkontrolle. Im nächsten Teil geht es deshalb nicht um ein pauschales Ranking, sondern um vier unterschiedliche Aufgaben – und darum, welches Modell jeweils besser oder schlechter dazu passte.

Seedance, Kling, Veo und Wan – wie sich Video-KI-Modelle sinnvoll vergleichen lassen.