PROJEKTEINBLICK ·
KI-Videos mit Referenzbildern: Warum Bilder oft mehr helfen als längere Prompts
Zwei gleich teure Seedance-Produktionen zeigen, was Referenzbilder wirklich leisten – und warum mehrere Keyframes noch keine verlässliche Regie ergeben.
Im ersten Teil dieser Serie hatte sich bereits eine klare Tendenz gezeigt: Ein guter Prompt hilft, aber ein gutes Referenzbild nimmt dem Modell viele Entscheidungen ab. Es definiert Gesicht, Kleidung, Licht, Perspektive und Bildaufbau gleichzeitig. Was im Text viele Absätze benötigt, kann in einem einzigen Bild sofort sichtbar werden.
Das bedeutet allerdings nicht, dass mehr Referenzbilder automatisch ein besseres Video ergeben. Zwei Produktionen mit Seedance 2.0 Mini zeigen den Unterschied besonders deutlich. Beide Videos sind zwölf Sekunden lang, wurden mit 720 × 1280 Pixeln und nativem Ton erzeugt und kosteten jeweils zwölf Credits. Die Exo-Rüstung bestand die vollständige Endkontrolle. Der Cyberpunk-Breakdance verfehlte dagegen ausgerechnet seine zentrale Handlung.
Referenzbilder zeigen dem Modell sehr gut, wie bestimmte Zustände aussehen sollen. Sie garantieren aber nicht, dass es den Weg zwischen diesen Zuständen genauso versteht wie wir.
Was ein Referenzbild tatsächlich festlegt
Bei meinen bisherigen Produktionen haben sich drei Aufgaben für Referenzbilder bewährt:
- Das Startbild bestimmt Figur, Umgebung, Licht und Ausgangskomposition.
- Eine Zwischenreferenz zeigt eine wichtige Veränderung oder einen visuellen Zustand, der im Video vorkommen soll.
- Das Endbild definiert, worauf die Szene sichtbar hinauslaufen soll.
Diese Aufteilung funktioniert besonders gut, wenn die Figur am selben Ort bleibt und sich vor allem ihr Zustand verändert. Schwieriger wird es, wenn gleichzeitig die Kamera stoppen und wieder losfahren, die Figur weiterlaufen, ein exakt getimter Musikeinsatz erfolgen und anschließend noch eine komplexe Bewegung beginnen soll. Dann sind die Bilder zwar weiterhin nützlich, aber sie bilden keinen verbindlichen Schnitt- oder Zeitplan.
Drei klare Zustände: die Exo-Rüstung
Für die Exo-Rüstung erhielt Seedance drei Bilder mit eindeutig unterschiedlichen Aufgaben: Ausgangszustand, sichtbare Montage der Rüstung und vollständig geschlossener Anzug. Die Figur blieb im selben Labor und ungefähr in derselben zentralen Position. Das Modell musste deshalb keine neue Szene erfinden, sondern einen nachvollziehbaren Übergang zwischen drei klaren Zuständen erzeugen.
Transkript
Eine erwachsene blonde Heldin steht in einem kreisförmigen futuristischen Labor. Schwarze und gunmetallfarbene Rüstungsteile schweben um sie, bewegen sich durch den Raum und verriegeln sich nacheinander an Beinen, Armen, Torso und Kopf. Zum Abschluss schließt sich der Helm, das grüne Visier leuchtet auf und die Kamera zeigt den fertigen Exo-Anzug. Zu hören sind metallische Bewegungen, Verriegelungen, elektrische Energie und ein tiefer Bassimpuls; es gibt keine Sprache.
Der Prompt war ausführlich. Entscheidend war aber gleich der erste Absatz: Das erste Bild definiert den Anfang, das zweite die Montage und das dritte den exakten Endzustand. Damit bekam jedes Bild eine Rolle. Der restliche Prompt beschrieb vor allem Bewegung, Reihenfolge, Kamera und Ton.
Die Generierung gelang im ersten Versuch. Rüstungsteile bewegen sich sichtbar durch den Raum, richten sich aus und schließen sich schrittweise um Beine, Arme, Torso und Kopf. Gesicht, Körper, Rüstung und Labor blieben in der anschließenden Kontrolle über alle 289 Frames visuell kohärent. Das grüne Visier lieferte einen klaren Höhepunkt, und der letzte Hero-Shot ließ genügend Zeit, den fertigen Anzug zu erkennen.
Create a single polished 12-second vertical science-fiction transformation shot using the supplied images as strict continuity references. The first image defines the opening state, the second image defines the armor-assembly appearance, and the third image defines the exact completed end state.
The clearly adult blonde heroine remains centered in the same circular futuristic laboratory with the same face, proportions, hair, stance, open hands, lighting, and black base garment. Do not redesign her or change the environment.
Camera choreography: begin with a dramatic slightly low three-quarter view. The camera performs a smooth clockwise orbital move around the character, approximately 120 degrees total, with strong foreground parallax. Use brief cinematic push-ins for close details while preserving spatial continuity: first the shin and forearm mechanisms, then the torso and shoulders, then the face and helmet. Large armor plates occasionally sweep close across the lens to create natural occlusion transitions between the wider orbit and close-ups. The camera must never shake wildly or reverse direction.
Transformation: numerous black and gunmetal armor parts fly in from mechanical bays around the laboratory, curve into controlled spiraling paths around the woman, decelerate, precisely align, and lock onto her body. Build in a clear sequence: lower legs and forearms, hips and torso, shoulders and upper arms, then helmet. Every component is mechanically plausible and matches the final reference design. Pieces must travel visibly through space before attaching; they must not simply dissolve or materialize. Hair and fabric react subtly to displaced air. The woman stays calm and almost still, with one small confident finger movement.
Close-up climax: move close to her face as side helmet segments fold around her head. The faceplate closes in two clean mechanical stages. The visor is dark for a beat, then lights acid green with a sharp activation pulse.
Final two seconds: pull back smoothly into the same low heroic three-quarter composition as the end reference. The completed armor is fully sealed, symmetrical, stable, and motionless. Remaining green energy filaments and particles fade as a circular pressure wave clears the air. Hold long enough for the finished suit to read clearly.
Native audio: no dialogue. Cinematic mechanical sound design synchronized precisely to the visuals—fast metallic air whooshes as plates pass, heavy magnetic clacks at every lock, small servo movements, restrained electric crackle from green energy, rising low synthetic tension, then one deep clean bass impact when the visor illuminates. Finish with a quiet powered hum.
Avoid: body morphing, face changes, hairstyle changes, camera teleportation, random cuts, backward camera motion, duplicated parts, extra limbs or fingers, broken armor geometry, floating pieces remaining in the final frame, weapons, text, captions, logos, watermarks, interface elements, or play icons.Warum funktionierte diese Aufgabe so gut? Die Veränderung war groß, aber ihre Logik blieb einfach: dieselbe Figur, derselbe Ort, ein klarer Aufbau und ein eindeutiges Ziel. Kamera und Rüstung bewegten sich, während die Heldin fast stillstand. Die Referenzen reduzierten den visuellen Spielraum genau an den richtigen Stellen.
Mehr Keyframes, aber keine verlässliche Choreografie
Der Cyberpunk-Clip bekam mehrere sorgfältig vorbereitete Keyframes. Sie zeigten den Mann beim Gehen, die Annäherung an die Kamera, das Close-up und den geplanten Breakdance-Freeze. Gesicht, Kleidung, Straße und Beleuchtung waren konsistent. Auf dem Papier war diese Vorbereitung sogar genauer als bei der Exo-Rüstung.
Transkript
Ein Mann in einem schwarzen technischen Mantel läuft durch eine regennasse, neonbeleuchtete Cyberpunk-Straße direkt auf die Kamera zu. Passanten, Dampf und ein Shuttle beleben den Hintergrund. Anders als geplant stoppt die Kamera nicht deutlich, es folgt kein Close-up mit Rückfahrt und der Mann beginnt keinen Breakdance. Er läuft bis zum Ende weiter. Zu hören sind Regen, Schritte und futuristische Stadtgeräusche; es gibt keine Sprache.
Das Ergebnis sieht zunächst hochwertig aus. Die Figur bleibt erkennbar, die regennasse Straße lebt und die Bildstimmung passt zu den Vorlagen. Inhaltlich scheiterte der Clip jedoch. Die Kamera stoppte nicht klar, es entstand kein geplantes Close-up mit anschließender Rückfahrt und der Mann begann nicht zu tanzen. Im letzten Frame läuft er weiterhin auf die Kamera zu. Das vorgegebene Endbild wurde nicht erreicht, deshalb bestand die Fassung die Endkontrolle nicht und wurde nicht veröffentlicht.
Create one continuous 12-second vertical 9:16 cinematic shot using all five supplied images as ordered visual keyframes and strict continuity references. Preserve the exact same man's identity, face, silver hair streak, eyebrow scar, body proportions, black asymmetric technical trench coat, three chest buckles, reflective piping, ribbed shoulders, black shirt, cargo trousers, boots and right-index-finger ring throughout. Preserve the exact cyberpunk street architecture, wet surfaces, cyan light from camera-left, magenta light from camera-right and warm amber depth lights. No cuts, no teleporting, no morphing and no wardrobe changes.
TIMELINE AND CAMERA:
0.0-1.5s: Start immediately with the man already walking directly toward camera. Strong hook. The stabilized camera dollies backward on the same central axis at exactly his walking speed, keeping his apparent full-body size nearly constant. Natural heel-to-toe steps and realistic coat movement.
1.5-4.5s: Continue the smooth backward tracking shot. The camera gradually decelerates while remaining level, centered and facing him. Do not zoom and do not orbit.
4.5s: The camera reaches a complete physical stop and locks in place.
4.5-7.0s: The man continues walking toward the now-stationary camera for several steps, naturally growing from medium-full framing into a tight chest-and-head close-up. He stops very close to lens, lowers his chin slightly and holds intense eye contact.
7.0s: A powerful futuristic electronic beat drops exactly here.
7.0-8.2s: On the beat, the camera rapidly but smoothly dollies backward and lowers slightly, without cutting, revealing his full body and enough pavement for movement.
8.2-12.0s: The same man unexpectedly performs skilled, physically plausible breakdance: a compact entry, controlled footwork, then a clean one-handed freeze matching the final reference image. His supporting wrist, fingers, shoulders, hips and legs remain anatomically correct. Coat tails follow inertia naturally and kick small droplets from the wet pavement. End on the stable freeze for a satisfying final beat.
LIVING CITY:
A small dark streamlined shuttle follows one continuous readable flight path from camera-left to camera-right behind him over the full shot, with subtle cyan propulsion; it never covers his head or body. Pedestrians walk naturally in both directions at street level, including two people with dark transparent umbrellas. Silhouettes move across the elevated walkway. Steam continuously curls upward from camera-left. Rain falls, footsteps disturb puddles, reflections shimmer, and nearby pedestrians briefly react to the breakdance while continuing their paths. Keep background motion subtle enough that the man remains the unmistakable focus.
AUDIO:
Begin with rain, distant city ambience, soft shuttle pass-by and footsteps. No music at first. At exactly 7.0 seconds introduce a clean, hard-hitting futuristic breakbeat with deep kick, crisp snare and restrained electronic bass, synchronized to the camera pullback and dance entry. No speech and no vocals.
STYLE AND QUALITY:
Premium photorealistic cyberpunk cinema, crisp face and textile micro-detail, realistic skin, physically coherent rain and reflections, controlled motion blur only in fast coat edges and water droplets. Phone-readable composition with safe margins.
AVOID:
Any cut, zoom-only reframing, side orbit, camera shake, frozen background, duplicated pedestrians, identity drift, altered facial features, changed silver streak or scar, changed buckle count, added accessories, hood, glasses, gloves, weapons, body distortion, extra or missing fingers, broken wrist, fused limbs, floating body, coat turning into a cape, shuttle size changes, shuttle crossing the subject, text, captions, logos, brands or watermarks.Der Prompt ist nicht zu kurz und die Referenzen sind nicht schlecht. Die Aufgabe koppelt aber sehr viele Veränderungen aneinander: rückwärts fahrende Kamera, genaue Abbremsung, vollständiger Stopp, weiterlaufende Figur, Close-up, Blickkontakt, exakt gesetzter Beat, schnelle Rückfahrt, neue Kadrierung, anatomisch anspruchsvoller Tanz und ein bestimmtes Endbild. Gleichzeitig sollten Shuttle, Passanten, Regen, Dampf und Ton weiterlaufen.
Das Modell löste den Anfang und blieb dann bei der etablierten Bewegung. Die Keyframes beschrieben zwar, wie spätere Momente aussehen sollten, sie zwangen Seedance aber nicht, die dafür notwendigen Regieentscheidungen in der richtigen Reihenfolge auszuführen.
Gleicher Preis, völlig unterschiedliches Ergebnis
| Produktion | Referenzlogik | Bewegungsaufgabe | Ergebnis |
|---|---|---|---|
| Exo-Rüstung | Anfang, Montage, fertiger Anzug | Eine Figur bleibt zentral, ihr Zustand verändert sich | Im ersten Versuch freigegeben |
| Cyberpunk-Breakdance | Mehrere aufeinanderfolgende Keyframes | Figur und Kamera wechseln mehrfach Bewegung, Abstand und Rhythmus | Nicht freigegeben |
Der Vergleich ist aufschlussreicher als eine reine Modellbewertung. Seedance 2.0 Mini war in beiden Fällen günstig und lieferte visuell starke Bilder. Beim ersten Clip passte die Aufgabe zu der Art, wie das Modell die Referenzen interpretierte. Beim zweiten Clip reichte dieselbe Modellstärke nicht aus, weil die Wirkung von einer präzisen zeitlichen Choreografie abhing.
Was ich daraus für neue Produktionen mitnehme
- Jedes Referenzbild bekommt eine eindeutige Aufgabe. Start, Zwischenzustand und Ende sind hilfreicher als mehrere Bilder ohne klare Rolle.
- Ein Clip sollte möglichst nur eine große Veränderung tragen. Wenn Kamera, Figur, Umgebung und Ton gleichzeitig Wendepunkte haben, steigt das Risiko deutlich.
- Der Prompt erklärt die Bilder, er ersetzt sie nicht. Wichtige Gestaltungselemente zeige ich möglichst als Referenz, statt sie nur ausführlich zu beschreiben.
- Keyframes sind keine Zeitleiste mit Garantie. Sekundenangaben können helfen, werden aber nicht wie Anweisungen in einem Schnittprogramm ausgeführt.
- Das Endbild muss im Video wirklich erreicht werden. Ein schöner Clip fällt trotzdem durch, wenn die zentrale Pointe oder der geplante Zielzustand fehlt.
- Die Endkontrolle entscheidet. Gute Atmosphäre und stabile Figuren dürfen nicht darüber hinwegtäuschen, dass die eigentliche Geschichte nicht stattgefunden hat.
Referenzbilder sind für mich deshalb weiterhin eines der wirksamsten Mittel bei der Videoerzeugung. Sie machen aus einer abstrakten Beschreibung eine sichtbare Vorgabe. Ihr größter Nutzen liegt aber nicht darin, beliebig viele Anweisungen in zwölf Sekunden zu pressen. Sie funktionieren am besten, wenn sie eine einfache, verständliche Veränderung absichern.
