Kernaussagen
Der Unterschied liegt darin, wer das Motiv bestimmt
Bei Text zu Video erfindet das Modell alles: Gesicht, Raum, Garderobe, Licht und Bewegung. Bei Bild zu Video hast du Gesicht, Raum, Garderobe und Licht durch ein hochgeladenes Bild bereits festgelegt, und das Modell entscheidet nur noch, was als Nächstes passiert. Das ist der ganze Unterschied, und alle praktischen Folgen ergeben sich daraus. Wenn dir wichtig ist, wie das Motiv aussieht, bist du im Bereich Bild zu Video, ob du es gemerkt hast oder nicht.
Der Großteil des Katalogs ist Bild zu Video, und das ist kein Zufall
Über die hier verfügbaren Modellfamilien hinweg gibt es etwa doppelt so viele Bild-zu-Video-Endpunkte wie Text-zu-Video-Endpunkte. Die Branche ist dort gelandet, weil Konsistenz das Schwierige an Video ist, nicht die Bewegung. Mit einem Startbild hat ein Modell einen Anker für Identität, Licht und Bildausschnitt über jeden folgenden Frame. Mit nur Worten muss es all das von Grund auf neu ableiten, und kleine Abweichungen summieren sich über die Länge eines Clips.
Wofür dein Prompt da ist, ändert sich zwischen beiden völlig
Ein Text-zu-Video-Prompt muss Aussehen, Umgebung, Kamera und Bewegung gleichzeitig tragen und wird als Ganzes gelesen. Ein Bild-zu-Video-Prompt sollte fast nur Bewegung und Kamera enthalten: Das Motiv erneut zu beschreiben ist bestenfalls verschwendet und schlimmstenfalls schädlich, weil du das Modell einlädst, etwas neu zu interpretieren, das es schon sehen kann. Der häufigste Fehler bei Bild zu Video ist, einen Text-zu-Video-Prompt hineinzukopieren und sich dann zu wundern, warum sich das Gesicht verändert hat.
So erkennst du, was deine Idee braucht
Frage dich, ob du die Person im Bild benennen kannst. Lautet die Antwort „eine Frau im roten Kleid“, also eine Beschreibung und keine bestimmte Person, ist Text zu Video in Ordnung und bringt mehr Abwechslung pro Versuch. Lautet sie „diese Person von diesem Foto“, ist Bild zu Video der einzige Modus, der das liefern kann, und kein noch so detaillierter Prompt bringt Text zu Video dazu, ein bestimmtes Aussehen zu halten. Ein praktischer Mittelweg: zuerst ein Standbild erzeugen, das gelungene behalten und dieses animieren.
Versionen und Optionen
- Entscheide, ob das Motiv beschrieben oder konkret ist. Beschrieben heißt Text zu Video, konkret heißt Bild zu Video.
- Wähle für Bild zu Video das stärkste verfügbare Standbild: scharf, gut beleuchtet, Motiv klar vom Hintergrund getrennt. Bewegung kann ein weiches Ausgangsbild nicht retten.
- Schreibe den Prompt passend zum Modus: Aussehen plus Bewegung bei Text zu Video, nur Bewegung und Kamera bei Bild zu Video.
- Lege die Dauer vor allem anderen fest. Sie ist der Parameter, der Ergebnis und Kosten am stärksten beeinflusst.
- Erzeuge als Test einen kurzen Clip, keinen langen. Beurteile die Bewegungsqualität bei 5 Sekunden, bevor du für mehr bezahlst.
- Driftet bei Bild zu Video die Identität, kürze den Clip, statt den Prompt umzuschreiben: Drift summiert sich über die Zeit, nicht über Worte.
Belege und Orientierung
Wo jeder Modus tendenziell enttäuscht
Text zu Video enttäuscht bei der Wiederholbarkeit: Führst du denselben Prompt zweimal aus, bekommst du zwei verschiedene Personen. Bild zu Video enttäuscht beim Anspruch: Es versetzt dein Motiv nicht in einen anderen Raum, ändert nicht die Tageszeit und fügt keine zweite Person hinzu, die nicht im Ausgangsbild ist. Verlangst du das, ignoriert der Clip meist die Anweisung, statt sichtbar zu scheitern, und genau deshalb verbraucht es leise Credits.
Der dritte Modus: zwei Frames statt einem
Manche Modellfamilien akzeptieren einen Startframe und einen Endframe und erzeugen den Übergang dazwischen. Es lohnt sich zu wissen, dass es das gibt, weil es ein Problem löst, das die beiden anderen Modi schlecht beherrschen: einen Clip in einem bestimmten Endzustand ankommen zu lassen. Mit nur einem Startframe bittest du das Modell zu erfinden, wo die Bewegung endet, und es wählt etwas Plausibles statt etwas, das du bestimmt hast. Sind beide Enden festgelegt, interpoliert das Modell, statt zu improvisieren, und das Ergebnis ist weit vorhersagbarer, dafür musst du ein zweites, zum ersten passendes Bild erzeugen.
Was „Bewegung“ für das Modell bedeutet und wie du sie formulierst
Bewegungsanweisungen scheitern meistens, weil sie ein Gefühl statt einer Bewegung beschreiben. „Dynamisch“, „filmisch“ und „lebendig“ sind keine Bewegungen, sondern Adjektive, die das Modell erst in eine Bewegung übersetzen muss, und es wählt dann den Durchschnitt von allem, was es gesehen hat. Bewegungen haben eine Richtung, ein Subjekt und eine Geschwindigkeit: Die Kamera fährt langsam heran, die Haare heben sich in einer leichten Brise, der Kopf dreht sich nach links und kehrt zurück. Einige Modellfamilien bieten auch eine ausdrückliche Amplitudensteuerung, die du nutzen solltest, wenn es sie gibt: Sie ist der Unterschied zwischen weniger Bewegung verlangen und auf weniger Bewegung hoffen.
Die Kosten sind eine vom Modus unabhängige Entscheidung
Eines ändert sich zwischen den beiden Modi nicht: was die Rechnung treibt, nämlich zuerst die Dauer, dann die Auflösung. Es ist verlockend anzunehmen, Bild zu Video sei günstiger, weil du die Hälfte der Information geliefert hast, doch so funktioniert die Preisgestaltung nicht: Das Modell rendert in beiden Fällen jeden Frame. Die Wahl des Modus ist eine kreative Entscheidung, die Wahl der Länge eine Budgetentscheidung. Beides getrennt und in dieser Reihenfolge zu entscheiden, hält das Iterieren bezahlbar.
