核心重點
差別在於誰來決定主體
在文生影片中,模型發明一切:臉、房間、服裝、光線與動作。在圖生影片中,你提供一個畫面,就已經固定了臉、房間、服裝與光線,模型唯一還需要決定的是接下來發生什麼。這就是全部的差別,所有實際後果都由此而來。如果你在乎主體長什麼樣子,不論你有沒有意識到,你都屬於圖生影片的範圍。
目錄裡大多是圖生影片,這不是巧合
在這裡提供的各個模型系列中,圖生影片端點的數量大約是文生影片的兩倍。業界收斂到這個方向,是因為影片真正困難的是一致性,而不是動作。有了起始畫面,模型就有了貫穿後續每一幀的身分、光線與構圖錨點。只有文字時,它必須從零重新推導這一切,而微小的偏移會隨片段長度累積。
兩種模式下,提示詞的用途完全不同
文生影片的提示詞必須同時承載外貌、場景、鏡頭與動作,並且會被整體解讀。圖生影片的提示詞應該幾乎只寫動作與鏡頭:再次描述主體最好也只是浪費,最糟則會造成傷害,因為你是在邀請模型重新詮釋它本來就看得到的東西。最常見的圖生影片錯誤,就是貼上文生影片的提示詞,然後納悶臉為什麼變了。
如何判斷你的點子需要哪一種
問問自己能不能說出畫面中那個人是誰。如果答案是「穿紅洋裝的女人」,也就是描述而不是特定個人,那麼文生影片就可以,而且每次嘗試能給你更多變化。如果答案是「這張照片裡的這個人」,圖生影片是唯一能做到的模式,再多的提示詞細節也無法讓文生影片維持特定的長相。一個有用的折衷做法是先生成靜態圖,留下你喜歡的那張,再讓它動起來。
版本與選項
- 先判斷主體是「描述的」還是「特定的」。描述的用文生影片,特定的用圖生影片。
- 圖生影片請挑出手邊最好的靜態圖:清晰、光線良好、主體與背景分離明確。動作救不了模糊的來源畫面。
- 依模式撰寫提示詞:文生影片寫外貌加動作,圖生影片只寫動作與鏡頭。
- 先設定時長,再設定其他東西。它是對結果與成本影響最大的參數。
- 先生成一支短的測試片段,而不是長片段。先在 5 秒判斷動作品質,再決定要不要多花點數。
- 如果圖生影片的身分跑掉,請縮短片段而不是改寫提示詞:偏移是隨時間累積,不是隨字數累積。
證據與指引
各自容易令人失望的地方
文生影片的失望在於可重複性:同一個提示詞跑兩次,會得到兩個不同的人。圖生影片的失望在於企圖心:它不會把你的主體搬到另一個房間、改變一天中的時間,或加入來源畫面中沒有的第二個人。要求它做這些事,通常得到的是一支忽略指令的片段,而不是明顯失敗的片段,這也是它悄悄浪費點數的原因。
第三種模式:用兩個畫面取代一個
有些模型系列接受起始畫面與結束畫面,並生成兩者之間的轉變。值得知道這種模式存在,因為它解決了另外兩種模式都不擅長的問題:讓片段抵達特定的最終狀態。只用一個起始畫面時,你是在要求模型自行發明動作的終點,而它會挑選合理的結果,而不是你選的結果。兩端都固定時,模型是在內插而不是即興發揮,結果可預測得多;代價是你需要產出與第一張一致的第二張圖。
「動作」對模型意味著什麼,以及如何表達
動作指令最常失敗,是因為它們描述的是感覺,而不是動作。「動感」、「電影感」、「活潑」都不是動作;它們是模型必須翻譯成動作的形容詞,而它會挑出自己見過的所有東西的平均值。動作是有方向、主體與速率的東西:鏡頭緩慢推進、頭髮在微風中揚起、頭向左轉後再轉回。少數模型系列還提供明確的動作幅度控制,若有就值得使用,這正是「要求較少的動作」與「只是希望如此」的差別。
成本與模式無關
兩種模式之間不變的,是決定帳單的因素:先看時長,再看解析度。你可能會以為圖生影片比較便宜,因為你提供了一半的資訊,但定價並非如此,因為不論哪種模式,模型都要渲染每一幀。選擇模式是創作決定,選擇長度是預算決定。依這個順序分別做決定,是讓反覆嘗試負擔得起的習慣。











