Makeartly

圖生影片 vs 文生影片:你到底該選哪一個

打开创作工具

兩種模式都是用提示詞產生一支片段,所以在選單裡看起來可以互換。其實不然。一種是先決定主體長什麼樣子再讓它動;另一種是拿一個已經存在的主體,只決定它怎麼動。選錯,是生成結果技術上沒問題、卻跟你心中所想完全不同的最常見原因。

核心重點

差別在於誰來決定主體

在文生影片中,模型發明一切:臉、房間、服裝、光線與動作。在圖生影片中,你提供一個畫面,就已經固定了臉、房間、服裝與光線,模型唯一還需要決定的是接下來發生什麼。這就是全部的差別,所有實際後果都由此而來。如果你在乎主體長什麼樣子,不論你有沒有意識到,你都屬於圖生影片的範圍。

目錄裡大多是圖生影片,這不是巧合

在這裡提供的各個模型系列中,圖生影片端點的數量大約是文生影片的兩倍。業界收斂到這個方向,是因為影片真正困難的是一致性,而不是動作。有了起始畫面,模型就有了貫穿後續每一幀的身分、光線與構圖錨點。只有文字時,它必須從零重新推導這一切,而微小的偏移會隨片段長度累積。

兩種模式下,提示詞的用途完全不同

文生影片的提示詞必須同時承載外貌、場景、鏡頭與動作,並且會被整體解讀。圖生影片的提示詞應該幾乎只寫動作與鏡頭:再次描述主體最好也只是浪費,最糟則會造成傷害,因為你是在邀請模型重新詮釋它本來就看得到的東西。最常見的圖生影片錯誤,就是貼上文生影片的提示詞,然後納悶臉為什麼變了。

如何判斷你的點子需要哪一種

問問自己能不能說出畫面中那個人是誰。如果答案是「穿紅洋裝的女人」,也就是描述而不是特定個人,那麼文生影片就可以,而且每次嘗試能給你更多變化。如果答案是「這張照片裡的這個人」,圖生影片是唯一能做到的模式,再多的提示詞細節也無法讓文生影片維持特定的長相。一個有用的折衷做法是先生成靜態圖,留下你喜歡的那張,再讓它動起來。

版本與選項

  1. 先判斷主體是「描述的」還是「特定的」。描述的用文生影片,特定的用圖生影片。
  2. 圖生影片請挑出手邊最好的靜態圖:清晰、光線良好、主體與背景分離明確。動作救不了模糊的來源畫面。
  3. 依模式撰寫提示詞:文生影片寫外貌加動作,圖生影片只寫動作與鏡頭。
  4. 先設定時長,再設定其他東西。它是對結果與成本影響最大的參數。
  5. 先生成一支短的測試片段,而不是長片段。先在 5 秒判斷動作品質,再決定要不要多花點數。
  6. 如果圖生影片的身分跑掉,請縮短片段而不是改寫提示詞:偏移是隨時間累積,不是隨字數累積。

證據與指引

各自容易令人失望的地方

文生影片的失望在於可重複性:同一個提示詞跑兩次,會得到兩個不同的人。圖生影片的失望在於企圖心:它不會把你的主體搬到另一個房間、改變一天中的時間,或加入來源畫面中沒有的第二個人。要求它做這些事,通常得到的是一支忽略指令的片段,而不是明顯失敗的片段,這也是它悄悄浪費點數的原因。

第三種模式:用兩個畫面取代一個

有些模型系列接受起始畫面與結束畫面,並生成兩者之間的轉變。值得知道這種模式存在,因為它解決了另外兩種模式都不擅長的問題:讓片段抵達特定的最終狀態。只用一個起始畫面時,你是在要求模型自行發明動作的終點,而它會挑選合理的結果,而不是你選的結果。兩端都固定時,模型是在內插而不是即興發揮,結果可預測得多;代價是你需要產出與第一張一致的第二張圖。

「動作」對模型意味著什麼,以及如何表達

動作指令最常失敗,是因為它們描述的是感覺,而不是動作。「動感」、「電影感」、「活潑」都不是動作;它們是模型必須翻譯成動作的形容詞,而它會挑出自己見過的所有東西的平均值。動作是有方向、主體與速率的東西:鏡頭緩慢推進、頭髮在微風中揚起、頭向左轉後再轉回。少數模型系列還提供明確的動作幅度控制,若有就值得使用,這正是「要求較少的動作」與「只是希望如此」的差別。

成本與模式無關

兩種模式之間不變的,是決定帳單的因素:先看時長,再看解析度。你可能會以為圖生影片比較便宜,因為你提供了一半的資訊,但定價並非如此,因為不論哪種模式,模型都要渲染每一幀。選擇模式是創作決定,選擇長度是預算決定。依這個順序分別做決定,是讓反覆嘗試負擔得起的習慣。

FAQ

文生影片能得到特定的臉嗎?

無法穩定做到。文生影片每次執行都會重新發明主體。如果特定長相很重要,請生成或提供一張靜態圖再讓它動起來。

提示詞寫得更長對圖生影片有幫助嗎?

通常相反。畫面一旦提供,對主體多加描述只會邀請重新詮釋。請只寫動作、鏡頭與節奏。

為什麼我的片段開頭很好,結尾卻跑掉了?

偏移是逐幀累積的,所以會在片段較後面出現。縮短時長是直接的修復方式;換提示詞通常不是。

哪種模式比較貴?

兩種模式本身都沒有比較貴:時長與解析度對成本的影響遠大於模式的選擇。請參閱選擇時長與解析度的指南。

圖生影片能換背景嗎?

只能透過鏡頭運動與光線變化做些微改變。它無法把主體搬到不同地點,那需要新的靜態圖。

由 Image To Video Vs Text To Video 驅動的模板

瀏覽全部模板 →