要点
違いは、被写体を誰が決めるか
テキストから動画では、モデルがすべてを作り出します。顔、部屋、衣装、光、動きです。画像から動画では、フレームを渡すことで顔、部屋、衣装、光がすでに固定されており、モデルが決めるのはその次に何が起こるかだけです。違いはこれがすべてで、実際的な結果はすべてここから生まれます。被写体の見た目が気になるなら、意識していなくても、あなたは画像から動画の領域にいます。
カタログの大半が画像から動画なのは偶然ではない
ここで利用できるモデルファミリー全体で、画像から動画のエンドポイントはテキストから動画のおよそ2倍あります。業界がそこに収束したのは、動画で難しいのは動きではなく一貫性だからです。開始フレームがあれば、モデルはその後のすべてのフレームで、本人性・照明・構図の拠り所を持てます。言葉だけでは、それをすべてゼロから導き出さなければならず、小さなずれがクリップの長さの間に積み重なります。
2つのモードでプロンプトの役割はまったく変わる
テキストから動画のプロンプトは、見た目、舞台、カメラ、動きを一度に担う必要があり、全体として読まれます。画像から動画のプロンプトは、動きとカメラ以外はほとんど何も担うべきではありません。被写体をもう一度説明しても、せいぜい無駄に終わり、最悪の場合は、すでに見えているものをモデルに再解釈させることになって有害です。画像から動画で最もよくある間違いは、テキストから動画のプロンプトを貼り付けて、顔が変わったと戸惑うことです。
アイデアにどちらが必要かの見分け方
ショットの人物を名指しできるかどうかを自問してください。答えが「赤いドレスの女性」（個人ではなく描写）ならテキストから動画で十分で、1回の試行あたりのバリエーションも多くなります。答えが「この写真の、この人」なら、それを実現できるのは画像から動画だけで、どれだけプロンプトを詳しく書いても、テキストから動画で特定の面影を保つことはできません。便利な中間の方法は、まず静止画を生成して気に入ったものを残し、それを動かすことです。
バージョンと選択肢
- 被写体が描写されたものか、特定のものかを決めます。描写ならテキストから動画、特定なら画像から動画です。
- 画像から動画では、利用できる最良の静止画を選びます。鮮明で、照明がよく、被写体が背景からはっきり分離しているものです。動きでは、ぼやけた元のフレームは救えません。
- モードに合わせてプロンプトを書きます。テキストから動画は見た目＋動き、画像から動画は動きとカメラだけです。
- ほかの何よりも先に尺を設定します。結果とコストの両方に最も影響するパラメーターです。
- 長いものではなく、短いクリップを1本テストとして生成します。さらにコストをかける前に、5秒で動きの品質を判断します。
- 画像から動画で本人性がずれる場合は、プロンプトを書き直すのではなく、クリップを短くします。ずれは言葉の量ではなく、時間とともに蓄積します。
根拠とガイド
それぞれが期待外れになりやすい点
テキストから動画は再現性で期待外れになります。同じプロンプトを2回実行すると、2人の別人が出てきます。画像から動画は野心の面で期待外れになります。被写体を別の部屋に移したり、時間帯を変えたり、元のフレームにいない2人目を加えたりはしません。そうしたことを頼んでも、目に見えて失敗するクリップではなく、指示を無視したクリップになることが多く、そのためクレジットが静かに無駄になります。
第3のモード：1枚ではなく2枚のフレーム
モデルファミリーによっては、開始フレームと終了フレームを受け付け、その間の移り変わりを生成します。他の2つのモードがうまく扱えない問題、つまりクリップを特定の最終状態に着地させることを解決するので、存在を知っておく価値があります。開始フレーム1枚だけでは、動きがどこへ行き着くかをモデルに作らせることになり、モデルはあなたが選んだものではなく、それらしいものを選びます。両端を固定すれば、モデルは即興ではなく補間をするので、結果ははるかに予測しやすくなります。その代わり、1枚目と整合する2枚目の画像を用意する必要があります。
モデルにとっての「動き」とは何か、どう伝えるか
動きの指示が失敗する最も多い理由は、動きではなく感覚を描写していることです。「ダイナミック」「シネマティック」「生き生きとした」は動きではなく、モデルが動きに翻訳しなければならない形容詞で、見てきたものすべての平均を選ぶことになります。動きとは、方向、主体、速度があるものです。カメラがゆっくり寄る、そよ風で髪が持ち上がる、頭が左を向いて戻る、などです。一部のモデルファミリーは、動きの大きさを明示的に調整するコントロールも備えています。あるなら使う価値があります。動きを控えめにと頼むのと、そうなることを祈るのとの違いになります。
コストはモードに依存しない判断
2つのモードで変わらないことが1つあります。請求を左右するのは、第一に尺、第二に解像度ということです。情報の半分を自分で渡したから画像から動画のほうが安いと考えたくなりますが、料金の仕組みはそうではありません。どちらにしても、モデルはすべてのフレームをレンダリングします。モードを選ぶのはクリエイティブな判断で、尺を選ぶのは予算の判断です。この順に、別々に決めることが、試行錯誤を手頃に保つ習慣です。
