Основные положения
Разница в том, кто выбирает героя
В режиме из текста в видео модель придумывает всё: лицо, комнату, гардероб, свет и движение. В режиме из фото в видео вы уже зафиксировали лицо, комнату, гардероб и свет, загрузив кадр, и модель решает только, что произойдёт дальше. В этом вся разница, и из неё следуют все практические последствия. Если вам важно, как выглядит герой, вы находитесь на территории «из фото в видео», осознаёте вы это или нет.
Большая часть каталога — «из фото в видео», и это не случайно
Среди доступных здесь семейств моделей эндпоинтов «из фото в видео» примерно вдвое больше, чем «из текста в видео». Индустрия пришла к этому, потому что сложна в видео не анимация, а согласованность. Имея начальный кадр, модель получает опору для идентичности, света и композиции на каждом последующем кадре. Имея только слова, она вынуждена выводить всё это заново, и мелкие отклонения накапливаются по длине ролика.
Назначение промпта в двух режимах полностью разное
Промпт для видео из текста должен нести внешность, место, камеру и движение одновременно, и читается он целиком. Промпт для видео из фото должен нести почти только движение и камеру: повторное описание героя в лучшем случае бесполезно, а в худшем вредно, потому что вы предлагаете модели переосмыслить то, что она и так видит. Самая частая ошибка с «из фото в видео» — вставить промпт для «из текста в видео» и удивляться, почему изменилось лицо.
Как понять, какой режим нужен вашей идее
Спросите себя, можете ли вы назвать человека в кадре. Если ответ «женщина в красном платье» — это описание, а не конкретная личность — вполне подойдёт видео из текста, которое даст больше разнообразия за попытку. Если ответ «вот этот человек с этого фото», то это под силу только режиму из фото в видео, и никакие детали промпта не заставят видео из текста держать конкретное сходство. Хороший компромисс — сначала сгенерировать кадр, оставить понравившийся и оживить его.
Версии и варианты
- Решите, описан ли герой или конкретен. Описан — из текста в видео; конкретен — из фото в видео.
- Для «из фото в видео» выберите лучший доступный кадр: резкий, хорошо освещённый, с героем, чётко отделённым от фона. Движение не спасёт мягкий исходный кадр.
- Пишите промпт под режим: внешность плюс движение для видео из текста, только движение и камера для видео из фото.
- Сначала задайте длительность. Именно этот параметр сильнее всего влияет и на результат, и на цену.
- Для проверки создайте один короткий ролик, а не длинный. Оценивайте качество движения на 5 секундах, прежде чем платить за большее.
- Если в «из фото в видео» плывёт идентичность, сократите ролик, а не переписывайте промпт: дрейф накапливается со временем, а не со словами.
Доказательства и рекомендации
Где каждый из режимов обычно разочаровывает
Видео из текста разочаровывает невоспроизводимостью: запустите один и тот же промпт дважды — получите двух разных людей. Видео из фото разочаровывает в амбициях: оно не перенесёт героя в другую комнату, не сменит время суток и не добавит второго человека, которого нет в исходном кадре. Если просить об этом, чаще всего получаешь ролик, который игнорирует инструкцию, а не явно проваливается, поэтому кредиты тратятся незаметно.
Третий режим: два кадра вместо одного
Некоторые семейства моделей принимают первый и последний кадр и генерируют переход между ними. Об этом стоит знать, потому что это решает задачу, с которой плохо справляются оба других режима: привести ролик к заданному финальному состоянию. С одним первым кадром вы просите модель придумать, чем закончится движение, и она выберет что-то правдоподобное, а не то, что выбрали вы. Когда обе границы зафиксированы, модель интерполирует, а не импровизирует, и результат гораздо предсказуемее — ценой того, что вам нужно подготовить второе изображение, согласованное с первым.
Что для модели значит «движение» и как о нём сказать
Инструкции о движении чаще всего не срабатывают, потому что описывают ощущение, а не движение. «Динамично», «кинематографично» и «живо» — не движения, а прилагательные, которые модель должна перевести в движение, и она выберет среднее из всего, что видела. Движения — это то, у чего есть направление, объект и скорость: камера медленно наезжает, волосы приподнимаются от лёгкого ветра, голова поворачивается влево и возвращается. Некоторые семейства моделей показывают и явную настройку амплитуды, и ею стоит пользоваться, если она есть: это разница между просьбой о меньшем движении и надеждой на него.
Стоимость не зависит от режима
Не меняется между режимами и то, что формирует счёт: сначала длительность, затем разрешение. Легко решить, что «из фото в видео» дешевле, раз вы дали половину информации, но цена так не работает: модель в любом случае рендерит каждый кадр. Выбор режима — творческое решение, выбор длительности — бюджетное. Принимать их отдельно и в таком порядке — привычка, которая делает итерации доступными.
