Основные положения
Сначала определите, что именно нестабильно
Посмотрите ролик один раз, не обращая внимания на действие. Если у того же лица меняются форма, линия волос или возраст — это дрейф идентичности. Если лицо остаётся узнаваемым, а текстура кожи, украшения, линии фона или свет пульсируют от кадра к кадру — это мерцание. Если весь кадр изгибается во время движения камеры — это геометрическая нестабильность. Для этих категорий нужны разные решения: более сильный исходный кадр при дрейфе, меньше мелких деталей при мерцании, более простое движение или кадрирование при геометрических искажениях. Если называть мерцанием всё подряд, правки промпта будут случайными и могут решать не тот слой.
Начните с самого сильного исходного кадра
«Из фото в видео» наследует и сильные стороны первого кадра, и его неоднозначности. Мягкое лицо, обрезанная рука, отражённый профиль или пёстрый узор дают модели несколько правдоподобных способов восстановить героя, и эти выборы могут меняться со временем. Используйте резкий исходник в итоговом соотношении сторон, с героем, отделённым от фона, и полностью видимыми важными чертами. Не ждите, что генерация движения исправит слабый кадр. При необходимости сначала создайте или отредактируйте начальный кадр, утвердите его как изображение и только потом оживляйте.
Уберите из промпта инструкции, которые спорят с изображением
Типичный промпт для «из фото в видео» повторяет полное описание внешности и тихо противоречит исходнику: другая длина волос, направление света, деталь гардероба или ракурс камеры. Тогда модель мечется между тем, что видит, и тем, что читает. Сведите промпт к движению, выражению лица и камере. Если видимый признак нужно изменить, назовите только это изменение и примите, что риск дрейфа вырастет. Несколько изменений внешности плюс сильное движение камеры — по сути новая генерация, а не анимация исходного кадра.
Версии и варианты
- Определите тип сбоя: дрейф идентичности, локальное мерцание текстуры или геометрическое искажение всего кадра.
- Замените исходник на резкий, необрезанный кадр в нужном итоговом соотношении сторон.
- Уберите описания внешности, которые дублируют исходное изображение или противоречат ему.
- Уменьшите амплитуду движения и держите лицо видимым в течение одного непрерывного действия.
- Проверьте самую короткую доступную длительность, прежде чем повышать разрешение или длину ролика.
- Если две сдержанные попытки не удались, смените шаблон или семейство моделей, а не повторяйте тот же запрос.
Доказательства и рекомендации
Сначала уменьшайте движение, потом добавляйте детали
Крупные повороты головы, быстрые вращения, резкие перекрытия и стремительные облёты камеры заставляют модель придумывать ракурсы, которых нет в исходнике. Каждый придуманный ракурс — шанс, что лицо или костюм перестроятся иначе. Уменьшите амплитуду движения, держите лицо видимым и замените резкие смены направления одним непрерывным действием. Если у модели есть настройка силы движения, уменьшите её. Если нет, ограничьте движение словами в промпте: «лёгкий поворот головы», «мягкое движение волос» или «медленный наезд, герой неподвижен». Стабильность обычно улучшается ещё до добавления каких-либо фраз о качестве.
Сократите ролик, чтобы найти накопленный дрейф
Ошибки идентичности накапливаются со временем. Если первые три секунды стабильны, а последние две — нет, промпт, возможно, в порядке, а длительность просто больше, чем способен удержать этот план. Сгенерируйте самый короткий вариант. Когда он работает, удлиняйте осторожно или стыкуйте ролики, взяв чистый последний кадр как начало следующего. Это дешевле и информативнее, чем повторять длинный рендер. Разрешение может улучшить видимые детали, но уже изменившуюся идентичность не исправит; сначала нужно менять длительность и движение.
Когда пора сменить шаблон или модель
Шаблон объединяет рабочий процесс, шаблон промпта и модель. Если при том же исходнике и сдержанном движении две попытки подряд нестабильны, переключитесь на другой шаблон, где просят меньше движения или используется другое семейство моделей. Повтор того же запроса лишь снова попадает в ту же слабость. Сравните с одним простым базовым шаблоном: если он удерживает героя, исходный эффект слишком амбициозен для этого исходника или модели; если дрейфуют все модели, вернитесь к исходному изображению и проверке конфликтов промпта, прежде чем тратить кредиты.
