핵심 내용
차이는 누가 피사체를 정하느냐입니다
텍스트-투-비디오에서는 모델이 얼굴, 방, 의상, 조명, 움직임까지 모든 것을 만들어 냅니다. 이미지-투-비디오에서는 프레임을 제공하는 순간 얼굴, 방, 의상, 조명이 이미 고정되고, 모델이 정하는 것은 다음에 무슨 일이 일어나는지뿐입니다. 이것이 차이의 전부이고, 모든 실용적 결과가 여기서 나옵니다. 피사체가 어떻게 보이는지가 중요하다면, 의식했든 아니든 이미지-투-비디오의 영역에 있는 것입니다.
카탈로그 대부분이 이미지-투-비디오인 것은 우연이 아닙니다
여기서 이용할 수 있는 모델 제품군 전체에서 이미지-투-비디오 엔드포인트는 텍스트-투-비디오보다 대략 두 배 많습니다. 업계가 그리로 수렴한 것은 영상에서 어려운 것이 움직임이 아니라 일관성이기 때문입니다. 시작 프레임이 주어지면 모델은 이후 모든 프레임에서 정체성, 조명, 구도의 기준점을 갖습니다. 글만 주어지면 이 모든 것을 처음부터 다시 유추해야 하고, 작은 어긋남이 클립이 길어질수록 누적됩니다.
두 모드에서 프롬프트의 역할은 완전히 달라집니다
텍스트-투-비디오 프롬프트는 외형, 배경, 카메라, 움직임을 한꺼번에 담아야 하고 전체로 읽힙니다. 이미지-투-비디오 프롬프트는 움직임과 카메라 외에는 거의 담지 않아야 합니다. 피사체를 다시 묘사하는 것은 기껏해야 낭비이고 심하면 해가 됩니다. 모델이 이미 볼 수 있는 것을 재해석하도록 유도하는 셈이기 때문입니다. 가장 흔한 이미지-투-비디오 실수는 텍스트-투-비디오 프롬프트를 그대로 붙여 넣고 왜 얼굴이 바뀌었는지 의아해하는 것입니다.
내 아이디어에 어느 쪽이 필요한지 알아보는 법
샷 속의 인물을 이름 붙일 수 있는지 자문해 보세요. 답이 “빨간 드레스를 입은 여자”라면, 즉 특정 개인이 아니라 묘사라면 텍스트-투-비디오로 충분하고 시도마다 더 다양한 결과를 줍니다. 답이 “이 사진 속 이 사람”이라면 이미지-투-비디오만 그것을 구현할 수 있고, 아무리 프롬프트를 자세히 써도 텍스트-투-비디오는 특정 얼굴을 유지하지 못합니다. 유용한 중간 경로는 먼저 이미지를 생성하고, 마음에 드는 것을 골라 그것을 움직이는 것입니다.
버전과 선택지
- 피사체가 묘사된 것인지 특정한 것인지 정합니다. 묘사된 것이면 텍스트-투-비디오, 특정한 것이면 이미지-투-비디오입니다.
- 이미지-투-비디오라면 선명하고, 조명이 좋고, 피사체가 배경에서 확실히 분리된 가장 좋은 이미지를 고릅니다. 움직임은 흐릿한 원본 프레임을 구해 주지 못합니다.
- 모드에 맞게 프롬프트를 씁니다. 텍스트-투-비디오는 외형과 움직임, 이미지-투-비디오는 움직임과 카메라만 씁니다.
- 다른 무엇보다 먼저 길이를 설정합니다. 결과와 비용 모두에 가장 크게 영향을 주는 매개변수입니다.
- 긴 클립이 아니라 짧은 클립 하나를 테스트로 생성합니다. 더 쓰기 전에 5초에서 움직임 품질을 판단하세요.
- 이미지-투-비디오에서 정체성이 흔들리면 프롬프트를 고쳐 쓰지 말고 클립을 줄이세요. 흔들림은 단어가 아니라 시간에 따라 누적됩니다.
근거와 가이드
각각이 실망시키기 쉬운 지점
텍스트-투-비디오는 재현성에서 실망시킵니다. 같은 프롬프트를 두 번 실행하면 서로 다른 두 사람이 나옵니다. 이미지-투-비디오는 야심에서 실망시킵니다. 피사체를 다른 방으로 옮기거나, 시간대를 바꾸거나, 원본 프레임에 없는 두 번째 사람을 추가하지 못합니다. 이런 것을 요청하면 눈에 띄게 실패하는 클립이 아니라 지시를 무시한 클립이 나오는 경우가 많고, 그래서 크레딧이 조용히 낭비됩니다.
세 번째 모드: 한 장 대신 두 장의 프레임
일부 모델 제품군은 시작 프레임과 종료 프레임을 받아 둘 사이의 전환을 생성합니다. 다른 두 모드가 잘 해결하지 못하는 문제, 즉 클립이 특정한 최종 상태에 도착하게 하는 문제를 풀어 주므로 이런 모드가 있다는 것을 알아 둘 가치가 있습니다. 시작 프레임 하나만 있으면 움직임이 어디에서 끝날지를 모델이 만들어 내야 하고, 모델은 여러분이 고른 것이 아니라 그럴듯한 것을 택합니다. 양쪽 끝이 고정되면 모델은 즉흥 연기가 아니라 보간을 하므로 결과가 훨씬 예측 가능해집니다. 대신 첫 번째 이미지와 일관된 두 번째 이미지를 직접 만들어야 합니다.
모델에게 “움직임”이란 무엇이고 어떻게 말해야 할까
움직임 지시가 실패하는 가장 흔한 이유는 움직임이 아니라 느낌을 묘사하기 때문입니다. “역동적”, “시네마틱”, “생동감 있는”은 움직임이 아니라 모델이 움직임으로 번역해야 하는 형용사이며, 모델은 본 모든 것의 평균을 고릅니다. 움직임에는 방향, 주체, 속도가 있습니다. 카메라가 천천히 밀고 들어간다, 약한 바람에 머리카락이 올라간다, 고개가 왼쪽으로 돌아갔다가 돌아온다 같은 것입니다. 일부 모델 제품군은 명시적인 진폭 조절도 제공하는데, 있다면 쓸 가치가 있습니다. 움직임을 줄여 달라고 요청하는 것과 줄어들기를 바라는 것의 차이입니다.
비용은 모드와 무관한 결정입니다
두 모드 사이에서 바뀌지 않는 것은 청구액을 좌우하는 요소입니다. 첫째는 길이, 둘째는 해상도입니다. 정보의 절반을 직접 제공했으니 이미지-투-비디오가 더 저렴할 것이라고 생각하기 쉽지만 가격은 그렇게 움직이지 않습니다. 어느 쪽이든 모델은 모든 프레임을 렌더링합니다. 모드를 고르는 것은 창작상의 결정이고, 길이를 고르는 것은 예산상의 결정입니다. 이 둘을 그 순서대로 따로 결정하는 습관이 반복 작업의 비용을 감당할 수 있게 해 줍니다.
