Одни и те же герои в ИИ-роликах: универсальные элементы вместо первого кадра

Вторая серия «Шерифа Картофеля» готова — она целиком в конце ролика: помидорка, огурчик, сам шериф и новенькая, бабушка Лук. Но статья не про сюжет, а про то, что поменялось под капотом. Первую серию я почти всю строил от первого кадра. Во второй персонажей стало заметно больше, и мне важно, чтобы каждый оставался похож на себя от сцены к сцене, а история шла последовательно и не рассыпалась. Поэтому я перевёл холст на второй подход — референсы.

Про сам холст я рассказывал в прошлой части; здесь разберу один его узел: как объяснить видеомодели, кто есть кто.

Первый кадр или референсы: модели заставляют выбирать

У трюка «один кадр → видео» есть потолок, и я в него упёрся. Пока работаешь от первого кадра, в сцену нельзя ввести дополнительного персонажа: чего нет на картинке, того для модели не существует.

А системы видеогенерации, к сожалению, работают по принципу исключения. Либо ты отдаёшь модели первый кадр, либо набор референсов — совместить почти никто не даёт.

Для референсного пути я завёл на холсте концепцию, которую назвал «универсальные элементы». Элемент — это персонаж, объект или локация. Беру картинку из видеоряда, объявляю: вот элемент, вот его имя и роль — и он подключается к видео-ноде как один из референсов. Из таких кубиков и складывается сцена.

Что умеют модели и почём

Чтобы этим пользоваться, надо понимать, как устроены конкретные видеомодели, — умеют они разное.

Kling — единственная модель, которая берёт стартовый кадр, конечный кадр и элементы одновременно, в одном запросе. Безумная штука, больше так никто не умеет: остальным подавай либо один стартовый кадр, либо пачку референсов.

Grok принимает до семи референсов разом, Gemini — до десяти. И оба хорошо дружат с русским звуком: персонажи говорят по-русски, липсинк на месте. Kling и Seedance с русской речью я бы связывать не стал. При этом сама по себе Seedance — очень классная модель, по эффектам сейчас из лучших. Её главный недостаток — цена.

Теперь про деньги, потому что это больно. Восемь секунд Seedance — доллар и семь центов. Gemini — восемьдесят центов. Grok безумно дешёвый: шестьдесят четыре цента за те же восемь секунд.

И сразу секретик: эксперименты я гоняю в 480p. Как минимум это позволяет не обанкротиться — пока подбираешь промпт и референсы, разрешение не важно, важно, чтобы модель поняла сцену.

Системный промпт: говорю модели, кто есть кто

Просто передать модели пачку картинок мало. В системном промпте надо указать, какой персонаж за что отвечает, — и у каждой модели свой синтаксис для этого.

Gemini Omni Flash, например, понимает теги ImageRef: нулевой, первый, дальше по списку. Я подсказываю: площадь — это окружение, она идёт по ImageRef 0. И получаю идеальную картинку. Пока модель сама гадает, кто есть кто на референсах, результат гуляет. Как только говоришь «вот этот персонаж — на этой картинке», всё становится на свои места.

Второй слой — раскадровки, про них была третья часть серии. С раскадровкой модель получает не одну картинку героя, а чёткое понимание, как он выглядит спереди, сбоку, сзади и сверху, детали лица и особые приметы. У шерифа это значок, сапожки, кобура. Чем больше таких примет модель знает, тем труднее ей нарисовать «примерно такого же» героя вместо моего.

Сцена шесть: упоролся и добавил всех

На шестой сцене я решил проверить систему на прочность и, честно говоря, упоролся: закинул в один запрос всех персонажей разом и площадь как окружение. Сцену модель собрала.

Но без косяков не обошлось. Текст в кадре, который она обязана была прочитать, она нормально прочитать не смогла, и в мелких деталях полезли артефакты. Показываю это в ролике как есть — мне кажется, честные баги полезнее красивой нарезки удач. Один из вариантов при этом вышел настолько симпатичным, что я всерьёз думал ставить его в серию.

Ту же сцену я прогнал на Grok — хотелось посмотреть, как он вытянет бармена, не шерифа. Отработал хорошо, получил два интересных варианта. Дальше перебирать не стал: тратить много денег на рендер я не могу, бюджет эксперимента конечный.

Честно про канал — и вопрос к вам

Полноценным блогером я себя не считаю. Но цифры сдвинулись: ролики стали сразу доходить до восьмисот показов, а первая серия поставила мой личный рекорд по удержанию зрителей. Для канала, который я веду между делом, неожиданно приятно.

Вторая серия — в конце ролика, целиком. И мне важно понять, куда это развивать: хотели бы вы собирать такие ролики в такой системе сами? Напишите в комментариях под видео. Наберётся интерес — открою доступ.