Ті самі герої в ІІ-роликах: універсальні елементи замість першого кадру

Друга серія «Шерифа Картоплі» готова — вона цілком наприкінці ролика: помідорка, огірочок, сам шериф і новенька, бабуся Цибуля. Але стаття не про сюжет, а про те, що змінилося під капотом. Першу серію я майже всю будував від першого кадру. У другій персонажів стало помітно більше, і мені важливо, щоб кожен залишався схожим на себе від сцени до сцени, а історія йшла послідовно й не розсипалася. Тому я перевів полотно на другий підхід — референси.

Про саме полотно я розповідав у попередній частині; тут розберу один його вузол: як пояснити відеомоделі, хто є хто.

Перший кадр або референси: моделі змушують обирати

У трюка «один кадр → відео» є стеля, і я в неї вперся. Поки працюєш від першого кадру, у сцену не можна ввести додаткового персонажа: чого немає на картинці, того для моделі не існує.

А системи відеогенерації, на жаль, працюють за принципом виключення. Або ти віддаєш моделі перший кадр, або набір референсів — поєднати майже ніхто не дає.

Для референсного шляху я завів на полотні концепцію, яку назвав «універсальні елементи». Елемент — це персонаж, об'єкт або локація. Беру картинку з відеоряду, оголошую: ось елемент, ось його ім'я і роль — і він підключається до відео-ноди як один із референсів. З таких кубиків і складається сцена.

Що вміють моделі й почім

Щоб цим користуватися, треба розуміти, як влаштовані конкретні відеомоделі, — вміють вони різне.

Kling — єдина модель, яка бере стартовий кадр, кінцевий кадр і елементи одночасно, в одному запиті. Божевільна штука, більше так ніхто не вміє: іншим подавай або один стартовий кадр, або пачку референсів.

Grok приймає до семи референсів разом, Gemini — до десяти. І обидва добре дружать із російським звуком: персонажі говорять, ліпсинк на місці. Kling і Seedance з такою мовою я б не пов'язував. При цьому сама по собі Seedance — дуже класна модель, за ефектами зараз із найкращих. Її головний недолік — ціна.

Тепер про гроші, бо це боляче. Вісім секунд Seedance — долар і сім центів. Gemini — вісімдесят центів. Grok шалено дешевий: шістдесят чотири центи за ті ж вісім секунд.

І одразу секретик: експерименти я ганяю в 480p. Як мінімум це дозволяє не збанкрутувати — поки підбираєш промпт і референси, роздільна здатність не важлива, важливо, щоб модель зрозуміла сцену.

Системний промпт: кажу моделі, хто є хто

Просто передати моделі пачку картинок мало. У системному промпті треба вказати, який персонаж за що відповідає, — і в кожної моделі свій синтаксис для цього.

Gemini Omni Flash, наприклад, розуміє теги ImageRef: нульовий, перший, далі за списком. Я підказую: площа — це оточення, вона йде по ImageRef 0. І отримую ідеальну картинку. Поки модель сама вгадує, хто є хто на референсах, результат гуляє. Щойно кажеш «ось цей персонаж — на цій картинці», все стає на свої місця.

Другий шар — розкадровки, про них була третя частина серії. З розкадровкою модель отримує не одну картинку героя, а чітке розуміння, як він виглядає спереду, збоку, ззаду і зверху, деталі обличчя й особливі прикмети. У шерифа це значок, чобітки, кобура. Що більше таких прикмет модель знає, то важче їй намалювати «приблизно такого самого» героя замість мого.

Сцена шість: захопився і додав усіх

На шостій сцені я вирішив перевірити систему на міцність і, чесно кажучи, захопився: закинув в один запит усіх персонажів разом і площу як оточення. Сцену модель зібрала.

Але без косяків не обійшлося. Текст у кадрі, який вона зобов'язана була прочитати, вона нормально прочитати не змогла, і в дрібних деталях полізли артефакти. Показую це в ролику як є — мені здається, чесні баги корисніші за красиву нарізку вдач. Один із варіантів при цьому вийшов настільки симпатичним, що я всерйоз думав ставити його в серію.

Ту саму сцену я прогнав на Grok — хотілося подивитися, як він витягне бармена, не шерифа. Відпрацював добре, отримав два цікаві варіанти. Далі перебирати не став: витрачати багато грошей на рендер я не можу, бюджет експерименту скінченний.

Чесно про канал — і питання до вас

Повноцінним блогером я себе не вважаю. Але цифри зрушили: ролики стали одразу доходити до восьмисот показів, а перша серія поставила мій особистий рекорд з утримання глядачів. Для каналу, який я веду між справами, несподівано приємно.

Друга серія — наприкінці ролика, цілком. І мені важливо зрозуміти, куди це розвивати: чи хотіли б ви збирати такі ролики в такій системі самі? Напишіть у коментарях під відео. Набереться інтерес — відкрию доступ.