Тыя самыя героі ў ШІ-роліках: універсальныя элементы замест першага кадра

Другая серыя «Шэрыфа Бульбы» гатовая — яна цалкам напрыканцы роліка: памідорка, агурочак, сам шэрыф і навічок, бабуля Цыбуля. Але артыкул не пра сюжэт, а пра тое, што памянялася пад капотам. Першую серыю я амаль усю будаваў ад першага кадра. У другой персанажаў стала прыкметна больш, і мне важна, каб кожны заставаўся падобным на сябе ад сцэны да сцэны, а гісторыя ішла паслядоўна і не рассыпалася. Таму я перавёў палатно на другі падыход — рэферэнсы.

Пра само палатно я расказваў у папярэдняй частцы; тут разбяру адзін яго вузел: як растлумачыць відэамадэлі, хто ёсць хто.

Першы кадр або рэферэнсы: мадэлі прымушаюць выбіраць

У трука «адзін кадр → відэа» ёсць столь, і я ў яе ўпёрся. Пакуль працуеш ад першага кадра, у сцэну нельга ўвесці дадатковага персанажа: чаго няма на карцінцы, таго для мадэлі не існуе.

А сістэмы відэагенерацыі, на жаль, працуюць па прынцыпе выключэння. Або ты аддаеш мадэлі першы кадр, або набор рэферэнсаў — сумясціць амаль ніхто не дае.

Для рэферэнснага шляху я завёў на палатне канцэпцыю, якую назваў «універсальныя элементы». Элемент — гэта персанаж, аб'ект або лакацыя. Бяру карцінку з відэашэрагу, аб'яўляю: вось элемент, вось яго імя і роля — і ён падключаецца да відэа-ноды як адзін з рэферэнсаў. З такіх кубікаў і складаецца сцэна.

Што ўмеюць мадэлі і колькі гэта каштуе

Каб гэтым карыстацца, трэба разумець, як уладкаваныя канкрэтныя відэамадэлі, — умеюць яны рознае.

Kling — адзіная мадэль, якая бярэ стартавы кадр, канчатковы кадр і элементы адначасова, у адным запыце. Вар'яцкая штука, больш так ніхто не ўмее: астатнім падавай або адзін стартавы кадр, або пачак рэферэнсаў.

Grok прымае да сямі рэферэнсаў разам, Gemini — да дзесяці. І абодва добра сябруюць з рускім гукам: персанажы гавораць, ліпсінк на месцы. Kling і Seedance з такой мовай я б не звязваў. Пры гэтым сама па сабе Seedance — вельмі класная мадэль, па эфектах цяпер з лепшых. Яе галоўны недахоп — цана.

Цяпер пра грошы, бо гэта балюча. Восем секунд Seedance — долар і сем цэнтаў. Gemini — восемдзесят цэнтаў. Grok шалёна танны: шэсцьдзесят чатыры цэнты за тыя ж восем секунд.

І адразу сакрэцік: эксперыменты я ганяю ў 480p. Як мінімум гэта дазваляе не збанкрутаваць — пакуль падбіраеш промпт і рэферэнсы, разрозненне не важнае, важна, каб мадэль зразумела сцэну.

Сістэмны промпт: кажу мадэлі, хто ёсць хто

Проста перадаць мадэлі пачак карцінак мала. У сістэмным промпце трэба ўказаць, які персанаж за што адказвае, — і ў кожнай мадэлі свой сінтаксіс для гэтага.

Gemini Omni Flash, напрыклад, разумее тэгі ImageRef: нулявы, першы, далей па спісе. Я падказваю: плошча — гэта атачэнне, яна ідзе па ImageRef 0. І атрымліваю ідэальную карцінку. Пакуль мадэль сама гадае, хто ёсць хто на рэферэнсах, вынік гуляе. Як толькі кажаш «вось гэты персанаж — на гэтай карцінцы», усё становіцца на свае месцы.

Другі пласт — раскадроўкі, пра іх была трэцяя частка серыі. З раскадроўкай мадэль атрымлівае не адну карцінку героя, а выразнае разуменне, як ён выглядае спераду, збоку, ззаду і зверху, дэталі твару і асаблівыя прыкметы. У шэрыфа гэта значок, боцікі, кабура. Чым больш такіх прыкмет мадэль ведае, тым цяжэй ёй намаляваць «прыкладна такога ж» героя замест майго.

Сцэна шэсць: захапіўся і дадаў усіх

На шостай сцэне я вырашыў праверыць сістэму на трываласць і, шчыра кажучы, захапіўся: закінуў у адзін запыт усіх персанажаў разам і плошчу як атачэнне. Сцэну мадэль сабрала.

Але без касякоў не абышлося. Тэкст у кадры, які яна абавязана была прачытаць, яна нармальна прачытаць не змагла, і ў дробных дэталях палезлі артэфакты. Паказваю гэта ў роліку як ёсць — мне здаецца, шчырыя багі карысней за прыгожую нарэзку ўдач. Адзін з варыянтаў пры гэтым выйшаў настолькі сімпатычным, што я ўсур'ёз думаў ставіць яго ў серыю.

Тую ж сцэну я прагнаў на Grok — хацелася паглядзець, як ён выцягне бармена, не шэрыфа. Адпрацаваў добра, атрымаў два цікавыя варыянты. Далей перабіраць не стаў: траціць шмат грошай на рэндэр я не магу, бюджэт эксперымента канечны.

Шчыра пра канал — і пытанне да вас

Паўнавартасным блогерам я сябе не лічу. Але лічбы зрушыліся: ролікі сталі адразу даходзіць да васьмісот паказаў, а першая серыя паставіла мой асабісты рэкорд па ўтрыманні гледачоў. Для канала, які я вяду паміж справамі, нечакана прыемна.

Другая серыя — напрыканцы роліка, цалкам. І мне важна зразумець, куды гэта развіваць: ці хацелі б вы збіраць такія ролікі ў такой сістэме самі? Напішыце ў каментарах пад відэа. Набярэцца цікавасць — адкрыю доступ.