Te same postacie w klipach AI: uniwersalne elementy zamiast pierwszej klatki

Drugi odcinek „Szeryfa Ziemniaka" jest gotowy — w całości na końcu klipu: pomidorek, ogóreczek, sam szeryf i nowa postać, babcia Cebula. Ale ten artykuł nie jest o fabule, tylko o tym, co zmieniło się pod maską. Pierwszy odcinek budowałem niemal w całości od pierwszej klatki. W drugim postaci jest wyraźnie więcej i zależy mi, żeby każda pozostawała podobna do siebie od sceny do sceny, a historia szła po kolei i się nie rozsypywała. Dlatego przestawiłem płótno na drugie podejście — referencje.

O samym płótnie opowiadałem w poprzedniej części; tu rozbiorę jeden jego węzeł: jak wytłumaczyć modelowi wideo, kto jest kim.

Pierwsza klatka albo referencje: modele każą wybierać

Trik „jedna klatka → wideo" ma sufit i w niego uderzyłem. Dopóki pracujesz od pierwszej klatki, do sceny nie da się wprowadzić dodatkowej postaci: czego nie ma na obrazku, to dla modelu nie istnieje.

A systemy generowania wideo, niestety, działają na zasadzie wykluczenia. Albo dajesz modelowi pierwszą klatkę, albo zestaw referencji — połączyć jednego z drugim prawie nikt nie pozwala.

Na potrzeby ścieżki referencyjnej wprowadziłem na płótnie koncepcję, którą nazwałem „uniwersalne elementy". Element to postać, obiekt albo lokacja. Biorę obrazek z materiału, ogłaszam: oto element, oto jego nazwa i rola — i podpina się do węzła wideo jako jedna z referencji. Z takich klocków składa się scena.

Co umieją modele i po ile

Żeby z tego korzystać, trzeba rozumieć, jak zbudowane są konkretne modele wideo — umieją różne rzeczy.

Kling to jedyny model, który bierze klatkę startową, klatkę końcową i elementy jednocześnie, w jednym żądaniu. Szalona rzecz, nikt inny tak nie potrafi: reszta chce albo jednej klatki startowej, albo paczki referencji.

Grok przyjmuje do siedmiu referencji naraz, Gemini — do dziesięciu. I oba dobrze radzą sobie z rosyjskim dźwiękiem: postacie mówią, lip sync się trzyma. Klingowi i Seedance takiej mowy bym nie powierzał. Przy czym sam Seedance to bardzo dobry model, obecnie jeden z najlepszych pod względem efektów. Jego główną wadą jest cena.

Teraz o pieniądzach, bo to boli. Osiem sekund Seedance — dolar i siedem centów. Gemini — osiemdziesiąt centów. Grok jest absurdalnie tani: sześćdziesiąt cztery centy za te same osiem sekund.

I od razu mały sekret: eksperymenty puszczam w 480p. To co najmniej pozwala nie zbankrutować — dopóki dobierasz prompt i referencje, rozdzielczość nie ma znaczenia; ważne, żeby model zrozumiał scenę.

Prompt systemowy: mówię modelowi, kto jest kim

Samo podanie modelowi paczki obrazków to za mało. W prompcie systemowym trzeba wskazać, która postać za co odpowiada — i każdy model ma na to własną składnię.

Gemini Omni Flash rozumie na przykład tagi ImageRef: zerowy, pierwszy, dalej po liście. Podpowiadam: rynek to otoczenie, idzie jako ImageRef 0. I dostaję idealny obraz. Dopóki model sam zgaduje, kto jest kim na referencjach, wynik pływa. Gdy tylko powiesz „ta postać jest na tym obrazku", wszystko wskakuje na swoje miejsce.

Druga warstwa to storyboardy — była o nich trzecia część serii. Ze storyboardem model dostaje nie jeden obrazek bohatera, ale jasne pojęcie, jak wygląda z przodu, z boku, z tyłu i z góry, detale twarzy i znaki szczególne. U szeryfa to odznaka, buciki, kabura. Im więcej takich znaków model zna, tym trudniej mu narysować „mniej więcej podobnego" bohatera zamiast mojego.

Scena szósta: poniosło mnie i dodałem wszystkich

Przy szóstej scenie postanowiłem sprawdzić system w boju i, szczerze mówiąc, poniosło mnie: wrzuciłem do jednego żądania wszystkie postacie naraz plus rynek jako otoczenie. Model scenę złożył.

Ale nie obyło się bez wpadek. Tekstu w kadrze, który miał obowiązek przeczytać, nie umiał przeczytać porządnie, a w drobnych detalach wylazły artefakty. Pokazuję to w klipie tak, jak jest — wydaje mi się, że szczere bugi są pożyteczniejsze niż ładna składanka sukcesów. Jeden z wariantów wyszedł przy tym na tyle sympatyczny, że poważnie myślałem, żeby wstawić go do odcinka.

Tę samą scenę przepuściłem przez Groka — chciałem zobaczyć, jak udźwignie barmana, nie szeryfa. Poradził sobie dobrze, dostałem dwa ciekawe warianty. Dalej nie iterowałem: nie mogę wydawać dużo pieniędzy na rendery, budżet eksperymentu jest skończony.

Szczerze o kanale — i pytanie do was

Nie uważam się za pełnoprawnego blogera. Ale liczby drgnęły: klipy zaczęły od razu dochodzić do ośmiuset wyświetleń, a pierwszy odcinek ustanowił mój osobisty rekord utrzymania widzów. Jak na kanał prowadzony przy okazji — nieoczekiwanie miłe.

Drugi odcinek jest na końcu klipu, w całości. I muszę zrozumieć, dokąd to rozwijać: chcielibyście sami składać takie klipy w takim systemie? Napiszcie w komentarzach pod filmem. Zbierze się zainteresowanie — otworzę dostęp.