Runway Act-One z funkcją rejestrowania wyrazu twarzy opartą na sztucznej inteligencji dodano do modelu Alpha Gen-3

Runway AI, firma zajmująca się sztuczną inteligencją (AI) skupiająca się na modelach generowania wideo, ogłosiła we wtorek nową funkcję. Nowa funkcja, nazwana Act-One, jest dostępna w najnowszym wielkojęzycznym modelu Gen-3 Alpha (LLM) firmy i ma dokładnie przechwytywać mimikę twarzy ze źródłowego wideo, a następnie odtwarzać je na postaci wygenerowanej przez sztuczną inteligencję w filmie. Ta funkcja rozwiązuje istotny problem technologii generowania wideo AI, polegający na przekształcaniu prawdziwych ludzi w postacie AI, nie tracąc przy tym realistycznych wyrażeń.

Wprowadzono możliwość pierwszego aktu na pasie startowym w wersji Alpha Gen-3

w wpis na blogufirma zajmująca się sztuczną inteligencją szczegółowo opisała nową możliwość generowania wideo. Runway stwierdził, że narzędzie Act-One może tworzyć treści na żywo i animowane, wykorzystując jako dane wejściowe występy wideo i głosowe. Narzędzie ma na celu oferowanie wyrazistej gry postaci w filmach generowanych przez sztuczną inteligencję.

Filmy generowane przez sztuczną inteligencję znacząco zmieniły proces tworzenia treści wideo, ponieważ użytkownicy mogą teraz generować określone filmy za pomocą podpowiedzi tekstowych w języku naturalnym. Istnieją jednak pewne ograniczenia, które uniemożliwiają adaptację tej technologii. Jednym z takich ograniczeń jest brak możliwości zmiany wyrazu postaci w filmie lub poprawy jej wydajności w zakresie dostarczania zdań, gestów i ruchu oczu.

Jednak w pierwszym akcie Runway próbuje wypełnić tę lukę. Narzędzie, które działa tylko z modelem Gen-3 Alpha, upraszcza proces animacji twarzy, który często może być złożony i wymagać wieloetapowych przepływów pracy. Obecnie animowanie takich postaci wymaga nagrywania filmów danej osoby pod różnymi kątami, ręcznego ustawiania twarzy i oddzielnego rejestrowania ruchu jej twarzy.

Runway twierdzi, że Act-One zastępuje przepływ pracy i zamienia go w proces dwuetapowy. Użytkownicy mogą teraz nagrać siebie lub aktora za pomocą jednopunktowej kamery, którą może być również smartfon, i wybrać postać AI. Po zakończeniu narzędzie ma wiernie rejestrować nie tylko mimikę twarzy, ale także drobne szczegóły, takie jak ruchy oczu, mikroekspresje, a także styl przekazu.

Podkreślając zakres tej funkcji, firma stwierdziła w poście na blogu: „Model zachowuje realistyczną mimikę i dokładnie przekłada występy na postacie o proporcjach innych niż oryginalne źródłowe wideo. Ta wszechstronność otwiera nowe możliwości kreatywnego projektowania postaci i animacji.

Warto zauważyć, że chociaż Act-One można używać w przypadku postaci animowanych, można go również używać w przypadku postaci aktorskich w sekwencji filmowej. Co więcej, narzędzie może również uchwycić szczegóły, nawet jeśli kąt twarzy aktora różni się od kąta twarzy postaci AI.

Ta funkcja jest obecnie udostępniana wszystkim użytkownikom stopniowo, jednak ponieważ działa tylko w wersji Alpha Gen-3, osoby korzystające z bezpłatnej wersji otrzymają ograniczoną liczbę tokenów do generowania filmów za pomocą tego narzędzia.