Dym, odbicia i portale: Transpixar firmy Adobe przenosi efekty wizualne AI na wyższy poziom

zespół Cegła suszona na słońcu Badania I Uniwersytet w Hongkongu Nauka i Technologia (HKUST) opracował system sztucznej inteligencji, który może zmienić sposób tworzenia efektów wizualnych w filmach, grach i mediach interaktywnych.

technologia tzw transpiksarDodaje ważną funkcję do filmów generowanych przez sztuczną inteligencję: możliwość tworzenia wyraźnych elementów, takich jak dym, odbicia i efekty eteryczne, które naturalnie wtapiają się w sceny. Obecne narzędzia wideo AI mogą zazwyczaj generować jedynie solidne obrazy, co czyni Transpixar ważnym osiągnięciem technologicznym.

„Kanały alfa są ważne dla efektów wizualnych, ponieważ pozwalają przezroczystym elementom, takim jak dym i odbicia, płynnie wtapiać się w sceny” – powiedział Yijun Li, kierownik projektu w Adobe Research i jeden z badaczy. papieru Autor. „Jednak tworzenie wideo RGBA, które zawiera kanały alfa zapewniające przezroczystość, pozostaje wyzwaniem ze względu na ograniczone zbiory danych i trudność w dostosowaniu istniejących modeli”.

Ten przełom następuje w krytycznym momencie, gdy zapotrzebowanie na efekty wizualne w branży rozrywkowej, reklamowej i gier stale rośnie. Tradycyjna praca z efektami wizualnymi często wymaga od artystów żmudnej pracy ręcznej, aby stworzyć solidne, przezroczyste efekty.

Transpixar: Wprowadzanie przejrzystości do efektów wizualnych AI

Tym, co sprawia, że ​​Transpixar jest szczególnie niezwykły, jest jego zdolność do utrzymania wysokiej jakości podczas pracy z bardzo ograniczonymi danymi szkoleniowymi. Badaczom udało się to osiągnąć, opracowując nowe podejście, które rozszerza istniejące modele sztucznej inteligencji wideo, zamiast budować je od zera.

„Wprowadzamy nowe tokeny do generowania kanałów alfa, zmieniamy ich osadzenie pozycyjne i dodajemy osadzanie domeny o zerowej inicjalizacji, aby odróżnić je od tokenów RGB” – powiedział Luozhou Wang, główny autor i badacz w HKUST. „Korzystając ze schematu dostrajania opartego na LoRA, wyświetlamy tokeny alfa w przestrzeni QKV, zachowując jednocześnie jakość RGB”.

Podczas demonstracji system wykazał imponujące wyniki, generując różnorodne efekty, od prostych podpowiedzi tekstowych – od wirujących chmur burzowych i magicznych portali po potłuczone szkło i kłęby dymu. Technologia ta umożliwia także animację nieruchomych obrazów z efektami przezroczystości, otwierając nowe możliwości twórcze dla artystów i projektantów.

Zespół badawczy stworzył własny kod publicznie dostępne na GitHubie i rozmieszczone to jest demonstracja przytulanie twarzyUmożliwia programistom i badaczom eksperymentowanie z technologią.

Transformacja przepływu efektów wizualnych dla dużych i małych twórców

Wczesne testy pokazują, że Transpixar może przyspieszyć i uprościć produkcję efektów wizualnych, szczególnie w przypadku mniejszych studiów, których nie stać na kosztowną pracę nad efektami. Chociaż system nadal wymaga znacznej mocy obliczeniowej do przetwarzania dłuższych filmów, jego potencjalny wpływ na branżę kreatywną jest jasny.

Technologia to znacznie więcej niż udoskonalenia technologiczne. Ponieważ usługi przesyłania strumieniowego wymagają większej ilości treści i wzrasta produkcja wirtualna, przejrzyste efekty generowane przez sztuczną inteligencję mogą zmienić sposób działania studiów. Małe zespoły mogą tworzyć efekty, które kiedyś wymagały dużych studiów, podczas gdy większe produkcje mogą realizować projekty znacznie szybciej.

Transpixar może być szczególnie przydatny do stosowania w czasie rzeczywistym. Gry wideo, aplikacje AR i produkcje na żywo mogą natychmiastowo tworzyć przejrzyste efekty – coś, co dzisiaj wymaga wielu godzin lub dni pracy.

Postęp ten następuje w krytycznym momencie dla Adobe, zgodnie z oczekiwaniami firm zrównoważony rozwój I trasa Rywalizuj, aby opracować profesjonalne narzędzia do tworzenia efektów. Duże studia już poszukują sztucznej inteligencji w celu obniżenia kosztów, co sprawia, że ​​moment jest idealny dla Transpixar.

Przemysł rozrywkowy stoi przed trzema rosnącymi wyzwaniami: Publiczność potrzebujesz więcej treści, budżety są napiętei tam Nie ma wystarczającej liczby artystów zajmujących się efektamiTranspixar zapewnia rozwiązanie, dzięki któremu efekty są szybsze, tańsze i bardziej spójne pod względem jakości.

Prawdziwym pytaniem nie jest, czy sztuczna inteligencja zastąpi efekty wizualne – pytanie brzmi, czy za pięć lat tradycyjne przepływy pracy z efektami wizualnymi będą nadal istnieć.