Luma AI wypuszcza generator wideo Ray2 z ulepszoną fizyką

Luma AI wywołała poruszenie zeszłego lata wraz z uruchomieniem platformy do generowania wideo opartej na sztucznej inteligencji Dream Machine.

Oczywiście, chociaż miało to miejsce zaledwie siedem miesięcy temu, przestrzeń wideo AI szybko posunęła się do przodu wraz z wydaniem kilku nowych modeli tworzenia wideo AI od konkurencyjnych start-upów w USA i Chinach, w tym Runway, Kling, Pika 2.0, Sora OpenAI , Google jest wliczony w cenę. VO2, Hailu firmy Minimax i alternatywy typu open source, takie jak Hotshot i Mochi 1 firmy Genmo, żeby wymienić tylko kilka. Nawet Luma zaktualizowała niedawno swoją platformę Dream Machine, dodając nowe tablice do generowania nieruchomych obrazów i burz mózgów, a także uruchomiła aplikację na iOS.

Ale aktualizacje są w toku: dzisiaj wypuszczono Lumę z siedzibą w San Francisco Re2, Jej najnowszy model generacji AI wideo jest już dostępny za pośrednictwem strony internetowej Dream Machine i aplikacji mobilnej dla klientów płacących (na początek).

Według współzałożyciela i dyrektora generalnego Luma AI model zapewnia „szybki, naturalny, spójny ruch i fizykę” Amit Jain na swoim byłym koncieOryginalny model wideo Luma AI został przeszkolony przy użyciu 10 razy większej mocy obliczeniowej niż Ray1.

„To gwałtownie zwiększa wskaźnik sukcesu pokoleń nadających się do wykorzystania w produkcji i sprawia, że ​​opowiadanie historii wideo staje się dostępne dla znacznie większej liczby osób” – powiedział Jain.

Platforma internetowa Dream Machine firmy Luma Oferuje bezpłatny poziom ze zmienną liczbą 720 generacji pikseli w każdym miesiącu: plany płatne zaczynają się od 6,99 USD miesięcznie: od „Lite”, który oferuje widoki w rozdzielczości 1080p, do Plus (20,99 USD/miesiąc), nieograniczonej Premium (66,49 USD/miesiąc) i Enterprise (1672,92 USD rocznie).

Skok naprzód w generacji wideo

W tej chwili Ray2 firmy Luma ogranicza się do zamiany tekstu na wideo, co umożliwia użytkownikom wpisywanie opisów przekształcanych w 5–10-sekundowe klipy wideo.

Model może wygenerować nowe filmy w ciągu kilku sekund, chociaż może to zająć kilka minut za jednym razem ze względu na brak popytu ze strony nowych użytkowników.

Przykłady udostępnione przez Lumę i pierwszych testerów w programie Creators Program pokazują wszechstronność modelu, w tym mężczyznę biegnącego przez burzę śnieżną na Antarktydzie w otoczeniu eksplozji i baletnicę unoszącą się na lodzie w Arktyce.

Imponujące jest, że cały ruch w przykładowych filmach wydaje się realistyczny i płynny, a często obiekty poruszają się znacznie szybciej i bardziej naturalnie niż w filmach z konkurencyjnych generatorów AI, które często wydają się być generowane w zwolnionym tempie.

Model może również tworzyć realistyczne wersje nierealistycznych pomysłów, takich jak surfująca żyrafajako użytkownik x @jeffsyntetyzowany Wystawiony. „Ray 2 to prawdziwa okazja” – powiedział napisane na x,

Wydaje się, że inni twórcy wideo AI, którzy wypróbowali nowy model, w dużej mierze się z tym zgadzają Jerrod Lew publikuje posty w serwisie: „Pojawiły się lepsze zdjęcia, oświetlenie i realizm, i to jest cudowne”.

„…To wspaniale!” Artystka wideo AI, Heather Cooper Zawołano.

Moje własne testy były mieszane, a niektóre z bardziej złożonych sygnałów dawały nienaturalne i niechlujne wyniki. Kiedy jednak wyprodukował klipy bardziej zbliżone do tego, co miałem na myśli w swoich sygnałach – np. Szermierze krzyżujący miecze na pokładzie stacji kosmicznej krążącej wokół Jowisza – To było niezaprzeczalnie imponujące.

Jain powiedział, że Luma w przyszłości doda także możliwości przetwarzania obrazu na wideo, wideo na wideo i edycji do Ray2, jeszcze bardziej rozszerzając kreatywne możliwości narzędzia.

Aby uczcić premierę Ray2, Luma Labs organizuje ceremonię wręczenia nagród Ray2 Awards, dając twórcom szansę wygrania nagród o wartości do 7000 dolarów. Należą do nich:

1. ogromne nagrody: Twórca, którego zawartość Ray2 uzyska najwięcej wyświetleń na tej samej platformie w pierwszym tygodniu od premiery, wygra 5000 dolarów. Zgłoszenia należy przesyłać do 22 stycznia 2025 r.
2. Loteria o 3000 dolarów: Twórcy mogą wziąć udział, udostępniając treści Ray2 w mediach społecznościowych i oglądając film inaugurujący Luma AI. Ostatnim dniem na dołączenie jest również 22 stycznia.

Zwycięzcy obu nagród zostaną ogłoszeni 27 stycznia. Zgłoszenia można przesyłać za pośrednictwem formularza udostępnionego przez Luma Labs, a twórców zachęca się do używania hashtagów #Ray2 i #DreamMachine podczas udostępniania swojej pracy.

Dodatkowo Luma Labs uruchomiła program partnerski, który umożliwia uczestnikom zarabianie prowizji poprzez promowanie swoich narzędzi.