Pomimo intensywnego wyścigu zbrojeń opartego na sztucznej inteligencji zmierzamy w stronę przyszłości opartej na wielu modelach

Co tydzień, a czasem codziennie, na świat przychodzi nowy, najnowocześniejszy model sztucznej inteligencji. Wkraczając w rok 2025, tempo wypuszczania na rynek nowych modeli jest zdumiewające, jeśli nie wyczerpujące. Zakręt kolejki górskiej wciąż przyspiesza, a zmęczenie i zaskoczenie stały się stałymi towarzyszami. Każde wydanie podkreśla dlaczego To Ten konkretny model jest lepszy od wszystkich innych, a nieskończona kolekcja testów porównawczych i wykresów słupkowych wypełnia nasze kanały, gdy staramy się nadążać.

Osiemnaście miesięcy temu większość programistów i firm korzystała z jednego modelu sztucznej inteligencji. Dziś jest odwrotnie. Rzadko zdarza się znaleźć biznes o dużej skali, który ogranicza się do możliwości jednego modelu. Firmy nadal nieufnie podchodzą do uzależnienia od dostawców, zwłaszcza w przypadku technologii, która w coraz większym stopniu staje się kluczowym elementem zarówno długoterminowej strategii korporacyjnej, jak i krótkoterminowych przychodów. Stawianie wszystkich zakładów na jeden duży model językowy (LLM) staje się ryzykowne dla zespołów.

Jednak pomimo tej fragmentacji wielu dostawców modeli nadal popiera pogląd, że sztuczna inteligencja będzie rynkiem, w którym zwycięzca weźmie wszystko. Twierdzą, że wiedza specjalistyczna i obliczenia wymagane do szkolenia najlepszych w swojej klasie modeli są rzadkie, defensywne i samoumacniające się. Z ich punktu widzenia bańka wokół budowania modeli sztucznej inteligencji w końcu się załamie, pozostawiając pojedynczy, masowy model sztucznej inteligencji ogólnej (AGI), który będzie używany do wszystkiego. Tym bardziej, że posiadanie takiego modelu oznaczałoby bycie najpotężniejszą firmą na świecie. Ta wielkość nagrody wywołała wyścig zbrojeń w kierunku coraz większej liczby procesorów graficznych, w których co kilka miesięcy do liczby parametrów treningowych dodawane jest nowe zero.

Uważamy, że takie podejście jest błędne. Nie będzie jednego modelu, który będzie rządził wszechświatem ani w przyszłym roku, ani w następnej dekadzie. Zamiast tego przyszłość sztucznej inteligencji będzie wielomodalna.

Modele językowe to niejasne obiekty

oksfordzki słownik ekonomii Towar definiuje się jako „zestandaryzowany przedmiot, który jest kupowany i sprzedawany na dużą skalę i którego jednostki są wymienne”. Modele językowe są obiektami w dwóch ważnych znaczeniach:

1. Same modele stają się coraz bardziej wymienne w przypadku szerszego zestawu zadań;
2. Wiedza naukowa wymagana do stworzenia tych modeli staje się coraz bardziej rozproszona i dostępna, a pionierskie laboratoria ledwo prześcigają się w tym, a niezależni badacze depczą im po piętach w społeczności open source.

Chociaż modele językowe mają charakter uprzedmiotawiający, robią to nierównomiernie. Istnieje ogromny zestaw możliwości, z których każdy model, od GPT-4 po Mistral Small, jest doskonale dostosowany. Ponadto w miarę zbliżania się do przypadków marginalnych i brzegowych zauważamy coraz większe zróżnicowanie, przy czym niektórzy dostawcy modeli wyraźnie specjalizują się w generowaniu kodu, logice, generowaniu wspomaganym wyszukiwaniem (RAG) lub matematyce. Prowadzi to do niekończącego się pisania odręcznego, przeszukiwania Reddita, oceny i dostrajania w celu znalezienia odpowiedniego modelu dla każdego zadania.

I tak, chociaż modele językowe są obiektami, można je opisać dokładniej rozmyte obiektyW wielu przypadkach modele sztucznej inteligencji będą niemal wymienne, a wybór modelu zależeć będzie od wskaźników takich jak koszt i opóźnienia. Ale na granicy możliwości stanie się coś odwrotnego: modele będą nadal się specjalizować, stając się coraz bardziej zróżnicowanymi. Na przykład DeepSeq-v2.5 jest bardziej niezawodny niż GPT-4O podczas kodowania w C#, mimo że jest ułamkiem rozmiaru i 50 razy tańszym.

Obie te dynamiki – utowarowienie i specjalizacja – obalają tezę, że jeden model będzie najlepiej sprawdzał się w każdym możliwym przypadku użycia. Wskazują raczej na coraz bardziej fragmentaryczny krajobraz sztucznej inteligencji.

Orkiestracja i routing wielu modeli

Odpowiednią analogią dynamiki rynku jest model językowy: ludzki mózg. Struktura naszych mózgów pozostaje niezmieniona od 100 000 lat, a mózgi są znacznie bardziej podobne niż różne. Przez większość naszego czasu na Ziemi większość ludzi uczyła się podobnych rzeczy i miała podobne zdolności.

Ale potem coś się zmieniło. Rozwinęliśmy umiejętność komunikowania się w języku – najpierw w mowie, potem w piśmie. Protokoły komunikacyjne ułatwiają tworzenie sieci, a gdy ludzie zaczęli łączyć się w sieci, my także zaczęliśmy się w większym stopniu specjalizować. Zostaliśmy uwolnieni od ciężaru konieczności bycia generalistami we wszystkich obszarach, abyśmy mogli stać się samowystarczalnymi wyspami. Paradoksalnie zbiorowe bogactwo specjalizacji oznacza również, że przeciętny człowiek jest dziś znacznie silniejszym generalistą niż którykolwiek z naszych przodków.

Na wystarczająco szerokiej przestrzeni wejściowej wszechświat zawsze dąży do specjalizacji. Dotyczy to chemii molekularnej, biologii, aż do społeczeństwa ludzkiego. Przy wystarczającej heterogeniczności systemy rozproszone zawsze będą bardziej wydajne obliczeniowo niż monolity. Wierzymy, że to samo będzie dotyczyć sztucznej inteligencji. Im bardziej możemy wykorzystać mocne strony wielu modeli, zamiast polegać tylko na jednym, tym bardziej modele te mogą osiągnąć wiedzę specjalistyczną, poszerzając zakres możliwości.

Coraz ważniejszym wzorcem wykorzystania mocnych stron różnorodnych modeli jest routing – dynamiczne wysyłanie zapytań do najodpowiedniejszych modeli, przy jednoczesnym korzystaniu z tańszych, szybszych modeli, przy czym nie pogarsza to jakości. Routing pozwala nam wykorzystać wszystkie zalety specjalizacji – wysoką dokładność przy niskich kosztach i opóźnieniach – nie rezygnując przy tym z solidności generalizacji.

Prostą demonstrację mocy routingu można zobaczyć w fakcie, że większość najlepszych modeli na świecie sama w sobie jest routerami: są one zbudowane przy użyciu Mieszanka ekspercka Architektury, które prowadzą każdą kolejną generację tokenów do kilkudziesięciu specjalistycznych podmodeli. Jeśli prawdą jest, że LLM w coraz większym stopniu rozprzestrzeniają rozmyte obiekty, wówczas routing powinien stać się istotną częścią każdego stosu sztucznej inteligencji.

Istnieje koncepcja, że ​​LLM ustabilizują się w miarę zbliżania się do ludzkiej inteligencji – że gdy tylko w pełni nasycimy ich możliwości, zjednoczymy się wokół wspólnego modelu w taki sam sposób, w jaki zjednoczyliśmy się wokół AWS czy iPhone’a. Żadna z tych platform (ani ich konkurenci) nie zwiększyła swoich możliwości 10-krotnie w ciągu ostatnich kilku lat – możemy więc oswoić się z ich ekosystemem. Wierzymy jednak, że sztuczna inteligencja nie zatrzyma się na inteligencji na poziomie ludzkim; To wykracza daleko poza to, co możemy sobie nawet wyobrazić. W miarę tego będzie coraz bardziej fragmentaryczny i wyspecjalizowany, podobnie jak każdy inny system naturalny.

Nie możemy powiedzieć, jak bardzo fragmentacja modeli AI jest czymś bardzo dobrym. Rozdrobnione rynki są rynkami efektywnymi: wzmacniają pozycję nabywców, maksymalizują innowacje i minimalizują koszty. W zakresie, w jakim możemy wykorzystać sieci mniejszych, bardziej wyspecjalizowanych modeli zamiast przesyłać wszystko przez elementy wewnętrzne jednego gigantycznego modelu, zmierzamy w kierunku bezpieczniejszej, łatwiejszej do wyjaśnienia i łatwiejszej w obsłudze przyszłości AI Are.

Największe wynalazki nie mają właścicieli. Spadkobiercy Bena Franklina nie mają prądu. Majątek Turinga nie jest właścicielem wszystkich komputerów. Sztuczna inteligencja jest niewątpliwie jednym z największych wynalazków ludzkości; Wierzymy, że jego przyszłość będzie – i powinna być – multimodalna.

Jack Kass jest byłym szefem działu wejścia na rynek OpenAI,

Tomas Hernando jest współzałożycielem i dyrektorem generalnym Kauffman nie diament,