Koniec skalowania AI może nie być bliski: oto, co będzie dalej

Ponieważ systemy sztucznej inteligencji osiągają nadludzką wydajność w coraz bardziej złożonych zadaniach, branża zastanawia się, czy możliwe są w ogóle większe modele, czy też innowacje będą musiały obrać inną ścieżkę.

Ogólne podejście do rozwoju modelu dużego języka (LLM) jest takie, że większy tym lepszy, a wydajność wzrasta wraz z większą ilością danych i większą mocą obliczeniową. Jednak ostatnie dyskusje w mediach skupiały się na tym, jak LLM osiągają swoje granice. ,Czy AI uderza w ścianę?, Krawędź przesłuchiwany podczas Reuters powiadomiony Że „OpenAI i inne firmy badają nowe ścieżki do inteligentnej sztucznej inteligencji, ponieważ istniejące podejścia osiągają ograniczenia”.

Problem polega na tym, że skalowanie, które od lat napędza postęp, może nie dotyczyć modeli nowej generacji. Ze sprawozdań wynika, że ​​rozwój pionierskich modeli, takich jak GPT-5, które przesuwają obecne granice sztucznej inteligencji, może napotkać wyzwania ze względu na brak wzrostu wydajności podczas szkolenia przedszkoleniowego. Informacja Wyzwania te zostały zgłoszone w OpenAI i Bloomberg pokryty Podobne wiadomości w Google i Anthropic.

Kwestia ta wzbudziła obawy, że systemy te mogą podlegać prawu malejących przychodów – zgodnie z którym każda dodatkowa jednostka nakładów przynosi coraz mniejsze korzyści. W miarę powiększania się LLM koszt pozyskiwania wysokiej jakości danych szkoleniowych i skalowania infrastruktury szybko rośnie, co prowadzi do malejących zysków z poprawy wydajności w nowych modelach. Ograniczona dostępność nowych danych wysokiej jakości jeszcze bardziej zwiększa to wyzwanie, ponieważ większość dostępnych informacji jest już uwzględniona w istniejących zbiorach danych szkoleniowych.

Nie oznacza to końca wzrostu wydajności AI. Oznacza to po prostu, że w celu utrzymania postępu wymagane są dalsze prace inżynieryjne poprzez innowacje w architekturze modeli, technikach optymalizacji i wykorzystaniu danych.

ucząc się z prawa Moore’a

Podobny schemat malejących zysków pojawił się w przemyśle półprzewodników. Przez dziesięciolecia branża korzystała z prawa Moore’a, które przewidywało, że liczba tranzystorów będzie się podwajać co 18 do 24 miesięcy, co doprowadzi do radykalnej poprawy wydajności dzięki mniejszym i bardziej wydajnym projektom. Ostatecznie doprowadziło to również do malejących zysków, które miały swój początek gdzieś pomiędzy 2005 a 2007 rokiem z tego powodu skalowanie Dennarda – Teoria, że ​​kurczące się tranzystory zmniejszają także pobór mocy – osiągnęła swoje granice, co dało podstawę do przewidywań Śmierć prawa Moore’a,

Przyglądałem się temu problemowi z bliska, pracując z AMD w latach 2012–2022. Problem ten nie oznaczał, że półprzewodniki – a co za tym idzie, procesory komputerowe – przestały osiągać poprawę wydajności z jednej generacji na następną. Oznaczało to większe ulepszenia w konstrukcji chipletów, pamięć o większej przepustowości, przełączniki optyczne, więcej pamięci podręcznej i szybsze architektury obliczeniowe zamiast redukcji tranzystorów.

nowe ścieżki postępu

Podobne incydenty są już obserwowane w przypadku obecnego LLM. Multimodalne modele sztucznej inteligencji, takie jak GPT-4O, Cloud 3.5 i Gemini 1.5, udowodniły, że umożliwiają postęp w złożonych zadaniach, takich jak integracja rozumienia tekstu i obrazu, analiza wideo i kontekstowe podpisy do obrazów. Dalsze dostrajanie algorytmu zarówno pod kątem uczenia, jak i wnioskowania jeszcze bardziej zwiększy wydajność. Technologie agentowe, które umożliwiają LLM autonomiczne działanie i płynną koordynację z innymi systemami, wkrótce znacznie poszerzą ich praktyczne zastosowania.

Przyszłe przełomowe osiągnięcia w modelowaniu mogą wyniknąć z jednego lub większej liczby projektów hybrydowej architektury sztucznej inteligencji łączącej rozumowanie symboliczne z sieciami neuronowymi. Już teraz model wnioskowania o1 OpenAI pokazuje potencjał integracji modeli i skalowania wydajności. Obliczenia kwantowe, choć wciąż wychodzą z wczesnych etapów rozwoju, obiecują przyspieszyć szkolenie i wnioskowanie w zakresie sztucznej inteligencji poprzez wyeliminowanie obecnych wąskich gardeł obliczeniowych.

Jest mało prawdopodobne, aby przyszłe zyski zostały zniszczone przez przewidywaną ścianę skalowania, ponieważ społeczność badaczy sztucznej inteligencji konsekwentnie udowadnia swoją pomysłowość w pokonywaniu wyzwań i odblokowywaniu nowych możliwości i ulepszeń w zakresie wydajności.

Tak naprawdę nie wszyscy zgadzają się, że istnieje w ogóle skalowana ściana. Dyrektor generalny OpenAI, Sam Altman, wyraził swoje zdanie zwięźle: „Nie ma ścian”.

Mówię o”Dziennik dyrektora generalnego, Podcast, były dyrektor generalny Google i współautor Wytwarzać Eric Schmidt zasadniczo zgodził się z Altmanem, mówiąc, że nie wierzy w istnienie muru skalującego – przynajmniej nie w ciągu najbliższych pięciu lat. „Za pięć lat będziesz miał jeszcze dwa lub trzy obroty korbą tych LLM. „Wygląda na to, że każda z tych korb ma dwukrotnie większą, trzykrotną, czterokrotną nośność, więc powiedzmy, że obracanie korb we wszystkich tych systemach zwiększy ich moc 50 lub 100 razy” – powiedział . Powiedział.

Czołowi innowatorzy sztucznej inteligencji nadal optymistycznie oceniają tempo postępu i potencjał nowych metod. Ten optymizm widać m.in ostatnie rozmowy Ale „Podcast Lenny’egoZ CPO OpenAI Kevinem Weilem i CPO Anthropic Mikiem Kriegerem.

W tej dyskusji Krieger opisał, że to, nad czym dzisiaj pracują OpenAI i Anthropic, „wydaje się mieć magię”, ale przyznał, że za zaledwie 12 miesięcy „spojrzymy wstecz i zapytamy: czy możesz uwierzyć, że wykorzystaliśmy te odpady? … ( rozwój sztucznej inteligencji) postępuje bardzo szybko.”

To prawda – czuję magię, czego niedawno doświadczyłem, korzystając z zaawansowanego trybu głosowego OpenAI. Rozmowa z „Juniperem” była całkowicie naturalna i intuicyjna, co pokazało, jak sztuczna inteligencja ewoluuje, aby rozumieć emocje i niuanse i reagować na nie w rozmowach w czasie rzeczywistym.

Krieger omówił także najnowszy model O1, nazywając go „nowym sposobem pomiaru inteligencji i uważamy, że jesteśmy dopiero na początku”. Dodał: „Modele stają się coraz bardziej inteligentne”.

Te oczekiwane postępy pokazują, że chociaż tradycyjne podejścia do skalowania mogą w najbliższej przyszłości przynieść malejące zyski, dziedzina sztucznej inteligencji jest gotowa na dalsze przełomy dzięki nowym metodom i kreatywnej inżynierii.

Czy skalowanie w ogóle ma znaczenie?

Choć wyzwania związane ze skalowaniem dominują w obecnej dyskusji na temat LLM, ostatnie badania pokazują, że istniejące modele są już w stanie dawać nadzwyczajne wyniki, co rodzi prowokacyjne pytanie, czy dalsze zwiększanie skali ma w ogóle sens.

A Najnowsze badania przewidują ChatGPT pomoże lekarzom w stawianiu diagnozy w przypadku skomplikowanych przypadków pacjentów. W badaniu przeprowadzonym na wczesnej wersji GPT-4 porównano możliwości diagnostyczne ChatGPT z lekarzami korzystającymi z pomocy AI i bez niej. Zaskakujący wynik ujawnił, że ChatGPT znacznie przewyższał obie grupy, w tym lekarzy korzystających wyłącznie z pomocy AI. Powodów takiego stanu rzeczy jest wiele, począwszy od braku zrozumienia przez lekarzy, jak najlepiej korzystać z botów, po przekonanie, że ich wiedza, doświadczenie i intuicja są z natury lepsze.

To nie pierwsze badanie, które pokazuje, że boty osiągają lepsze wyniki niż profesjonaliści. Na początku tego roku firma VentureBeat informowała o badaniu wykazującym, że firmy LLM mogą przeprowadzać analizy sprawozdań finansowych z dokładnością porównywalną do profesjonalnych analityków – a nawet ją przewyższać. Kolejnym celem było przewidzenie przyszłego wzrostu dochodów, wykorzystując również GPT-4. GPT-4 osiągnął 60% dokładność w przewidywaniu kierunku przyszłych zysków, znacznie wyższą niż zakres prognoz analityków ludzkich wynoszący 53–57%.

Warto zauważyć, że oba te przykłady opierają się na modelach, które są już nieaktualne. Wyniki te podkreślają, że nawet bez nowych przełomowych rozwiązań w zakresie skalowania istniejące LLM są już w stanie przewyższyć ekspertów w zakresie złożonych zadań, co podważa założenia dotyczące konieczności dalszego skalowania w celu osiągnięcia imponujących wyników.

Skalowanie, umiejętności lub jedno i drugie

Przykłady te pokazują, że obecne uczelnie LLM już dysponują dużymi możliwościami, ale samo zwiększanie skali nie może być jedyną drogą do przyszłych innowacji. Jednak biorąc pod uwagę możliwość większego skalowania i inne nowe technologie obiecujące poprawę wydajności, optymizm Schmidta odzwierciedla szybkie tempo rozwoju sztucznej inteligencji, co sugeruje, że w ciągu zaledwie pięciu lat modele będą w stanie odpowiedzieć na złożone pytania w wielu obszarach.

Niezależnie od tego, czy chodzi o skalowanie, umiejętności czy zupełnie nowe metody, kolejna granica sztucznej inteligencji może zmienić nie tylko technologię, ale także jej rolę w naszym życiu. Wyzwaniem na przyszłość jest zapewnienie, aby postęp był rozliczalny, sprawiedliwy i skuteczny dla wszystkich.

Gary Grossman jest wiceprezesem ds. praktyki technologicznej edelmana i globalne przywództwo w Centrum Doskonałości AI Edelman.