Ten artykuł jest częścią specjalnego wydania VentureBeat „AI at Scale: From Vision to Viability”. Więcej informacji na temat tego specjalnego wydania można znaleźć tutaj.
Ten artykuł jest częścią specjalnego wydania VentureBeat „AI at Scale: From Vision to Viability”. Więcej na ten temat przeczytasz tutaj.
Pod koniec 2024 r. możemy spojrzeć wstecz i przyznać, że sztuczna inteligencja poczyniła imponujące i bezprecedensowe postępy. Przy obecnym tempie prawie niemożliwe jest przewidzenie, jakie niespodzianki przyniesie AI rok 2025. Jednak kilka trendów daje przekonujący obraz tego, czego przedsiębiorstwa mogą się spodziewać w nadchodzącym roku i jak mogą się przygotować, aby w pełni je wykorzystać.
utopione oszacowanie kosztów
W ciągu ostatniego roku cena modeli Frontier stale spadała. Cena za milion tokenów najskuteczniejszego modelu wielkojęzykowego (LLM) OpenAI spadła ponad 200 razy w ciągu ostatnich dwóch lat.
Głównym czynnikiem wpływającym na obniżenie szacunkowej ceny jest rosnąca konkurencja. W przypadku wielu zastosowań korporacyjnych odpowiednia będzie większość modeli Frontier, ułatwiając przejście z jednego na drugi, przenosząc konkurencję na ceny. Ulepszenia chipów akceleratorów i wyspecjalizowanego sprzętu do wnioskowania umożliwiają także laboratoriom AI udostępnianie swoich modeli po niższych kosztach.
Aby wykorzystać ten trend, przedsiębiorstwa powinny zacząć eksperymentować z najbardziej zaawansowanymi LLM i budować wokół nich prototypy aplikacji, nawet jeśli koszty są obecnie wysokie. Ciągła obniżka cen modeli oznacza, że wiele z tych aplikacji wkrótce stanie się skalowalnych. Ponadto możliwości modeli stale się poprawiają, co oznacza, że przy tym samym budżecie niż w zeszłym roku można zrobić o wiele więcej.
Powstanie dużych modeli rozumowania
Wydanie OpenAI o1 zapoczątkowało nową falę innowacji w dziedzinie LLM. Tendencja do pozwalania modelom „myśleć” i przeglądać swoje odpowiedzi przez długi czas umożliwia im rozwiązywanie problemów z rozumowaniem, które byłyby niemożliwe w przypadku połączeń z pojedynczym odgadnięciem. Chociaż OpenAI nie ujawniło szczegółów o1, jego imponujące możliwości zapoczątkowały nowy wyścig w dziedzinie sztucznej inteligencji. Obecnie istnieje kilka modeli typu open source, które replikują możliwości rozumowania O1 i rozszerzają paradygmat na nowe obszary, takie jak odpowiadanie na pytania otwarte.
Postępy w modelach typu O1, czasami nazywanych dużymi modelami logicznymi (LRM), mogą mieć dwie ważne implikacje na przyszłość. Po pierwsze, biorąc pod uwagę ogromną liczbę tokenów generowanych przez LRM na potrzeby swoich odpowiedzi, możemy spodziewać się większej motywacji producentów sprzętu do tworzenia wyspecjalizowanych akceleratorów sztucznej inteligencji o wyższej przepustowości tokenów.
Po drugie, LRM może pomóc w rozwiązaniu jednego z kluczowych ograniczeń modeli językowych nowej generacji: wysokiej jakości danych szkoleniowych. Istnieją już doniesienia, że OpenAI używa o1 GENusuń przykład szkolenia Dla modeli nowej generacji. Możemy również oczekiwać, że LRM pomogą w stworzeniu nowej generacji mniejszych modeli, które są szkolone na danych syntetycznych dla bardzo konkretnych zadań.
Aby skorzystać z tych osiągnięć, przedsiębiorstwa powinny przeznaczyć czas i budżet na eksperymentowanie z potencjalnymi zastosowaniami granicznych LRM. Powinni zawsze sprawdzić ograniczenia modeli marginalnych i zastanowić się, jakie zastosowania byłyby możliwe, gdyby modele nowej generacji przekroczyły te ograniczenia. Dzięki ciągłemu obniżaniu szacunkowych kosztów LRM może odblokować wiele nowych zastosowań w nadchodzącym roku.
Alternatywy transformatorowe zyskują na popularności
Wąskie gardło pamięci i obliczeń Transformera, głównej architektury głębokiego uczenia się stosowanej w LLM, dało początek dziedzinie alternatywnych modeli o złożoności liniowej. W najpopularniejszej z tych architektur, modelu przestrzeni stanów (SSM), w ciągu ostatniego roku dokonano wielu postępów. Inne obiecujące modele obejmują płynne sieci neuronowe (LNN), które wykorzystują nowe równania matematyczne do wielu zadań przy niewielkiej liczbie sztucznych neuronów i cyklach obliczeniowych.
W ubiegłym roku badacze i laboratoria AI opublikowali czyste modele SSM, a także modele hybrydowe, które łączą w sobie zalety modeli Transformer i modeli liniowych. Chociaż modele te nie osiągnęły jeszcze wydajności na poziomie najnowocześniejszych modeli opartych na transformatorach, ich rozwój szybko się rozwija i już są znacznie szybsze i wydajniejsze. Jeśli postęp w tej dziedzinie będzie się utrzymywał, do tych modeli można będzie załadować wiele prostych aplikacji LLM i uruchamiać je na urządzeniach brzegowych lub serwerach lokalnych, gdzie przedsiębiorstwa będą mogły korzystać z dostosowanych do indywidualnych potrzeb danych bez wysyłania ich do stron trzecich.
Zmiany w przepisach skalujących
Prawa skalowania LLM stale ewoluują. Wydanie GPT-3 w 2020 r. udowodniło, że zwiększanie rozmiaru modelu będzie w dalszym ciągu dawać imponujące wyniki, a modele będą w stanie wykonywać zadania, do których nie zostały specjalnie przeszkolone. W 2022 roku wydano DeepMind papier szynszylowyKtóre wyznaczyły nowy kierunek w przepisach dotyczących skalowania danych. Chinchilla udowodniła, że trenując model na ogromnym zbiorze danych, wielokrotnie większym niż liczba jego parametrów, można w dalszym ciągu osiągać ulepszenia. Rozwój ten umożliwił mniejszym modelom konkurowanie z modelami marginalnymi zawierającymi setki miliardów parametrów.
Obecnie istnieje obawa, że oba przepisy dotyczące skalowania osiągną swoje granice. raporty wskazują, że marginalne laboratoria odnotowują malejące zyski z uczenia dużych modeli. Jednocześnie zbiory danych szkoleniowych rozrosły się już do dziesiątek bilionów tokenów, a uzyskanie wysokiej jakości danych staje się coraz trudniejsze i droższe.
Tymczasem LRM obiecują nowy wektor: skalowanie w czasie szacowania. Tam, gdzie rozmiar modelu i zbioru danych zawiedzie, możemy być w stanie otworzyć nowe możliwości, umożliwiając modelowi wykonanie większej liczby cykli wnioskowania i skorygowanie błędów.
Wkraczamy w rok 2025. Krajobraz sztucznej inteligencji ewoluuje w nieoczekiwany sposób, a nowe architektury, możliwości rozumowania i modele ekonomiczne zmieniają to, co jest możliwe. Dla przedsiębiorstw chcących eksperymentować i dostosowywać się te trendy oznaczają nie tylko postęp technologiczny, ale fundamentalną zmianę w sposobie wykorzystania sztucznej inteligencji do rozwiązywania rzeczywistych problemów.
Source link
