Minimax przedstawia Open Source LLM z oszałamiającą referencją do tokena o wartości 4 mln

MiniMax jest dziś prawdopodobnie najbardziej znany w USA jako singapurska firma stojąca za Heluo, realistycznym, generatywnym modelem wideo AI o wysokiej rozdzielczości, który konkuruje z Runway, Sora firmy OpenAI i Dream Machine Is firmy Luma AI.

Ale firma ma inne asy w rękawie: na przykład dzisiaj ogłosiła wydanie swojego oprogramowania i udostępnienie go na zasadach open source Seria Minimax-01Nowa rodzina modeli stworzona do obsługi bardzo długich kontekstów i usprawniania rozwoju agentów AI.

Seria obejmuje MiniMax-Text-01, podstawowy model dużego języka (LLM) i MiniMax-VL-01, wizualny model multimodalny.

ogromne okno kontekstowe

MiniMax-Text-o1 jest szczególnie godny uwagi, ponieważ może pomieścić do 4 milionów tokenów w swoim oknie kontekstowym – co odpowiada jednemu książki warte małej bibliotekiOkno kontekstowe wskazuje, ile informacji może obsłużyć LLM. wymianę wejścia/wyjściaLLM ma własną wewnętrzną matematyczną abstrakcję danych, na której został przeszkolony, przy czym słowa i pojęcia są reprezentowane jako numeryczne „tokeny”.

I chociaż Google wcześniej przewodził grupie dzięki modelowi Gemini 1.5 Pro Okno referencyjne tokenów o wartości 2 milionówMinimax znacząco to podwoił.

jako minimax Opublikowano dzisiaj na moim oficjalnym koncie X: „MiniMax-01 wydajnie przetwarza do 4 mln tokenów – 20 do 32 razy więcej niż inne wiodące modele. Wierzymy, że MiniMax-01 jest gotowy do obsługi przewidywanego wzrostu liczby aplikacji agentowych w nadchodzącym roku, ponieważ agenci coraz częściej wymagają rozszerzonych możliwości zarządzania kontekstem i trwałej pamięci.

Modele są już dostępne do pobrania przytulanie twarzy I GitHub pod jednym niestandardowa licencja minimaxaby użytkownicy mogli wypróbować bezpośrednio heluo ai chat (konkurent ChatGPT/Gemini/Cloud) oraz poprzez Minimax Interfejs programowania aplikacji (API)Gdzie zewnętrzni programiści mogą łączyć z nimi własne, unikalne aplikacje.

Minimax oferuje interfejsy API do przetwarzania tekstu i multimodalnego w konkurencyjnych cenach:

• 0,2 USD za 1 milion tokenów wejściowych
• 1,1 dolara za 1 milion tokenów wyjściowych

Dla porównania koszt GPT-4o OpenAI 2,50 USD za 1 milion tokenów wejściowych Dzięki API jest zaskakująco 12,5 razy droższy.

MiniMax integruje także strukturę ekspertów (MOE) z 32 ekspertami, aby zoptymalizować skalowalność. Konstrukcja ta równoważy wydajność obliczeniową i pamięć, zachowując jednocześnie konkurencyjną wydajność w kluczowych testach.

Odkrywanie nowych możliwości dzięki architekturze Lightning Attention

Sercem MiniMax-01 jest mechanizm uwagi błyskawicy, innowacyjna alternatywa dla architektury transformatorowej.

Taka konstrukcja znacznie zmniejsza złożoność obliczeniową. Model zawiera 456 miliardów parametrów, z czego 45,9 miliarda jest aktywnych w przeliczeniu na szacunki.

W przeciwieństwie do wcześniejszych architektur, Lightning Attention wykorzystuje mieszankę liniowych i tradycyjnych warstw softmax, aby osiągnąć niemal liniową złożoność w przypadku długich danych wejściowych. softmaxDla osób takich jak ja, dla których ta koncepcja jest nowa, pomysł polega na przekształceniu cyfr wejściowych na prawdopodobieństwa, które sumują się do 1, tak aby LLM mógł odgadnąć, które znaczenie danych wejściowych jest prawdopodobne.

Minimax przebudował swoją platformę uczenia i wnioskowania, aby wspierać architekturę Lightning Attention. Najważniejsze reformy obejmują:

• MoE kompleksowa optymalizacja komunikacji: Zmniejsza narzut związany z komunikacją między procesorami graficznymi.
• Varlen przykuł uwagę: Redukuje straty obliczeniowe przy przetwarzaniu długich sekwencji.
• wydajna implementacja jądra: Zoptymalizowane jądra CUDA poprawiają wydajność Lightning Attention.

Dzięki tym udoskonaleniom model MiniMax-01 jest dostępny w rzeczywistych zastosowaniach, zachowując przy tym przystępną cenę.

Wydajność i testy porównawcze

W mainstreamowych testach tekstowych i multimodalnych MiniMax-01 może konkurować z czołowymi modelami, takimi jak GPT-4 i Cloud-3.5, uzyskując szczególnie dobre wyniki w ocenie w długim kontekście. W szczególności MiniMax-Text-01 osiągnął 100% dokładności igła w stogu siana Z referencją na 4 miliony żetonów.

Modele wykazują również minimalny spadek wydajności wraz ze wzrostem długości wejściowej.

Minimax planuje regularne aktualizacje, aby rozszerzyć możliwości modeli, w tym ulepszenia kodu i multimodalne.

Firma postrzega open source jako krok w kierunku budowania podstawowych możliwości sztucznej inteligencji dla powstającego krajobrazu agentów AI.

Ponieważ przewiduje się, że rok 2025 będzie rokiem transformacji dla agentów AI, rośnie zapotrzebowanie na trwałą pamięć i efektywną komunikację między agentami. Innowacje MiniMax zostały zaprojektowane, aby sprostać tym wyzwaniom.

otwarty na współpracę

MiniMax zaprasza programistów i badaczy do odkrywania możliwości MiniMax-01. Oprócz open source jego zespół chętnie przyjmuje sugestie techniczne i zapytania o współpracę pod adresem model@minimaxi.com.

Dzięki zaangażowaniu w opłacalną i skalowalną sztuczną inteligencję Minimax pozycjonuje się jako kluczowy gracz w kształtowaniu ery agentów AI. Seria MiniMax-01 zapewnia programistom ekscytującą możliwość przesuwania granic tego, co może osiągnąć sztuczna inteligencja w długim kontekście.