Ilya Sutskever, współzałożyciel i były główny naukowiec OpenAI, na początku tego roku trafił na pierwsze strony gazet, kiedy odszedł, aby założyć własne laboratorium AI. Bezpieczny nadzór Inc.Od czasu swojego odejścia pozostawał poza centrum uwagi, ale w piątek rzadko pojawiał się publicznie na konferencji Neural Information Processing Systems (NeurIPS) w Vancouver.
„Przygotowanie do treningu, jakie znamy, niewątpliwie się zakończy” – powiedział na scenie Sutskever. Odnosi się to do pierwszego etapu rozwoju modelu sztucznej inteligencji, kiedy duży model językowy uczy się wzorców z dużych ilości nieoznaczonych danych – zazwyczaj tekstu z Internetu, książek i innych źródeł.
„Osiągnęliśmy szczytowe dane i nie będzie ich więcej”.
Podczas przemówienia w sprawie Neurips Sutskever powiedział, że chociaż wierzy, że istniejące dane nadal mogą napędzać rozwój sztucznej inteligencji, branża w coraz większym stopniu wykorzystuje nowe dane do celów szkoleniowych. Ta dynamika ostatecznie wymusi zmiany w dzisiejszym sposobie szkolenia modeli, powiedział. Porównał tę sytuację do sytuacji w przypadku paliw kopalnych: tak jak ropa naftowa jest zasobem ograniczonym, tak Internet zawiera skończoną ilość treści generowanych przez człowieka.
Według Sutskevera „Osiągnęliśmy szczytowe dane i nie będzie ich więcej”. „Musimy sobie poradzić z danymi, które mamy. Internet jest tylko jeden.”
Przewiduje, że następna generacja modeli będzie „w realny sposób skuteczna”. Agenci stali się prawdziwym modnym hasłem w dziedzinie AI. Chociaż Suckever nie zdefiniował ich w swoim wystąpieniu, są one powszechnie rozumiane jako autonomiczny system sztucznej inteligencji, który samodzielnie działa, podejmuje decyzje i wchodzi w interakcję z oprogramowaniem.
Powiedział, że przyszłe systemy nie tylko będą „agentami”, ale także będą mogły rozumować. W przeciwieństwie do dzisiejszej sztucznej inteligencji, która głównie dopasowuje wzorce na podstawie tego, co widział wcześniej model, przyszłe systemy sztucznej inteligencji będą mogły pracować krok po kroku w sposób bardziej porównywalny do myślenia.
Według Sutskevera im więcej powodów dostarcza system, „tym bardziej staje się nieprzewidywalny”. Porównał nieprzewidywalność „prawdziwie rozumujących systemów” do tego, jak zaawansowana sztuczna inteligencja gra w szachy „są nieprzewidywalna dla najlepszych szachistów-ludzi”.
„Zrozumieją rzeczy na podstawie ograniczonych danych” – powiedział. „Nie będą zdezorientowani”.
Na scenie dokonał porównania skalowania systemów sztucznej inteligencji z biologią ewolucyjną, cytując badania pokazujące związek między mózgiem a masą ciała u różnych gatunków. Zauważył, że podczas gdy większość ssaków podąża według wzorca skalowania, hominidy (przodkowie człowieka) wykazują wyraźne nachylenie stosunku masy mózgu do masy ciała w skali logarytmicznej.
Zasugerował, że tak jak ewolucja znalazła nowy wzorzec skalowania mózgu hominidów, sztuczna inteligencja może znaleźć nowe podejście do skalowania wykraczające poza to, co działa obecnie przed treningiem.
Po zakończeniu przemówienia Sutskever jeden ze słuchaczy zapytał go, w jaki sposób badacze mogą stworzyć odpowiednie mechanizmy motywacyjne dla ludzkości, aby stworzyła sztuczną inteligencję, która zapewni jej „wolności, jakie mamy jako homosapiens”.
„Myślę, że w pewnym sensie są to pytania, nad którymi ludzie powinni częściej się zastanawiać” – odpowiedział Suckewer. Przerwał na chwilę, po czym stwierdził, że „nie czuje się pewnie, odpowiadając na tego typu pytania”, ponieważ wymagałoby to „odgórnej struktury rządowej”. Członek widowni zasugerował kryptowaluty, co wywołało śmiech innych osób na sali.
„Nie sądzę, że jestem odpowiednią osobą do komentowania kryptowalut, ale istnieje możliwość, że wydarzy się to, co opisujesz” – powiedział Suckever. „Wiesz, w pewnym sensie nie jest to zły wynik końcowy, jeśli masz sztuczną inteligencję, a oni po prostu chcą z nami współistnieć i po prostu mają prawa. Może wszystko będzie dobrze… Wydaje mi się, że wszystko jest tak niesamowicie nieprzewidywalne. „Waham się, czy to komentować, ale zachęcam do spekulacji”.
