Jak Meta wykorzystuje generatywną sztuczną inteligencję do zrozumienia intencji użytkownika

meta — spółka-matka Facebooka, Instagrama, WhatsApp, Threads i innych — prowadzi jeden z największych na świecie systemów rekomendacji.

W dwóch niedawno opublikowanych artykułach badacze ujawnili, w jaki sposób można wykorzystać modele generatywne, aby lepiej zrozumieć intencje użytkownika i reagować na nie.

Traktując polecenia jako produktywny problem, możesz rozwiązać go na nowe sposoby, bogatsze w treść i skuteczniejsze niż podejścia klasyczne. To podejście może być bardzo przydatne w dowolnej aplikacji wymagającej odzyskiwania dokumentów, produktów lub innych typów obiektów.

odzyskiwanie intensywne vs generatywne

Standardowe podejście do budowania systemów rekomendujących polega na obliczaniu, przechowywaniu i pobieraniu gęstych reprezentacji dokumentów. Na przykład, aby rekomendować elementy użytkownikom, aplikacja musi wytrenować model, który może obliczyć osadzenie zarówno dla użytkowników, jak i elementów. Następnie musi utworzyć duży zbiór osadzonych elementów.

W momencie wnioskowania system rekomendacji próbuje zrozumieć intencje użytkownika, znajdując jeden lub więcej elementów, których osadzenie jest podobne do tego, jakie ma użytkownik. To podejście wymaga zwiększania ilości pamięci i mocy obliczeniowej w miarę wzrostu liczby elementów, ponieważ każde osadzenie elementu musi być przechowywane, a każda operacja rekomendacji wymaga porównania osadzania użytkownika z całym magazynem elementów.

Wyszukiwanie generatywne to najnowsze podejście, które próbuje zrozumieć intencje użytkownika i formułować rekomendacje poprzez przewidywanie następnego elementu w sekwencji, zamiast przeszukiwać bazę danych. Wyszukiwanie generatywne nie wymaga przechowywania osadzonych elementów, a jego szacunki i koszty przechowywania pozostają stałe w miarę wzrostu listy elementów.

Kluczem do skutecznego wyszukiwania generatywnego jest obliczenie „identyfikatora semantycznego” (SID), który zawiera informacje kontekstowe o każdym elemencie. Ogólne systemy odzyskiwania, takie jak Lampart Praca w dwóch etapach. Najpierw szkolony jest model kodera, aby utworzyć unikalną wartość osadzania dla każdego elementu na podstawie jego opisu i właściwości. Te wartości osadzania stają się identyfikatorem SID i są przechowywane wraz z elementem.

W drugim etapie A model transformatora Dane wejściowe są szkolone w zakresie przewidywania następnego identyfikatora SID w sekwencji. Lista wejściowych identyfikatorów SID reprezentuje interakcje użytkownika z poprzednimi elementami oraz identyfikatory SID zalecanych elementów przewidywanych przez model. Wyszukiwanie generatywne zmniejsza potrzebę przechowywania i przeszukiwania osadzonych poszczególnych elementów. Zwiększa także możliwość wychwytywania głębokich relacji semantycznych w danych i zapewnia inne korzyści płynące z modeli ogólnych, takie jak modyfikowanie temperatury w celu uwzględnienia różnorodności zaleceń.

Zaawansowane odzyskiwanie generatywne

Pomimo niskich kosztów przechowywania i wnioskowania, odzyskiwanie generatywne ma pewne ograniczenia. Na przykład zawyża pozycje widoczne podczas treningu, co oznacza, że ​​model ma problemy z obsługą pozycji dodanych do katalogu po jego przeszkoleniu. W systemach rekomendacyjnych jest to często nazywane „the problem z zimnym startemCo dotyczy użytkowników i obiektów, które są nowe i nie mają historii interakcji.

Aby przezwyciężyć te niedociągnięcia, Meta opracowała hybrydowy system rekomendacji zwany ligerŁączy w sobie możliwości obliczeniowe i magazynowe wyszukiwania generatywnego z wysoką jakością osadzania i możliwościami rankingu gęstego wyszukiwania.

Podczas uczenia LIGER wykorzystuje zarówno wynik podobieństwa, jak i następny token docelowy, aby ulepszyć rekomendacje modelu. Podczas wnioskowania LIGER wybiera pewną liczbę kandydatów na podstawie mechanizmu generatywnego i uzupełnia ich pewnymi pozycjami zimnego startu, które następnie są uszeregowane na podstawie osadzania wygenerowanych kandydatów.

Naukowcy twierdzą, że „połączenie gęstych i generatywnych metod wyszukiwania ma ogromny potencjał w udoskonalaniu systemów rekomendacji” oraz że w miarę ewolucji modeli „będą one coraz bardziej praktyczne w zastosowaniach w świecie rzeczywistym, umożliwiając więcej „Umożliwią spersonalizowane i responsywne doświadczenia użytkowników. ”

W osobnym artykule naukowcy przedstawiają nowatorską, multimodalną metodę wyszukiwania generatywnego zwaną zrozumienie preferencji multimodalnych (MENDER) – technika, która umożliwia modelom generatywnym wnioskowanie o ukrytych preferencjach na podstawie interakcji użytkownika z różnymi obiektami. Mender opiera się na ogólnych metodach wyszukiwania opartych na SID i dodaje pewne komponenty, które mogą wzbogacić rekomendacje o preferencje użytkownika.

Mender wykorzystuje model dużego języka (LLM), aby przełożyć interakcje użytkownika na określone preferencje. Na przykład, jeśli użytkownik pochwalił lub poskarżył się na konkretny przedmiot w recenzji, model podsumuje to a priori w odniesieniu do tej kategorii produktów.

Podstawowy model rekomendujący jest szkolony tak, aby podczas przewidywania kolejnego identyfikatora semantycznego w sekwencji wejściowej był warunkowany zarówno sekwencją interakcji użytkownika, jak i preferencjami użytkownika. Daje to modelowi rekomendującemu możliwość uogólniania i uczenia się w kontekście oraz dostosowywania się do preferencji użytkownika bez konieczności ich bezpośredniego szkolenia.

„Nasz wkład toruje drogę nowej klasie modeli wyszukiwania generatywnego, które odblokowują potencjał wykorzystania danych organicznych do kierowania rekomendacjami na podstawie preferencji użytkownika w formie tekstowej” – napisali naukowcy.

Implikacje dla aplikacji korporacyjnych

Wydajność zapewniana przez systemy wyszukiwania generatywnego może mieć znaczące konsekwencje dla aplikacji korporacyjnych. Postępy te przekładają się na natychmiastowe korzyści praktyczne, w tym obniżone koszty infrastruktury i szybsze szacowanie. Zdolność tej technologii do utrzymywania stałego miejsca przechowywania i przewidywalnych kosztów niezależnie od wielkości katalogu sprawia, że ​​jest ona szczególnie cenna dla rozwijających się firm.

Jego zalety obejmują wszystkie branże, od handlu elektronicznego po wyszukiwanie korporacyjne. Odnowa generatywna jest wciąż na wczesnym etapie i możemy spodziewać się, że w miarę jej dojrzewania pojawią się aplikacje i ramy.