Aktualizacja AWS Bedrock z uczeniem modelu, detektorem halucynacji

AWS Ogłoszono więcej aktualizacji dla Bedrock, których celem jest wykrywanie halucynacji i budowanie coraz mniejszych modeli, ponieważ przedsiębiorstwa oczekują od modeli większej personalizacji i dokładności.

AWS ogłosiło test destylacji modelu Amazon Bedrock i automatycznego wnioskowania podczas premiery na targach Re:Invent 2024 dla klientów korporacyjnych zainteresowanych szkoleniem małych modeli i rejestrowaniem halucynacji.

Amazon Bedrock Model Distillation umożliwi użytkownikom korzystanie z większego modelu sztucznej inteligencji do szkolenia mniejszego modelu i zapewni przedsiębiorstwom dostęp do modelu, który ich zdaniem najlepiej sprawdzi się przy ich obciążeniu pracą.

Większe modele, np 3.1 Zadzwoń pod numer 405BMają większą wiedzę, ale są powolni i uciążliwi. Młodszy model reaguje szybciej, ale często ma ograniczoną wiedzę.

AWS twierdzi, że Bedrock Model Distillation stworzy proces przenoszenia wiedzy z większego modelu do mniejszego bez poświęcania czasu reakcji.

Użytkownicy mogą wybrać żądany model o większej wadze i znaleźć mniejszy model w tej samej rodzinie, na przykład Llama lub Cloud, które mają różne rozmiary modeli w tej samej rodzinie, i zapisać przykładowe sygnały. Bedrock będzie generować informacje zwrotne i dostrajać mniejszy model, a także będzie nadal tworzyć więcej przykładowych danych w celu uzupełnienia wiedzy o większym modelu.

W tej chwili model pracuje z destylacją antropicznyAmazona i meta Model. Destylacja modelu Bedrock jest obecnie dostępna w wersji zapoznawczej.

Dlaczego przedsiębiorstwa interesują się destylacją modelową?

W przypadku przedsiębiorstw, które chcą modelu szybkiego reagowania – na przykład takiego, który może natychmiastowo odpowiadać na pytania klientów – musi istnieć równowaga między dużą wiedzą a szybkim reagowaniem.

Chociaż mogą zdecydować się na mniejszą wersję większego modelu, AWS przewiduje, że więcej przedsiębiorstw będzie chciało bardziej dostosować typ modeli – zarówno dużych, jak i małych – które chcą używać.

AWS, który oferuje wybór modeli w Bedrock’s Model Garden, spodziewa się, że przedsiębiorstwa będą chciały wybrać dowolną rodzinę modeli i wytrenować mniejszy model dostosowany do swoich potrzeb.

Wiele organizacji, głównie dostawców modeli, wykorzystuje destylację modeli do szkolenia małych modeli. Jednak AWS twierdzi, że proces ten zazwyczaj wymaga dużej wiedzy specjalistycznej w zakresie uczenia maszynowego i ręcznego dostrajania. Dostawcy modeli, tacy jak Meta, wykorzystali destylację modeli, aby przenieść szerszą bazę wiedzy do mniejszych modeli. Nvidia wykorzystała techniki destylacji i sortowania, aby stworzyć Llamę 3.1-Minitron 4b, model o mniejszym języku, który działa lepiej niż modele o podobnej wielkości.

Destylacja modelowa nie jest niczym nowym dla firmy Amazon, która od 2020 roku pracuje nad metodami destylacji modelowej.

szybkie wykrywanie błędów merytorycznych

Halucynacje pozostają problemem w przypadku modeli sztucznej inteligencji, nawet jeśli przedsiębiorstwa opracowały rozwiązania, takie jak dostrajanie i ograniczanie reakcji modeli. Jednak nawet najbardziej wyrafinowany model, który wykonuje funkcje generowania rozszerzonego wyszukiwania (RAG) tylko na podstawie zestawu danych, może nadal popełniać błędy.

Rozwiązanie AWS to automatyczne sprawdzanie rozumowania w Bedrock, które wykorzystuje weryfikację matematyczną w celu sprawdzenia, czy odpowiedź jest poprawna.

„Automatyczna kontrola wnioskowania to pierwsza i jedyna generatywna ochrona AI, która pomaga zapobiegać błędom rzeczowym spowodowanym halucynacjami poprzez stosowanie logicznie dokładnego i weryfikowalnego rozumowania” – stwierdził AWS. „Zwiększając zaufanie klientów do odpowiedzi modeli, kontrole zautomatyzowanego rozumowania otwierają generatywną sztuczną inteligencję na nowe przypadki użycia, w których dokładność jest najważniejsza”.

Klienci mogą uzyskać dostęp do automatycznych kontroli rozumowania z Amazon Bedrock Guardrails, które zapewniają odpowiedzialną sztuczną inteligencję i dostrajanie modeli produktów. Badacze i programiści często korzystają z automatycznego rozumowania, aby znaleźć dokładne odpowiedzi na złożone problemy matematyczne.

Użytkownicy muszą przesłać swoje dane, a Bedrock zastosuje się do zasad obowiązujących dla modelu i poinstruuje klientów, aby upewnić się, że model im odpowiada. Po przetestowaniu tego, automatyczne kontrole rozumowania w Bedrock zweryfikują odpowiedzi z modelu. Jeśli zwróci coś złego, Bedrock zasugeruje nową odpowiedź.

Dyrektor generalny AWS Matt Garman powiedział podczas swojego przemówienia, że ​​automatyczne kontrole zapewniają, że dane przedsiębiorstwa pozostają jego wyróżnikiem, a modele sztucznej inteligencji dokładnie to odzwierciedlają.