AWS umożliwia teraz natychmiastowe buforowanie przy redukcji kosztów nawet o 90%.

Wykorzystanie sztucznej inteligencji stale rośnie, a w miarę jak coraz więcej przedsiębiorstw integruje narzędzia sztucznej inteligencji w swoich przepływach pracy, wiele z nich szuka większej liczby opcji pozwalających obniżyć koszty związane z uruchamianiem modeli sztucznej inteligencji.

Aby odpowiedzieć na zapotrzebowanie klientów, AWS Ogłoszono dwie nowe możliwości w Bedrock w celu obniżenia kosztów uruchamiania modeli i aplikacji AI, które są już dostępne na konkurencyjnych platformach.

Podczas przemówienia programowego na AWS re:Invent Swami Sivasubramanian, wiceprezes ds. sztucznej inteligencji i danych w AWS, ogłosił pojawienie się inteligentnych szybkich routingu i szybkiego buforowania na Bedrock.

Inteligentne kierowanie podpowiedzi pomoże skierować klientów do podpowiedzi o najlepszym rozmiarze, tak aby większy model nie odpowiadał na proste pytanie.

„Programiści potrzebują odpowiednich modeli do swoich zastosowań, dlatego oferujemy szeroki zestaw modeli” – powiedział Sivasubramaniam.

AWS twierdzi, że funkcja Intelligent Prompt Routing może „obniżyć koszty nawet o 30% bez utraty dokładności”. Użytkownicy muszą wybrać rodzinę modeli, a inteligentny routing Bedrock poprosi o podanie modelu o prawidłowym rozmiarze w ramach tej rodziny.

Przekazywanie sygnałów przez różne modele w celu optymalizacji wykorzystania i kosztów stopniowo zyskuje na znaczeniu w branży sztucznej inteligencji. Startup Not Diamond ogłosił w lipcu swoją funkcję inteligentnego routingu.

Firma zajmująca się agentami głosowymi, Argo Labs, klient AWS, twierdzi, że korzysta z inteligentnego szybkiego wyznaczania tras, aby mieć pewność, że model odpowiedniego rozmiaru obsłuży różne zapytania klientów. Proste pytania typu „tak” lub „nie”, takie jak „Czy masz rezerwację?” Zarządzane przez mały model, ale bardziej złożone modele, takie jak „Jakie opcje wegańskie są dostępne?” Zostanie zabrany do większego.

buforowanie wskazówek

AWS ogłosił również, że Bedrock będzie teraz obsługiwał buforowanie podpowiedzi, w którym Bedrock będzie mógł przechowywać typowe lub powtarzające się podpowiedzi bez pingowania modelu i generowania drugiego tokena.

„Koszt wygenerowania tokenów często może się sumować, zwłaszcza w przypadku tokenów powtarzanych” – powiedział Sivasubramanian. „Chcieliśmy zapewnić klientom łatwy sposób dynamicznego buforowania sygnałów bez utraty dokładności”.

AWS stwierdziło, że przyspieszone buforowanie zmniejsza koszty „nawet o 90%, a opóźnienia nawet o 85%” w przypadku obsługiwanych modeli.

Jednak AWS nieco spóźnił się z tym trendem. Buforowanie podpowiedzi jest dostępne na innych platformach, aby pomóc użytkownikom obniżyć koszty w przypadku ponownego wykorzystania podpowiedzi. antropicznyCloud 3.5 Sonnet i Haiku zapewniają natychmiastowe buforowanie w swoim interfejsie API. OpenAI Rozszerzono także buforowanie podpowiedzi dla interfejsu API.

Korzystanie z modeli AI może być kosztowne

Uruchamianie aplikacji AI pozostaje drogie, nie tylko ze względu na koszt modeli szkoleniowych, ale także faktycznego ich wykorzystania. Przedsiębiorstwa twierdzą, że koszt wykorzystania sztucznej inteligencji nadal stanowi jedną z największych barier na drodze do powszechnego wdrożenia.

W miarę jak przedsiębiorstwa zmierzają w kierunku zastosowań agentowych, nadal istnieją koszty związane z wysyłaniem przez użytkowników polecenia ping do modelu i agenta w celu rozpoczęcia pracy. Podejścia takie jak buforowanie podpowiedzi i inteligentny routing mogą pomóc w obniżeniu kosztów, ograniczając czas, jaki zachęta musi wysłać ping do interfejsu API modelu w celu udzielenia odpowiedzi na zapytanie.

Jednak twórcy modeli stwierdzili, że wraz ze wzrostem adopcji ceny niektórych modeli mogą spaść. OpenAI wyraziło nadzieję, że koszty sztucznej inteligencji wkrótce spadną.

więcej modeli

AWS, który obsługuje wiele modeli firmy Amazon – w tym nowe modele Nova – i głównych dostawców oprogramowania typu open source, będzie dodawać nowe modele na platformie Bedrock. Obejmuje to modele Poolside, Stability AI Stable Diffusion 3.5 i LumaOczekuje się, że wkrótce modele Ray 2 zostaną wypuszczone na platformę Bedrock.

Dyrektor generalny i współzałożyciel Lumy, Amit Jain, powiedział VentureBeat, że AWS jest pierwszym partnerem firmy będącym dostawcą usług w chmurze, który udostępnia jej modele. Jain powiedział, że firma korzystała z SageMaker HyperPod firmy Amazon podczas tworzenia i szkolenia modelu Luma.

„W zespole AWS byli inżynierowie, którzy czuli się częścią naszego zespołu, ponieważ pomagali nam w rozwiązywaniu problemów. Ożywienie naszych modeli zajęło nam około tygodnia lub dwóch, powiedział Jain.