AWS SageMaker przekształca się w połączone centrum danych i sztucznej inteligencji

Dziś na corocznej mega konferencji nowy wynalazek 2024Amazon Web Services (AWS) ogłosił następną generację swojej opartej na chmurze platformy programistycznej do uczenia maszynowego (ML) SageMaker, przekształcając ją w ujednolicone centrum, które umożliwia przedsiębiorstwom gromadzenie wszystkich swoich zasobów danych, a nie tylko: źródła. w architekturze Lakehouse – ale także AWS Ecosystem Analytics i szerszy zestaw wcześniej odrębnych narzędzi ML.

Innymi słowy: SageMaker nie jest już tylko miejscem do tworzenia aplikacji AI i uczenia maszynowego – możesz teraz łączyć swoje dane i uzyskiwać z nich analizy.

Posunięcie to jest odpowiedzią na ogólny trend konwergencji analityki i sztucznej inteligencji, w ramach którego użytkownicy korporacyjni chcą wykorzystać swoje dane, począwszy od wspomagania analityki historycznej, po umożliwienie szkolenia modeli uczenia maszynowego i generatywnych aplikacji AI przeznaczonych do różnych przypadków użycia wzajemnie powiązane sposoby.

W szczególności Microsoft ciężko pracował, aby zintegrować całą swoją ofertę danych z produktem Fabric i zaledwie w zeszłym miesiącu ogłosił, że więcej operacyjnych baz danych zostanie bezproblemowo zintegrowanych. Wszystko to pozwala na łatwiejsze tworzenie aplikacji AI dla klientów – ponieważ natywny dostęp do danych może sprawić, że sztuczna inteligencja będzie znacznie szybsza i wydajniejsza. Za lidera uznano tutaj Microsoft, a teraz do przodu idzie także Amazon.

„Wielu klientów korzysta już z kombinacji naszych specjalnie zaprojektowanych narzędzi analitycznych i narzędzi ML (różnych), takich jak Amazon SageMaker – de facto standard do pracy z danymi i budowania modeli ML – Amazon EMR, Amazon Redshift, Amazon S3 Data Lake i AWS Klej. Następna generacja SageMaker łączy te możliwości – wraz z kilkoma ekscytującymi nowymi funkcjami – aby zapewnić klientom wszystkie narzędzia potrzebne do przetwarzania danych, analityki SQL, opracowywania i szkolenia modeli uczenia maszynowego oraz generatywnej sztucznej inteligencji bezpośrednio w SageMaker, „Swami Sivasubramaniam , wiceprezes ds. danych i sztucznej inteligencji w AWS, stwierdził w oświadczeniu.

w Sagemaker Unified Studio i Lakehouse Center

Amazon SageMaker od dawna jest cennym narzędziem dla programistów i analityków danych, zapewniając im w pełni zarządzaną usługę umożliwiającą wdrażanie modeli uczenia maszynowego klasy produkcyjnej.

Zintegrowane środowisko programistyczne platformy, SageMaker Studio, zapewnia zespołom pojedynczy, internetowy interfejs wizualny umożliwiający realizację wszystkich etapów programowania uczenia maszynowego, od przygotowania danych, budowania modelu, szkolenia, dostrajania i wdrażania.

Jednak w miarę ewolucji potrzeb przedsiębiorstwa AWS zdał sobie sprawę, że nie ma sensu ograniczać SageMakera tylko do wdrożeń ML. Przedsiębiorstwa potrzebują również specjalnie opracowanych usług analitycznych (obsługujących obciążenia, takie jak analityka SQL, analiza wyszukiwania, przetwarzanie dużych zbiorów danych i analityka strumieniowa) wraz z istniejącymi funkcjami SageMaker ML, aby zwiększyć wgląd i zapewnić nowe doświadczenia swoim podwykonawcom. Wymagają łatwego dostępu do wszystkich swoich zasobów dane. Użytkownik.

Dwie nowe możliwości: SageMaker Lakehouse i Unified Studio

Aby wypełnić tę lukę, firma zaktualizowała SageMaker o dwie kluczowe funkcje: Amazon SageMaker Lakehouse i Unified Studio.

Jak wyjaśnia firma, oferta Lakehouse zapewnia ujednolicony dostęp do wszystkich danych przechowywanych w jeziorze danych zbudowanym w oparciu o usługę Amazon Simple Storage Service (S3), Redshift Data Warehouse i inne stowarzyszone źródła danych, dzieląc silosy i ułatwiając można zapytać. Gdzie informacje są pierwotnie przechowywane.

„Obecnie w usłudze Amazon Simple Storage Service utworzono ponad milion jezior danych… umożliwiając klientom centralizację zasobów danych i czerpanie wartości za pomocą narzędzi analitycznych AWS, sztucznej inteligencji i uczenia maszynowego… Klienci mają dostęp do wielu jezior danych. Dane mogą być rozproszone w całych Stanach Zjednoczonych, a także hurtownię danych i odniesie korzyści z prostego sposobu integracji wszystkich tych danych” – podała firma w komunikacie prasowym.

Po zintegrowaniu wszystkich danych z ofertą Lakehouse przedsiębiorstwa będą miały do ​​nich dostęp i wykorzystają je do pracy za pomocą innej kluczowej funkcji – SageMaker Unified Studio.

Zasadniczo Studio działa jako zintegrowane środowisko, które łączy wszystkie istniejące możliwości sztucznej inteligencji i analityki z samodzielnego Studio firmy Amazon, edytorów zapytań i narzędzi wizualnych – Amazon Bedrock, Amazon EMR, Amazon Redshift, AWS Glue i Extends z istniejącymi studiami Sagemaker.

Oszczędza to czasochłonny wysiłek związany z używaniem różnych narzędzi w izolacji i pozwala użytkownikom wykorzystać te możliwości do wyszukiwania i przygotowywania danych, tworzenia zapytań lub kodu, przetwarzania danych i tworzenia modeli uczenia maszynowego. Mogą także przywołać asystenta programisty Amazon Queue i poprosić go o obsługę takich zadań, jak integracja danych, wyszukiwanie, kodowanie lub generowanie SQL w tym samym środowisku.

Krótko mówiąc, użytkownicy otrzymują w jednym miejscu wszystkie swoje dane oraz wszystkie narzędzia analityczne i ML, które umożliwiają obsługę aplikacji końcowych, począwszy od inżynierii danych, analityki SQL i zapytań ad hoc, po naukę danych, ML i generatywną sztuczną inteligencję.

Kamień węgielny w Sagemaker

Na przykład dzięki funkcjom Bedrock w SageMaker Studio użytkownicy mogą łączyć swoje ulubione, wydajne modele i narzędzia, takie jak agenci, balustrady i bazy wiedzy, z zasobami danych Lakehouse, aby szybko tworzyć i wdrażać ogólne aplikacje AI.

Po wykonaniu projektów oferty Lakehouse i Studio umożliwiają zespołom publikowanie i udostępnianie członkom zespołu danych, modeli, aplikacji i innych artefaktów – przy jednoczesnym zachowaniu szczegółowej kontroli bezpieczeństwa za pomocą jednego uprawnienia. Utrzymanie spójnych zasad dostępu przy użyciu modeli. Przyspiesza to odkrywanie i ponowne wykorzystanie zasobów, zapobiegając dublowaniu wysiłków.

Kompatybilny z otwartymi standardami

Warto zauważyć, że SageMaker Lakehouse jest kompatybilny z Apache Iceberg, co oznacza, że ​​będzie działać również ze znanymi narzędziami AI i ML oraz silnikami zapytań w otwartym standardzie Apache Iceberg. Dodatkowo obejmuje integrację zerowego ETL dla Amazon Aurora MySQL i PostgreSQL, Amazon RDS dla MySQL, Amazon DynamoDB z Amazon Redshift, a także aplikacje SaaS, takie jak Zendesk i SAP.

„Oferta SageMaker podkreśla strategię AWS polegającą na udostępnianiu zaawansowanych, kompleksowych możliwości w kontrolowany i zintegrowany sposób, dzięki czemu można szybko budować, testować i wykorzystywać obciążenia ML i AI. AWS zapoczątkował termin Zero-ETL i obecnie stał się standardem w branży. To ekscytujące widzieć, jak Zero-ETL rozszerza się poza bazy danych i na aplikacje. „Dzięki kontroli zarządzania i obsłudze danych ustrukturyzowanych i nieustrukturyzowanych badacze danych mogą teraz z łatwością tworzyć aplikacje ML” – powiedział VentureBeat analityk branżowy Sanjeev Mohan.

Nowy SageMaker jest już dostępny

Nowy SageMaker jest dostępny dla klientów AWS od dzisiaj. Jednak Unified Studio jest wciąż w fazie podglądu. AWS nie podał żadnego konkretnego harmonogramu, ale zauważył, że oczekuje, że Studio będzie wkrótce powszechnie dostępne.

Firmy takie jak Roche i NetVast Group będą jednymi z pierwszych użytkowników nowych możliwości, przy czym ta ostatnia oczekuje, że Unified Studio skróci o 50% czas potrzebny użytkownikom danych na dostęp do analityki i możliwości sztucznej inteligencji. Tymczasem Roche spodziewa się skrócenia czasu przetwarzania danych o 40% dzięki SageMaker Lakehouse.

AWS ponownie:wynaleziony Trwa od 2 do 6 grudnia 2024 r.