Zarządzanie zadaniami AWS HyperPod zapobiega bezczynności procesora graficznego

Koszt pozostaje głównym problemem w przypadku wykorzystania sztucznej inteligencji w przedsiębiorstwach i stanowi wyzwanie, z którym AWS musi się zmierzyć.

Dzisiaj na konferencji AWS:Reinvent 2024 gigant chmurowy ogłosił HyperPod Task Governance, wyrafinowane rozwiązanie, które ma na celu wyeliminowanie jednej z najbardziej kosztownych nieefektywności operacji AI w przedsiębiorstwach: niewykorzystanych zasobów procesora graficznego.

Według AWS rozwiązanie HyperPod Task Governance może zwiększyć wykorzystanie akceleratora AI, pomagając przedsiębiorstwom w optymalizacji kosztów AI i potencjalnie poczynieniu znacznych oszczędności.

„Ta innowacja pomaga zmaksymalizować wykorzystanie zasobów komputera poprzez automatyzację ustalania priorytetów i zarządzania ogólnymi zadaniami sztucznej inteligencji, redukując koszty nawet o 40%” – powiedział Swami Sivasubramaniam, wiceprezes ds. sztucznej inteligencji i danych w AWS.

Limit czasu bezczynności procesora graficznego

W miarę jak organizacje szybko skalują swoje inicjatywy związane ze sztuczną inteligencją, wiele z nich odkrywa kosztowny paradoks. Pomimo ogromnych inwestycji w infrastrukturę GPU do obsługi różnych obciążeń AI, w tym szkolenia, dostrajania i wnioskowania, te drogie zasoby obliczeniowe często pozostają niewykorzystane.

Liderzy przedsiębiorstw zgłaszają zaskakująco niski poziom wykorzystania swoich projektów AI, nawet gdy zespoły rywalizują o zasoby obliczeniowe. Jak się okazuje, jest to właściwie wyzwanie, przed którym stanął sam AWS.

„Wewnętrznie mieliśmy tego rodzaju problem, ponieważ ponad rok temu pracowaliśmy na dużą skalę i zbudowaliśmy system, który uwzględnia wymagania dotyczące zużycia tych akceleratorów” – powiedział Sivasubramanian VentureBeat. „Rozmawiałem z wieloma naszymi klientami, dyrektorami ds. IT i dyrektorami generalnymi, powiedzieli, że właśnie tego chcemy; Chcemy tego jako części SageMaker i właśnie to uruchamiamy.”

Swamy powiedział, że wykorzystanie akceleratora AI AWS osiągnęło szczyt po wdrożeniu systemu, a wskaźniki wykorzystania wzrosły o ponad 90%.

Jak działa zarządzanie zadaniami Hyperpod?

Technologia SageMaker HyperPod została po raz pierwszy ogłoszona na konferencji re:Invent 2023.

SageMaker HyperPod został zbudowany tak, aby poradzić sobie ze złożonością uczenia dużych modeli z miliardami lub dziesiątkami miliardów parametrów, co wymaga zarządzania dużymi klastrami akceleratorów uczenia maszynowego.

Zarządzanie zadaniami HyperPod dodaje nowy poziom kontroli do SageMaker HyperPod, wprowadzając inteligentną alokację zasobów pomiędzy różnymi obciążeniami AI.

System rozpoznaje, że różne zadania AI mają różne wzorce zapotrzebowania w ciągu dnia. Na przykład obciążenie wnioskowaniem zwykle osiąga szczyt w godzinach pracy, kiedy aplikacje są najczęściej używane, natomiast szkolenia i eksperymenty można zaplanować poza godzinami szczytu.

System zapewnia przedsiębiorstwom wgląd w czasie rzeczywistym w wykorzystanie projektu, wykorzystanie zasobów zespołu i wymagania obliczeniowe. Umożliwia to organizacjom efektywne równoważenie zasobów GPU w różnych zespołach i projektach, zapewniając, że kosztowna infrastruktura AI nigdy nie pozostanie bezczynna.

AWS chce mieć pewność, że przedsiębiorstwa nie pozostawią pieniędzy na stole

W swoim przemówieniu Sivasubramaniam podkreślił kluczowe znaczenie zarządzania kosztami sztucznej inteligencji.

Jako przykład podał, że jeśli w organizacji wdrożono tysiąc akceleratorów AI, nie wszystkie są wykorzystywane konsekwentnie w ciągu 24 godzin. W ciągu dnia są one intensywnie wykorzystywane do wnioskowania, ale w nocy duża część tych kosztownych zasobów pozostaje bezczynna, gdy zapotrzebowanie na wnioskowanie może być znacznie mniejsze.

„Żyjemy w świecie, w którym zasoby obliczeniowe są ograniczone i drogie, a optymalizacja i efektywne przydzielanie zasobów może być trudne, co zwykle odbywa się za pomocą arkuszy kalkulacyjnych i kalendarzy” – powiedział. „Teraz bez strategicznego podejścia do alokacji zasobów nie tylko tracisz możliwości, ale także zostawiasz pieniądze na stole”.