Dowiedz się, jak firma GE Healthcare wykorzystała platformę AWS do zbudowania nowego modelu sztucznej inteligencji, który interpretuje obrazy MRI

Obrazy MRI są oczywiście złożone i zawierają dużo danych.

Z tego powodu programiści szkolący duże modele językowe (LLM) na potrzeby analizy MRI musieli przyciąć przechwycone obrazy w formacie 2D. Daje to jednak jedynie przybliżenie oryginalnego obrazu, ograniczając w ten sposób zdolność modelu do analizy złożonych struktur anatomicznych. Stwarza to wyzwania w złożonych przypadkach obejmujących guzy mózgu, zaburzenia układu kostnego lub choroby serca.

Ale GE Healthcare Wydaje się, że ta główna przeszkoda została pokonana dzięki wprowadzeniu w tym roku pierwszego w branży pierwszego w branży modelu 3D MRI Research Foundation Model (FM) całego ciała. AWS ponownie:wynalezionyPo raz pierwszy modele mogą wykorzystywać pełne obrazy 3D całego ciała.

FM firmy GE Healthcare zbudowano od podstaw w oparciu o platformę AWS – istnieje bardzo niewiele modeli zaprojektowanych specjalnie do obrazowania medycznego, takiego jak MRI – i opiera się na ponad 173 000 obrazów z ponad 19 000 badań. Twórcy twierdzą, że udało im się wytrenować model przy użyciu pięciokrotnie mniejszych obliczeń niż było to wcześniej wymagane.

Firma GE Healthcare nie skomercjalizowała jeszcze modelu Foundation; Jest wciąż na etapie badań ewolucyjnych. wstępny ewaluator, Generał masy BrighamTrwają przygotowania do rozpoczęcia wkrótce eksperymentów w tym zakresie.

Perry Bhatia, dyrektor ds. sztucznej inteligencji w GE Healthcare, powiedział VentureBeat: „Naszą wizją jest udostępnienie tych modeli zespołom technologicznym pracującym w systemach opieki zdrowotnej, co umożliwi im szybsze i bardziej opłacalne wdrażanie zastosowań badawczych i klinicznych otrzymaliśmy potężne narzędzia umożliwiające efektywny rozwój.”

Umożliwia analizę w czasie rzeczywistym złożonych danych 3D MRI

Choć jest to rozwój bezprecedensowy, Generative AI i LLM nie są dla firmy obszarami nowymi. Bhatia powiedział, że zespół pracuje z zaawansowanymi technologiami od ponad 10 lat.

Jednym z jej głównych produktów jest AIR RECON DLAlgorytm rekonstrukcji oparty na głębokim uczeniu się, który umożliwia radiologom szybsze uzyskiwanie wyraźnych obrazów. Algorytm usuwa szum z surowych obrazów i poprawia stosunek sygnału do szumu, skracając czas skanowania nawet o 50%. Od 2020 r. za pomocą AIR Recon DL przeskanowano 34 miliony pacjentów.

Firma GE Healthcare rozpoczęła prace nad rozwiązaniem MRI FM na początku 2024 r. Ponieważ model jest multimodalny, może obsługiwać wyszukiwanie obrazu na tekst, łączyć obrazy i słowa oraz segmentować i klasyfikować choroby. Celem jest dostarczenie pracownikom służby zdrowia większej ilości szczegółów niż kiedykolwiek wcześniej w jednym badaniu, co doprowadzi do szybszej, dokładniejszej diagnozy i leczenia, powiedziała Bhatia.

„Model ma znaczny potencjał, jeśli chodzi o analizę danych 3D MRI w czasie rzeczywistym, co może usprawnić procedury medyczne, takie jak biopsje, radioterapia i chirurgia robotyczna” – powiedział VentureBeat Is Dan Sheeran, dyrektor generalny ds. opieki zdrowotnej i nauk przyrodniczych w AWS .”

Już teraz osiągnął lepsze wyniki niż inne publicznie dostępne modele badawcze w zakresie takich zadań, jak klasyfikacja raka prostaty i choroby Alzheimera. Wykazał do 30% dokładności w dopasowywaniu skanów MRI do opisów tekstowych podczas wyszukiwania obrazów – co może nie brzmi aż tak imponująco, ale stanowi ogromną poprawę w porównaniu z możliwościami wynoszącymi 3%, jakie wykazują podobne modele.

„Doszło do etapu, w którym naprawdę przynosi to naprawdę dobre rezultaty” – stwierdziła Bhatia. „Konsekwencje są ogromne”.

Więcej możliwości przy (bardzo małych) danych

Bhatia wyjaśnił, że proces MRI wymaga nieco innych typów zbiorów danych do obsługi różnych technologii mapujących ludzkie ciało.

Na przykład tak zwana technika obrazowania zależna od T1 uwydatnia tkankę tłuszczową i zmniejsza sygnał wody, podczas gdy obrazowanie zależne od T2 wzmacnia sygnały wody. Obie metody uzupełniają się i tworzą pełny obraz mózgu, który pomaga lekarzom wykryć nieprawidłowości, takie jak nowotwory, urazy czy nowotwory.

„Obrazy MRI mają różne kształty i rozmiary, tak samo jak książki w różnych formatach i rozmiarach, prawda?” – powiedziała Bhatia.

Aby przezwyciężyć wyzwania, jakie stwarzają różnorodne zbiory danych, twórcy wprowadzili strategię „zmień rozmiar i dostosuj”, dzięki czemu model może przetwarzać różne odmiany i reagować na nie. Ponadto w niektórych obszarach może brakować danych – na przykład obraz może być niekompletny – dlatego nauczono model, aby po prostu ignorował takie przypadki.

„Zamiast utknąć, nauczyliśmy model porzucić niedociągnięcia i skupić się na tym, co jest dostępne” – powiedziała Bhatia. „Pomyśl o tym jak o rozwiązaniu łamigłówki z kilkoma brakującymi elementami”.

Twórcy zastosowali także półnadzorowane uczenie się uczniów i nauczycieli, co jest szczególnie przydatne w przypadku ograniczonych danych. Dzięki tej metodzie dwie różne sieci neuronowe są szkolone na danych oznakowanych i nieoznaczonych, a nauczyciel tworzy etykiety, które pomagają uczniowi uczyć się i przewidywać przyszłe etykiety.

„Obecnie korzystamy z wielu technologii samonadzorowanych, które nie wymagają dużych ilości danych ani etykiet do uczenia dużych modeli” – powiedział Bhatia. „Dzięki temu zmniejsza się zależność, dzięki czemu z tych surowych obrazów można dowiedzieć się więcej niż w przeszłości”.

Pomaga to zapewnić dobre działanie modelu w szpitalach dysponujących mniejszymi zasobami, starszymi maszynami i różnymi typami zbiorów danych – stwierdziła Bhatia.

Podkreślił także znaczenie różnorodności modeli. „Wiele technologii w przeszłości miało charakter jednego modelu” – powiedział Bhatia. „To pojawi się tylko na obrazie, w tekście. Ale teraz stają się wielomodelowe, mogą przechodzić od obrazu do tekstu, tekstu do obrazu, dzięki czemu można połączyć wiele rzeczy, które w przeszłości wykonywano za pomocą oddzielnych modeli, i naprawdę zintegrować przepływ pracy.

Podkreślił, że badacze korzystają wyłącznie ze zbiorów danych, nad którymi mają władzę; Firma GE Healthcare ma partnerów, którzy udzielają licencji na zbiory danych pozbawionych identyfikacji i dbają o przestrzeganie standardów i zasad zgodności.

Korzystanie z AWS SageMaker w celu sprostania wyzwaniom związanym z obliczeniami i danymi

Oczywiście tworzenie tak wyrafinowanych modeli wiąże się z wieloma wyzwaniami – takimi jak ograniczona moc obliczeniowa dla obrazów 3D o wielkości gigabajtów.

„To ogromna ilość danych 3D” – powiedział Bhatia. „Trzeba wprowadzić to do pamięci modelu, co jest naprawdę złożonym problemem”.

Aby temu zaradzić, firma GE Healthcare stworzyła rozwiązanie Amazon SageMakerKtóry zapewnia szybką sieć i rozproszone możliwości szkoleniowe na wielu procesorach graficznych oraz wykorzystuje procesory graficzne Nvidia A100 i Tensor Core do szkoleń na dużą skalę.

„Ze względu na rozmiar danych i rozmiar modeli nie można przesłać tego wszystkiego do jednego procesora graficznego” – wyjaśnił Bhatia. SageMaker umożliwił im optymalizację i skalowanie operacji na wielu procesorach graficznych, które mogą ze sobą współdziałać.

Deweloperzy również korzystali amazon fsx W Amazona S3 Magazyn obiektowy, który umożliwia szybki odczyt i zapis do zbiorów danych.

Bhatia wskazał, że kolejnym wyzwaniem jest optymalizacja kosztów; Dzięki rozwiązaniu Elastic Compute Cloud (EC2) firmy Amazon programiści mogli przenosić nieużywane lub rzadko używane dane na tańsze warstwy pamięci masowej.

„Używanie programu SageMaker do szkolenia tych dużych modeli – przede wszystkim do wydajnego, rozproszonego szkolenia w wielu klastrach procesorów graficznych o wysokiej wydajności – było jednym z kluczowych elementów, który naprawdę pomógł nam szybciej działać” – powiedział Bhatia Helped.

Podkreślił, że wszystkie komponenty zbudowano z punktu widzenia integralności i zgodności danych, z uwzględnieniem ustawy HIPAA oraz innych zasad i ram regulacyjnych.

Ostatecznie „technologie te mogą naprawdę usprawnić, pomóc nam szybciej wprowadzać innowacje, a także poprawić ogólną wydajność operacyjną poprzez zmniejszenie obciążeń administracyjnych, a ostatecznie zapewnić lepszą opiekę nad pacjentem – ponieważ teraz zapewniasz bardziej spersonalizowaną opiekę”.

Służy jako podstawa dla innych, bardziej wyrafinowanych modeli

Chociaż model ten jest obecnie specyficzny dla dziedziny MRI, naukowcy widzą ogromne możliwości rozszerzenia go na inne obszary medycyny.

Sheeran zwrócił uwagę, że historycznie rzecz biorąc, sztuczna inteligencja w obrazowaniu medycznym była utrudniana przez potrzebę opracowywania niestandardowych modeli dla konkretnych schorzeń w określonych narządach, co wymagałoby specjalistycznej adnotacji dla każdego obrazu wykorzystywanego w szkoleniu.

Jednak to podejście jest „z natury ograniczone” ze względu na różne sposoby manifestowania się chorób u poszczególnych osób i stwarza wyzwania w zakresie uogólniania.

„Dosłownie potrzebujemy tysięcy takich modeli i możliwości szybkiego tworzenia nowych w miarę uzyskiwania nowych informacji” – powiedział. Dla każdego modelu wymagane są również wysokiej jakości oznakowane zbiory danych.

Teraz dzięki generatywnej sztucznej inteligencji zamiast trenować oddzielne modele dla każdej kombinacji choroby/narządu, programiści mogą wstępnie wytrenować pojedynczy model podstawowy, który służy jako podstawa dla innych wyspecjalizowanych, dopracowanych modeli.

Na przykład model firmy GE Healthcare można rozszerzyć na obszary takie jak radioterapia, w której radiolodzy spędzają dużo czasu na ręcznym oznaczaniu zagrożonych narządów. Mogłoby to również pomóc w skróceniu czasu skanowania podczas prześwietleń rentgenowskich i innych procedur, które obecnie wymagają od pacjentów siedzenia w aparacie przez długi czas, stwierdziła Bhatia.

Sheeran wyraził zdziwienie, że „nie tylko zwiększamy dostęp do danych z obrazowania medycznego za pomocą narzędzi opartych na chmurze; Zmieniamy sposób wykorzystania tych danych do wspierania rozwoju sztucznej inteligencji w opiece zdrowotnej.