CheXagent
Model bazowy Stanford AIMI do RTG klatki piersiowej
Działa na platformie medycznej AI Dr7.ai
CheXagent to model wizyjno-językowy o 8 mld parametrów, opracowany przez Stanford Center for Artificial Intelligence in Medicine & Imaging (AIMI) specjalnie do interpretacji zdjęć RTG klatki piersiowej — od wykrywania zmian i generowania opisów po odpowiadanie na pytania o obraz.
Wypróbuj analizę RTG klatki piersiowej w stylu CheXagent
Prześlij zdjęcie RTG klatki piersiowej i zapytaj o zmiany, projekcje lub dalsze postępowanie — demo pokazuje ustrukturyzowaną interpretację RTG klatki piersiowej, do której zaprojektowano CheXagent.
Wypróbuj inne modele
Zobacz wszystkieCheXagent Demo
Poznaj zaawansowaną medyczną AI
Odblokuj pełny potencjał CheXagent
Uzyskaj nieograniczoną analizę RTG klatki piersiowej, wyższe limity przesyłania i dostęp do API na potrzeby badań radiologicznych.
Czym jest CheXagent?
CheXagent to model bazowy do RTG klatki piersiowej udostępniony w styczniu 2024 r. przez Stanford AIMI (Chen et al., "CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation"). Łączy kliniczny model językowy, enkoder wizyjny wytrenowany na zdjęciach RTG klatki piersiowej oraz sieć pośredniczącą, która pozwala modelowi rozumować o obrazach w języku naturalnym.
Do jego trenowania zespół zbudował CheXinstruct — duży zbiór danych do instruction tuningu, złożony z kilkudziesięciu publicznych źródeł zdjęć RTG klatki piersiowej — oraz CheXbench, zestaw ewaluacyjny oceniający modele w zadaniach percepcji obrazu (klasyfikacja projekcji, identyfikacja chorób, wizualne QA) i generowania tekstu (generowanie opisu zmian i wniosków, streszczanie opisów badań).
Na CheXbench CheXagent przewyższył modele ogólne i wcześniejsze medyczne modele multimodalne w większości zadań, a autorzy sprawdzili go także pod kątem różnic w wynikach w zależności od płci, rasy i wieku. Pozostaje modelem badawczym: nie ma dopuszczenia FDA i nie jest przeznaczony do zastępowania radiologa.
Najnowsze informacje
Udostępniony w styczniu 2024 r. przez Stanford AIMI (Chen et al., 2024)
Wagi i zestaw ewaluacyjny CheXbench są dostępne do celów badawczych; nie jest to dopuszczony wyrób medyczny
Kluczowe funkcje
Zbudowany i przetestowany specjalnie pod kątem zdjęć RTG klatki piersiowej
Główne możliwości
Klasyfikacja projekcji i orientacji zdjęcia RTG klatki piersiowej
Identyfikacja chorób i zmian
Generowanie opisu zmian i wniosków (opisu badania)
Odpowiadanie na pytania o zdjęcia RTG klatki piersiowej
Streszczanie opisów badań radiologicznych
Trenowany na CheXinstruct — dużym, wieloźródłowym zbiorze instrukcji
Oceniany na CheXbench w zadaniach percepcji i generowania
Audyt bezstronności w podgrupach według płci, rasy i wieku
Wyniki w benchmarkach
Wyniki CheXbench pochodzą z publikacji o CheXagent; Dr7.ai nie weryfikował ich niezależnie
CheXbench — percepcja
W czołówceKlasyfikacja projekcji, identyfikacja chorób i VQA w porównaniu z ogólnymi i medycznymi multimodalnymi modelami bazowymi
CheXbench — generowanie
W czołówceZadania generowania opisu zmian, wniosków i streszczeń oceniane metrykami specyficznymi dla radiologii
CheXinstruct
WieloźródłowyZbiór instrukcji zbudowany z wielu publicznych kolekcji zdjęć RTG klatki piersiowej (np. MIMIC-CXR, CheXpert)
Rozmiar modelu
8BEnkoder wizyjny + łącznik wizyjno-językowy + kliniczny LLM
Zastosowania
Badania nad obrazowaniem
Porównuj modele interpretacji RTG klatki piersiowej na wspólnym zestawie testów (CheXbench).
Wspomaganie decyzji w radiologii
Przygotowuje wstępne opisy zmian i oznacza prawdopodobne nieprawidłowości do weryfikacji przez radiologa.
Edukacja radiologiczna
Interaktywne odpowiadanie na pytania do dydaktycznych zdjęć RTG klatki piersiowej.
Jak korzystać z CheXagent
Wagi badawcze od Stanford AIMI
Pobierz model
Wagi CheXagent są opublikowane przez Stanford AIMI na Hugging Face do użytku badawczego; aktualne warunki licencji sprawdź w karcie modelu.
Opcje integracji
Przekaż zdjęcie RTG klatki piersiowej wraz z instrukcją i otrzymaj odpowiedź tekstową.
- • Prompty do identyfikacji zmian / chorób
- • Generowanie opisu zmian i wniosków
- • Odpowiadanie na pytania o obraz (VQA)
- • Streszczanie opisów badań
Kwestie wdrożeniowe
Zanim dopuścisz CheXagent w pobliże danych pacjentów, zaplanuj ochronę prywatności, walidację i nadzór człowieka.
- • Anonimizuj dane i przestrzegaj HIPAA / GDPR
- • Przed użyciem zwaliduj model na danych własnej placówki
- • Każdy wynik musi weryfikować uprawniony lekarz
- • Dokumentuj ograniczenia i przeznaczenie na potrzeby audytorów
Ważne kwestie
Wymagana walidacja kliniczna
CheXagent jest modelem badawczym. Przed jakimkolwiek zastosowaniem klinicznym jego wyniki muszą zostać zweryfikowane przez wykwalifikowany personel medyczny.
Zgodność z przepisami
Model nie jest dopuszczonym ani zatwierdzonym wyrobem medycznym. Przed wdrożeniem zapewnij zgodność z lokalnymi przepisami dotyczącymi ochrony zdrowia i ochrony danych (np. HIPAA, GDPR).
CheXagent na tle innych modeli obrazowania medycznego
Specjalista kontra modele ogólne
CheXagent
Model RTG klatki piersiowej od Stanford AIMI
- ✓Stworzony specjalnie do zdjęć RTG klatki piersiowej
- ✓Obsługuje percepcję i generowanie opisów w jednym modelu
- ✓Publiczny benchmark (CheXbench) umożliwiający rzetelne porównanie
- ✓Ocena bezstronności w grupach demograficznych
- ✓Trenowany na dużym, wieloźródłowym zbiorze instrukcji
- ✓Dostępny do użytku badawczego
Badania nad RTG klatki piersiowej, prototypy wspomagające tworzenie opisów i benchmarking AI w radiologii
Inne modele medycznej AI
Jak wypada w porównaniu
- ×Ogólne LLM (GPT-4, Gemini) lepiej radzą sobie z otwartym rozumowaniem, ale są zamknięte i kosztowne
- ×Większe otwarte modele (Meditron-70B, MedGemma-27B) wymagają znacznie więcej pamięci GPU
- ×Modele tekstowe nie potrafią analizować obrazów
- ×Klasyfikatory obrazów nie potrafią objaśnić swoich wyników słowami
- ×Produkty komercyjne są zwalidowane, ale nie da się ich zbadać
- ×Większość alternatyw publikuje mniej benchmarków z odtwarzalnymi wynikami
Wybieraj według modalności (tekst czy obraz), licencji i sprzętu, którym faktycznie dysponujesz
Najczęściej zadawane pytania
Częste pytania o CheXagent
Kto opracował CheXagent?
Stanford Center for Artificial Intelligence in Medicine & Imaging (AIMI). Nie jest to model Google.
Co potrafi CheXagent?
Klasyfikację projekcji, identyfikację zmian, odpowiadanie na pytania o obraz oraz generowanie lub streszczanie opisu zmian i wniosków dla zdjęć RTG klatki piersiowej.
Czy CheXagent ma dopuszczenie FDA?
Nie. To model badawczy i nie może stanowić jedynej podstawy decyzji klinicznej.
Czym jest CheXbench?
To zestaw ewaluacyjny udostępniony wraz z CheXagent: osiem zadań dotyczących RTG klatki piersiowej z zakresu percepcji obrazu i generowania tekstu, służących do porównywania modeli multimodalnych.
Czy to demo uruchamia właśnie CheXagent?
Demo korzysta z multimodalnego asystenta medycznego Dr7.ai, aby pokazać interpretację RTG klatki piersiowej. Aby użyć dokładnie tego modelu, skorzystaj z wag Stanford AIMI.