CheXagent
Modello di base di Stanford AIMI per le radiografie del torace
Basato sulla piattaforma di AI medica Dr7.ai
CheXagent è un modello visione-linguaggio da 8 miliardi di parametri sviluppato dallo Stanford Center for Artificial Intelligence in Medicine & Imaging (AIMI), progettato specificamente per interpretare le radiografie del torace: dal rilevamento dei reperti alla generazione di referti, fino al visual question answering.
Prova l'analisi delle radiografie del torace in stile CheXagent
Carica una radiografia del torace e chiedi di reperti, proiezioni o follow-up: la demo mostra il tipo di interpretazione strutturata della radiografia toracica per cui CheXagent è stato progettato.
Prova altri modelli
Vedi tuttiCheXagent Demo
Prova l'AI medica avanzata
Sblocca tutto il potenziale di CheXagent
Ottieni analisi illimitate di radiografie del torace, limiti di caricamento più alti e accesso API per flussi di lavoro di ricerca radiologica.
Che cos'è CheXagent?
CheXagent è un modello di base per le radiografie del torace rilasciato a gennaio 2024 da Stanford AIMI (Chen et al., "CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation"). Combina un modello linguistico clinico, un encoder visivo addestrato su radiografie del torace e una rete di collegamento che consente al modello di ragionare sulle immagini in linguaggio naturale.
Per addestrarlo, il team ha creato CheXinstruct, un ampio dataset di instruction tuning assemblato da decine di fonti pubbliche di radiografie del torace, e CheXbench, una suite di valutazione che misura i modelli su attività di percezione delle immagini (classificazione della proiezione, identificazione di patologie, QA visivo) e di generazione di testo (generazione di reperti e conclusioni, sintesi dei referti).
Su CheXbench, CheXagent ha superato i modelli generalisti e i precedenti modelli medici multimodali nella maggior parte delle attività; gli autori lo hanno inoltre verificato per individuare differenze di prestazione in base a sesso, etnia ed età. Resta un modello di ricerca: non è autorizzato dalla FDA e non è destinato a sostituire un radiologo.
Ultimi sviluppi
Rilasciato a gennaio 2024 da Stanford AIMI (Chen et al., 2024)
I pesi e la suite di valutazione CheXbench sono disponibili per la ricerca; non è un dispositivo medico autorizzato
Caratteristiche principali
Sviluppato e valutato specificamente per le radiografie del torace
Capacità principali
Classificazione della proiezione e dell'orientamento della radiografia del torace
Identificazione di patologie e reperti
Generazione di reperti e conclusioni (referto)
Visual question answering sulle radiografie del torace
Sintesi dei referti radiologici
Addestrato su CheXinstruct, un ampio dataset di istruzioni multi-fonte
Valutato su CheXbench in attività di percezione e generazione
Verifica dell'equità nei sottogruppi per sesso, etnia ed età
Benchmark di prestazione
I risultati di CheXbench sono riportati nell'articolo su CheXagent; Dr7.ai non li ha misurati in modo indipendente
CheXbench — percezione
Ai verticiClassificazione della proiezione, identificazione di patologie e VQA rispetto a modelli di riferimento multimodali generalisti e medici
CheXbench — generazione
Ai verticiAttività di generazione di reperti, conclusioni e sintesi valutate con metriche specifiche per la radiologia
CheXinstruct
Da più fontiDataset di istruzioni costruito a partire da numerose raccolte pubbliche di radiografie del torace (ad es. MIMIC-CXR, CheXpert)
Dimensioni del modello
8BEncoder visivo + modulo di collegamento visione-linguaggio + LLM clinico
Casi d'uso
Ricerca sull'imaging
Confronta i modelli di interpretazione delle radiografie del torace con una suite comune (CheXbench).
Supporto decisionale in radiologia
Redige bozze di reperti e segnala possibili anomalie per la revisione del radiologo.
Formazione in radiologia
Question answering interattivo su radiografie del torace didattiche.
Come usare CheXagent
Pesi di ricerca di Stanford AIMI
Ottieni il modello
I pesi di CheXagent sono pubblicati da Stanford AIMI su Hugging Face per uso di ricerca; consulta la model card per i termini di licenza attuali.
Opzioni di integrazione
Fornisci una radiografia del torace insieme a un'istruzione e ricevi una risposta testuale.
- • Prompt per l'identificazione di reperti / patologie
- • Generazione di reperti e conclusioni
- • Risposta a domande visive
- • Sintesi dei referti
Considerazioni sul deployment
Pianifica privacy, validazione e supervisione umana prima di avvicinare CheXagent ai dati dei pazienti.
- • De-identifica i dati e rispetta HIPAA / GDPR
- • Valida il modello sui dati della tua struttura prima dell'uso
- • Coinvolgi un medico abilitato nella revisione di ogni output
- • Documenta limitazioni e uso previsto per i revisori
Considerazioni importanti
Validazione clinica obbligatoria
CheXagent è un modello di ricerca. I suoi output devono essere esaminati da professionisti sanitari qualificati prima di qualsiasi uso clinico.
Conformità normativa
Il modello non è un dispositivo medico autorizzato o approvato. Garantisci la conformità alle normative sanitarie locali e alle regole sulla protezione dei dati (ad es. HIPAA, GDPR) prima del deployment.
CheXagent e altri modelli di imaging medico a confronto
Uno specialista contro i generalisti
CheXagent
Il modello per radiografie del torace di Stanford AIMI
- ✓Progettato appositamente per le radiografie del torace
- ✓Gestisce percezione e generazione di referti in un unico modello
- ✓Benchmark pubblico (CheXbench) per un confronto equo
- ✓Valutazione dell'equità tra gruppi demografici
- ✓Addestrato su un ampio set di istruzioni multi-fonte
- ✓Aperto per uso di ricerca
Ricerca sulle radiografie del torace, prototipi per la stesura di referti e benchmarking dell'AI in radiologia
Altri modelli di AI medica
Come si posiziona
- ×Gli LLM generalisti (GPT-4, Gemini) sono più forti nel ragionamento aperto, ma sono chiusi e costosi
- ×I modelli aperti più grandi (Meditron-70B, MedGemma-27B) richiedono molta più memoria GPU
- ×I modelli solo testo non possono analizzare immagini
- ×I classificatori solo immagini non sanno spiegare i propri risultati a parole
- ×I prodotti commerciali sono validati ma non ispezionabili
- ×La maggior parte delle alternative pubblica meno benchmark riproducibili
Scegli in base alla modalità (testo o immagini), alla licenza e all'hardware di cui disponi davvero
Domande frequenti
Domande comuni su CheXagent
Chi ha sviluppato CheXagent?
Lo Stanford Center for Artificial Intelligence in Medicine & Imaging (AIMI). Non è un modello di Google.
Che cosa può fare CheXagent?
Classificazione della proiezione, identificazione dei reperti, visual question answering e generazione o sintesi di reperti e conclusioni per le radiografie del torace.
CheXagent è autorizzato dalla FDA?
No. È un modello di ricerca e non deve essere usato come unica base per una decisione clinica.
Che cos'è CheXbench?
La suite di valutazione rilasciata insieme a CheXagent: otto attività sulle radiografie del torace, tra percezione delle immagini e generazione di testo, usate per confrontare i modelli multimodali.
Questa demo esegue proprio CheXagent?
La demo usa l'assistente medico multimodale di Dr7.ai per mostrare l'interpretazione delle radiografie del torace. Per usare il modello originale, scarica i pesi di Stanford AIMI.