BiomedLM
Modello linguistico biomedico da 2.7B di Stanford CRFM
Basato sulla piattaforma di AI medica Dr7.ai
BioMedLM (in precedenza PubMedGPT) è un modello linguistico in stile GPT da 2,7 miliardi di parametri, addestrato da Stanford CRFM e MosaicML esclusivamente su abstract e articoli full-text di PubMed. Dimostra che un modello piccolo e specifico per dominio può competere con modelli generalisti molto più grandi nel question answering biomedico.
Prova il Q&A biomedico in stile BioMedLM
Fai domande su letteratura biomedica, meccanismi o terminologia: la demo mostra il tipo di risposte basate su PubMed prodotte da un modello linguistico addestrato sul dominio.
Prova altri modelli
Vedi tuttiBiomedLM Demo
Prova l'AI medica avanzata
Sblocca il pieno potenziale di BiomedLM
Ottieni Q&A biomedico illimitato, contesto più lungo e accesso API per flussi di lavoro basati sulla letteratura.
Che cos'è BioMedLM?
BiomedLM è un modello linguistico autoregressivo da 2,7 miliardi di parametri sviluppato dal Center for Research on Foundation Models (CRFM) di Stanford insieme a MosaicML. È stato rilasciato per la prima volta a dicembre 2022 con il nome PubMedGPT e successivamente rinominato BioMedLM.
A differenza dei modelli generalisti, che vedono solo una piccola quota di testo biomedico, BioMedLM è stato addestrato da zero esclusivamente su abstract di PubMed e articoli full-text di PubMed Central (la porzione PubMed di The Pile, circa 50 miliardi di token). Questa specializzazione consente a un modello relativamente piccolo di raggiungere circa il 50% su MedQA (USMLE) e il 74% su PubMedQA dopo il fine-tuning: risultati che, al momento del rilascio, erano competitivi con modelli 50 volte più grandi.
BioMedLM ha pesi aperti ed è abbastanza piccolo da essere sottoposto a fine-tuning su una singola GPU, il che lo ha reso una base molto diffusa per la ricerca su estrazione, sintesi e question answering biomedici. È un artefatto di ricerca, non un prodotto clinico, e non è destinato all'uso diretto con i pazienti.
Ultimi sviluppi
Rilasciato a dicembre 2022 come PubMedGPT da Stanford CRFM e MosaicML; rinominato BioMedLM nel 2023 (articolo: Bolton et al., 2024)
Pesi aperti su Hugging Face (stanford-crfm/BioMedLM); addestrato su 300B token di testo PubMed
Caratteristiche principali
Un modello piccolo addestrato solo sulla letteratura biomedica
Capacità principali
2.7B parametri: fine-tuning possibile su una sola GPU
Addestrato esclusivamente su abstract PubMed e full-text PMC
Question answering biomedico (MedQA, PubMedQA, MedMCQA)
Sintesi della letteratura ed estrazione di informazioni
Estrazione di entità e relazioni biomediche dopo il fine-tuning
Architettura in stile GPT-2 con tokenizer biomedico personalizzato
Pesi aperti per uso di ricerca
Elevata efficienza per parametro rispetto agli LLM generalisti
Benchmark di prestazione
Risultati riportati da Stanford CRFM / MosaicML per il modello 2.7B dopo il fine-tuning
MedQA (USMLE)
50.3%Domande in stile esame di abilitazione medica statunitense, 4 opzioni
PubMedQA
74.4%Domande sì/no/forse su abstract di PubMed
MedMCQA
CompetitivoDomande dell'esame di ammissione a medicina indiano; riportate nell'articolo su BioMedLM
Dimensioni del modello
2.7BRaggiunge questi punteggi con una frazione dei parametri degli LLM generalisti
Casi d'Uso
Ricerca biomedica
Sintetizza articoli, estrae entità e genera ipotesi a partire dalla letteratura.
Analisi della letteratura
Question answering e sintesi basati su testi in stile PubMed.
Formazione medica
Risponde a domande biomediche in stile esame e spiega i meccanismi sottostanti.
Come usare BioMedLM
Pesi aperti eseguibili su una singola GPU
Ottieni i pesi
Carica stanford-crfm/BioMedLM da Hugging Face con transformers. Il modello di base è un semplice modello linguistico: esegui il fine-tuning per la tua attività.
Opzioni di integrazione
BioMedLM è più utile come base per il fine-tuning su attività specifiche.
- • Fine-tuning per QA o classificazione biomedica
- • Estrazione di entità nominate e relazioni
- • Pipeline di sintesi degli abstract
- • Embedding adattati al dominio per il retrieval
Considerazioni sul deployment
Pianifica privacy, validazione e supervisione umana prima di avvicinare BioMedLM ai dati dei pazienti.
- • De-identifica i dati e rispetta HIPAA / GDPR
- • Valida il modello sui dati della tua struttura prima dell'uso
- • Coinvolgi un medico abilitato nella revisione di ogni output
- • Documenta limitazioni e uso previsto per i revisori
Considerazioni importanti
Validazione clinica obbligatoria
BioMedLM è un modello di ricerca. I suoi output devono essere esaminati da professionisti sanitari qualificati prima di qualsiasi uso clinico.
Conformità normativa
Il modello non è un dispositivo medico autorizzato o approvato. Garantisci la conformità alle normative sanitarie locali e alle regole sulla protezione dei dati (ad es. HIPAA, GDPR) prima del deployment.
BioMedLM e altri modelli linguistici medici a confronto
Piccolo e specializzato contro grande e generalista
BioMedLM
Il modello 2.7B di Stanford CRFM
- ✓Addestrato solo sulla letteratura biomedica
- ✓Esecuzione e fine-tuning su una singola GPU
- ✓Pesi aperti, completamente ispezionabili
- ✓Punteggi MedQA / PubMedQA competitivi per le sue dimensioni
- ✓Tokenizer biomedico personalizzato
- ✓Procedura di addestramento ben documentata
Gruppi di ricerca che necessitano di un modello biomedico di base adattabile tramite fine-tuning su hardware modesto
Altri modelli di AI medica
Come si posiziona
- ×Gli LLM generalisti (GPT-4, Gemini) sono più forti nel ragionamento aperto, ma sono chiusi e costosi
- ×I modelli aperti più grandi (Meditron-70B, MedGemma-27B) richiedono molta più memoria GPU
- ×I modelli solo testo non possono analizzare immagini
- ×I classificatori solo immagini non sanno spiegare i propri risultati a parole
- ×I prodotti commerciali sono validati ma non ispezionabili
- ×La maggior parte delle alternative pubblica meno benchmark riproducibili
Scegli in base alla modalità (testo o immagini), alla licenza e all'hardware di cui disponi davvero
Domande frequenti
Domande comuni su BioMedLM
Chi ha sviluppato BioMedLM?
Stanford CRFM (Center for Research on Foundation Models) insieme a MosaicML. È stato inizialmente rilasciato come PubMedGPT a dicembre 2022.
Quanto è grande BioMedLM?
2,7 miliardi di parametri: abbastanza piccolo da consentire il fine-tuning su una sola GPU, che è proprio l'obiettivo del progetto.
Quali punteggi ha ottenuto BioMedLM negli esami medici?
Circa il 50.3% su MedQA (USMLE) e il 74.4% su PubMedQA dopo il fine-tuning, secondo quanto comunicato da Stanford CRFM.
Posso usare BioMedLM in un prodotto clinico?
I pesi sono aperti per la ricerca. Non è un dispositivo medico e gli autori sconsigliano esplicitamente l'uso diretto con i pazienti senza validazione.
Questa demo esegue proprio BioMedLM?
La demo usa l'assistente medico di Dr7.ai per mostrare un Q&A biomedico in stile PubMed. Per riproduzioni esatte, esegui i pesi aperti in locale.