PMC-LLaMA
LLaMA medico addestrato su 4.8M articoli di PubMed Central
Basato sulla piattaforma di AI medica Dr7.ai
PMC-LLaMA è un modello linguistico medico aperto della Shanghai Jiao Tong University e dello Shanghai AI Laboratory. Prosegue il pre-addestramento di LLaMA su 4,8 milioni di articoli biomedici e 30.000 manuali di medicina, quindi esegue l'instruction tuning del risultato per il question answering e il dialogo medico.
Prova il Q&A medico in stile PMC-LLaMA
Fai domande in stile USMLE o cliniche: la demo mostra il ragionamento medico basato sulla letteratura per cui PMC-LLaMA è stato creato.
Prova altri modelli
Vedi tuttiPMC-LLaMA Demo
Prova l'AI medica avanzata
Sblocca tutto il potenziale di PMC-LLaMA
Ottieni Q&A medico illimitato, contesto più lungo e accesso API per la preparazione agli esami e i flussi di lavoro di ricerca.
Che cos'è PMC-LLaMA?
PMC-LLaMA è un modello linguistico medico di grandi dimensioni open source sviluppato da ricercatori della Shanghai Jiao Tong University e dello Shanghai AI Laboratory (Wu et al., 2023, "PMC-LLaMA: Towards Building Open-source Language Models for Medicine"). È disponibile nelle dimensioni 7B e 13B.
L'addestramento avviene in due fasi. Prima, LLaMA viene ulteriormente pre-addestrato su 4,8 milioni di articoli biomedici di PubMed Central e 30.000 manuali di medicina (il corpus MedC-K), ottenendo "MedLLaMA". Poi, il modello viene sottoposto a instruction tuning su MedC-I (QA medico, motivazioni e conversazioni) per diventare PMC-LLaMA.
Il modello 13B ha ottenuto il 56.4% su MedQA (USMLE), il 56.0% su MedMCQA e il 77.9% su PubMedQA, superando i precedenti modelli medici aperti e risultando all'epoca competitivo con ChatGPT su questi benchmark. È un modello di ricerca: non è un dispositivo medico e le sue risposte richiedono la verifica di esperti.
Ottimizzazione per l'USMLE
Rilasciato nel 2023 dalla Shanghai Jiao Tong University e dallo Shanghai AI Laboratory (Wu et al.)
Pesi aperti su Hugging Face (axiong/PMC_LLaMA_13B); si applicano i termini di licenza di LLaMA
Caratteristiche principali
Iniezione di conoscenza dalla letteratura biomedica
Capacità principali
Question answering medico in stile USMLE
Pre-addestramento continuato su 4.8M articoli di PubMed Central
30.000 manuali di medicina nel corpus di pre-addestramento
Instruction tuning su QA medico, motivazioni e dialogo
Disponibile nelle dimensioni da 7B e 13B parametri
Pesi aperti per uso di ricerca
Ottimi risultati su PubMedQA e MedMCQA per un modello aperto
Può essere eseguito su una singola GPU con molta memoria
Benchmark di prestazione
Punteggi riportati nell'articolo su PMC-LLaMA per il modello 13B (non misurati da Dr7.ai)
MedQA (USMLE)
56.4%Domande in stile esame di abilitazione medica statunitense
MedMCQA
56.0%Domande dell'esame di ammissione a medicina indiano
PubMedQA
77.9%Question answering sulla letteratura biomedica
Corpus di pre-addestramento
4.8M articoliOltre a 30K manuali (MedC-K), seguiti dai dati di istruzione MedC-I
Casi d'uso
Ricerca sull'AI medica
Un modello di riferimento aperto per studiare il pre-addestramento adattivo al dominio in medicina.
Supporto alla conoscenza clinica
Risposte a domande cliniche basate sulla letteratura, per la revisione da parte di professionisti.
Formazione medica
Domande di esercitazione in stile USMLE con spiegazioni.
Come usare PMC-LLaMA
Pesi aperti 7B / 13B
Ottieni i pesi
Carica i checkpoint 7B o 13B da Hugging Face con transformers. Si applicano i termini di licenza di LLaMA.
Opzioni di integrazione
Usalo come modello di chat o di QA, oppure eseguine un ulteriore fine-tuning sui tuoi dati.
- • Question answering medico
- • Generazione di domande in stile esame
- • Ulteriore fine-tuning sui dati della tua struttura
- • Modello di riferimento per la ricerca sugli LLM medici
Considerazioni sul deployment
Pianifica privacy, validazione e supervisione umana prima di avvicinare PMC-LLaMA ai dati dei pazienti.
- • De-identifica i dati e rispetta HIPAA / GDPR
- • Valida il modello sui dati della tua struttura prima dell'uso
- • Coinvolgi un medico abilitato nella revisione di ogni output
- • Documenta limitazioni e uso previsto per i revisori
Considerazioni importanti
Validazione clinica obbligatoria
PMC-LLaMA è un modello di ricerca. I suoi output devono essere esaminati da professionisti sanitari qualificati prima di qualsiasi uso clinico.
Conformità normativa
Il modello non è un dispositivo medico autorizzato o approvato. Garantisci la conformità alle normative sanitarie locali e alle regole sulla protezione dei dati (ad es. HIPAA, GDPR) prima del deployment.
PMC-LLaMA e altri modelli linguistici medici a confronto
Il ruolo di un modello medico aperto da 13B
PMC-LLaMA
LLaMA medico aperto (SJTU / Shanghai AI Lab)
- ✓Pesi aperti in dimensioni pratiche: 7B / 13B
- ✓Pre-addestrato su milioni di articoli biomedici reali
- ✓Instruction tuning per QA e dialogo medico
- ✓Ottimi punteggi nei benchmark tra i modelli aperti al momento del rilascio
- ✓Funziona su una singola GPU con molta memoria
- ✓Procedura di addestramento trasparente in due fasi
Ricerca e formazione che richiedono un LLM medico aperto e basato sulla letteratura
Altri modelli di AI medica
Come si posiziona
- ×Gli LLM generalisti (GPT-4, Gemini) sono più forti nel ragionamento aperto, ma sono chiusi e costosi
- ×I modelli aperti più grandi (Meditron-70B, MedGemma-27B) richiedono molta più memoria GPU
- ×I modelli solo testo non possono analizzare immagini
- ×I classificatori solo immagini non sanno spiegare i propri risultati a parole
- ×I prodotti commerciali sono validati ma non ispezionabili
- ×La maggior parte delle alternative pubblica meno benchmark riproducibili
Scegli in base alla modalità (testo o immagini), alla licenza e all'hardware di cui disponi davvero
Domande frequenti
Domande comuni su PMC-LLaMA
Chi ha sviluppato PMC-LLaMA?
Ricercatori della Shanghai Jiao Tong University e dello Shanghai AI Laboratory (Wu et al., 2023). Non è un modello di Stanford né di Google.
Su quali dati è stato addestrato PMC-LLaMA?
4,8 milioni di articoli di PubMed Central e 30.000 manuali di medicina per il pre-addestramento continuato, poi dati di QA medico, motivazioni e dialogo per l'instruction tuning.
Quali punteggi ottiene PMC-LLaMA sulle domande USMLE?
Per il modello 13B sono riportati il 56.4% su MedQA (USMLE), il 56.0% su MedMCQA e il 77.9% su PubMedQA.
Posso eseguire PMC-LLaMA in locale?
Sì. Il modello 13B può essere eseguito su una singola GPU con molta memoria e il modello 7B su hardware consumer con la quantizzazione.
Questa demo esegue proprio PMC-LLaMA?
La demo usa l'assistente medico di Dr7.ai per mostrare un Q&A medico basato sulla letteratura. Per usare il modello originale, scarica i pesi aperti.