PMC-LLaMA
Medizinisches LLaMA, trainiert auf 4,8 Mio. PubMed-Central-Artikeln
Bereitgestellt von der medizinischen KI-Plattform Dr7.ai
PMC-LLaMA ist ein offenes medizinisches Sprachmodell der Shanghai Jiao Tong University und des Shanghai AI Laboratory. Es setzt das Pretraining von LLaMA auf 4,8 Millionen biomedizinischen Artikeln und 30.000 medizinischen Lehrbüchern fort und wird anschließend per Instruction-Tuning für medizinische Fragebeantwortung und Dialoge optimiert.
Medizinische Q&A im Stil von PMC-LLaMA testen
Stellen Sie Fragen im USMLE-Stil oder klinische Fragen – die Demo zeigt das literaturgestützte medizinische Schlussfolgern, für das PMC-LLaMA entwickelt wurde.
Andere Modelle testen
Alle anzeigenPMC-LLaMA Demo
Erleben Sie fortschrittliche medizinische KI
Das volle Potenzial von PMC-LLaMA nutzen
Erhalten Sie unbegrenzte medizinische Q&A, längeren Kontext und API-Zugang für Prüfungsvorbereitung und Forschungs-Workflows.
Was ist PMC-LLaMA?
PMC-LLaMA ist ein Open-Source-Sprachmodell (LLM) für die Medizin, entwickelt von Forschenden der Shanghai Jiao Tong University und des Shanghai AI Laboratory (Wu et al., 2023, "PMC-LLaMA: Towards Building Open-source Language Models for Medicine"). Es ist in den Größen 7B und 13B verfügbar.
Das Training erfolgt in zwei Stufen. Zunächst wird LLaMA auf 4,8 Millionen biomedizinischen Artikeln aus PubMed Central sowie 30.000 medizinischen Lehrbüchern (dem MedC-K-Korpus) weiter vortrainiert, wodurch "MedLLaMA" entsteht. Anschließend wird das Modell auf MedC-I – medizinische Q&A, Begründungen und Gespräche – per Instruction-Tuning zu PMC-LLaMA weiterentwickelt.
Das 13B-Modell erreichte laut Bericht 56,4 % bei MedQA (USMLE), 56,0 % bei MedMCQA und 77,9 % bei PubMedQA – vor früheren offenen medizinischen Modellen und auf diesen Benchmarks damals konkurrenzfähig mit ChatGPT. Es ist ein Forschungsmodell: kein Medizinprodukt, und seine Antworten müssen von Fachleuten überprüft werden.
USMLE-Optimierung
2023 veröffentlicht von der Shanghai Jiao Tong University & dem Shanghai AI Laboratory (Wu et al.)
Offene Gewichte auf Hugging Face (axiong/PMC_LLaMA_13B); es gelten die LLaMA-Lizenzbedingungen
Hauptfunktionen
Wissensinjektion aus der biomedizinischen Literatur
Kernfähigkeiten
Medizinische Fragebeantwortung im USMLE-Stil
Fortgesetztes Pretraining auf 4,8 Mio. PubMed-Central-Artikeln
30.000 medizinische Lehrbücher im Pretraining-Korpus
Instruction-Tuning auf medizinischen Q&A, Begründungen und Dialogen
Verfügbar mit 7B und 13B Parametern
Offene Gewichte für Forschungszwecke
Starke Ergebnisse bei PubMedQA und MedMCQA für ein offenes Modell
Läuft auf einer einzelnen GPU mit viel Speicher
Leistungs-Benchmarks
Im PMC-LLaMA-Paper berichtete Werte für das 13B-Modell (nicht von Dr7.ai gemessen)
MedQA (USMLE)
56.4%Fragen im Stil der US-amerikanischen ärztlichen Zulassungsprüfung
MedMCQA
56.0%Fragen aus indischen Medizin-Aufnahmeprüfungen
PubMedQA
77.9%Fragebeantwortung zur biomedizinischen Literatur
Pretraining-Korpus
4,8 Mio. ArtikelPlus 30.000 Lehrbücher (MedC-K), gefolgt von MedC-I-Instruktionsdaten
Anwendungsfälle
Forschung zu medizinischer KI
Eine offene Baseline zur Untersuchung domänenadaptiven Pretrainings in der Medizin.
Unterstützung mit klinischem Wissen
Literaturgestützte Antworten auf klinische Fragen zur fachlichen Prüfung.
Medizinische Ausbildung
Übungsfragen im USMLE-Stil mit Erklärungen.
So nutzen Sie PMC-LLaMA
Offene 7B- / 13B-Gewichte
Gewichte herunterladen
Laden Sie die 7B- oder 13B-Checkpoints mit transformers von Hugging Face. Es gelten die LLaMA-Lizenzbedingungen.
Integrationsoptionen
Nutzen Sie es als Chat- oder Q&A-Modell oder führen Sie ein weiteres Fine-Tuning mit eigenen Daten durch.
- • Medizinische Fragebeantwortung
- • Generierung von Prüfungsfragen
- • Weiteres Fine-Tuning mit Daten Ihrer Einrichtung
- • Baseline für die Forschung zu medizinischen LLMs
Hinweise zum Einsatz
Planen Sie Datenschutz, Validierung und menschliche Aufsicht, bevor PMC-LLaMA auch nur in die Nähe von Patientendaten kommt.
- • Daten de-identifizieren und HIPAA / GDPR einhalten
- • Vor dem Einsatz mit Daten Ihrer eigenen Einrichtung validieren
- • Jede Ausgabe von approbiertem ärztlichem Personal prüfen lassen
- • Einschränkungen und Verwendungszweck für Prüfer dokumentieren
Wichtige Hinweise
Klinische Validierung erforderlich
PMC-LLaMA ist ein Forschungsmodell. Seine Ausgaben müssen vor jeder klinischen Nutzung von qualifizierten medizinischen Fachkräften geprüft werden.
Einhaltung von Vorschriften
Das Modell ist kein behördlich freigegebenes oder zugelassenes Medizinprodukt. Stellen Sie vor dem Einsatz die Einhaltung lokaler Gesundheitsvorschriften und Datenschutzbestimmungen (z. B. HIPAA, GDPR) sicher.
PMC-LLaMA im Vergleich zu anderen medizinischen Sprachmodellen
Wo ein offenes medizinisches 13B-Modell hingehört
PMC-LLaMA
Offenes medizinisches LLaMA (SJTU / Shanghai AI Lab)
- ✓Offene Gewichte in praktischen Größen von 7B / 13B
- ✓Vortrainiert auf Millionen echter biomedizinischer Artikel
- ✓Per Instruction-Tuning für medizinische Q&A und Dialoge optimiert
- ✓Zum Veröffentlichungszeitpunkt starke Benchmark-Werte unter offenen Modellen
- ✓Läuft auf einer einzelnen GPU mit viel Speicher
- ✓Transparentes zweistufiges Trainingsverfahren
Forschung und Lehre, die ein offenes, literaturgestütztes medizinisches LLM benötigen
Andere medizinische KI-Modelle
Wie es im Vergleich abschneidet
- ×Allgemeine LLMs (GPT-4, Gemini) sind beim offenen Schlussfolgern stärker, aber geschlossen und kostspielig
- ×Größere offene Modelle (Meditron-70B, MedGemma-27B) benötigen deutlich mehr GPU-Speicher
- ×Reine Textmodelle können keine Bilder auswerten
- ×Reine Bildklassifikatoren können ihre Befunde nicht sprachlich erklären
- ×Kommerzielle Produkte sind validiert, aber nicht einsehbar
- ×Die meisten Alternativen veröffentlichen weniger reproduzierbare Benchmarks
Wählen Sie nach Modalität (Text vs. Bild), Lizenz und der Hardware, die Ihnen tatsächlich zur Verfügung steht
Häufig gestellte Fragen
Häufige Fragen zu PMC-LLaMA
Wer hat PMC-LLaMA entwickelt?
Forschende der Shanghai Jiao Tong University und des Shanghai AI Laboratory (Wu et al., 2023). Es ist kein Modell von Stanford oder Google.
Womit wurde PMC-LLaMA trainiert?
Mit 4,8 Millionen PubMed-Central-Artikeln und 30.000 medizinischen Lehrbüchern für das fortgesetzte Pretraining, anschließend mit medizinischen Q&A-, Begründungs- und Dialogdaten für das Instruction-Tuning.
Wie schneidet PMC-LLaMA bei USMLE-Fragen ab?
Für das 13B-Modell werden 56,4 % bei MedQA (USMLE), 56,0 % bei MedMCQA und 77,9 % bei PubMedQA berichtet.
Kann ich PMC-LLaMA lokal ausführen?
Ja. Das 13B-Modell läuft auf einer einzelnen GPU mit viel Speicher, das 7B-Modell mit Quantisierung auch auf Consumer-Hardware.
Läuft in dieser Demo PMC-LLaMA selbst?
Die Demo nutzt den medizinischen Assistenten von Dr7.ai, um literaturgestützte medizinische Q&A zu zeigen. Für das Originalmodell verwenden Sie die offenen Gewichte.