BiomedLM
Biomedizinisches 2.7B-Sprachmodell von Stanford CRFM
Bereitgestellt von der medizinischen KI-Plattform Dr7.ai
BioMedLM (ehemals PubMedGPT) ist ein GPT-artiges Sprachmodell mit 2,7 Milliarden Parametern, das von Stanford CRFM und MosaicML ausschließlich auf PubMed-Abstracts und Volltextartikeln trainiert wurde. Es zeigt, dass ein kleines, domänenspezifisches Modell beim biomedizinischen Question Answering mit deutlich größeren Allzweckmodellen mithalten kann.
Biomedizinische Q&A im Stil von BioMedLM testen
Stellen Sie Fragen zu biomedizinischer Literatur, Mechanismen oder Fachbegriffen – die Demo zeigt, welche Art von PubMed-gestützten Antworten ein domänenspezifisch trainiertes Sprachmodell liefert.
Andere Modelle testen
Alle anzeigenBiomedLM Demo
Erleben Sie fortschrittliche medizinische KI
BiomedLM volles Potenzial freischalten
Erhalten Sie unbegrenzte biomedizinische Q&A, längeren Kontext und API-Zugang für literaturintensive Workflows.
Was ist BioMedLM?
BiomedLM ist ein autoregressives Sprachmodell mit 2,7 Milliarden Parametern, entwickelt vom Stanford Center for Research on Foundation Models (CRFM) gemeinsam mit MosaicML. Es wurde erstmals im Dezember 2022 als PubMedGPT veröffentlicht und später in BioMedLM umbenannt.
Anders als Allzweckmodelle, die biomedizinische Texte nur als kleinen Teil ihrer Trainingsdaten sehen, wurde BioMedLM von Grund auf ausschließlich mit PubMed-Abstracts und Volltextartikeln aus PubMed Central trainiert (dem PubMed-Anteil von The Pile, rund 50 Milliarden Tokens). Dieser Fokus ermöglicht es einem vergleichsweise winzigen Modell, nach dem Fine-Tuning etwa 50% bei MedQA (USMLE) und 74% bei PubMedQA zu erreichen – Ergebnisse, die zum Zeitpunkt der Veröffentlichung mit 50-mal größeren Modellen konkurrieren konnten.
BioMedLM hat offene Gewichte und ist klein genug für ein Fine-Tuning auf einer einzigen GPU, was es zu einer beliebten Basis für Forschung zu biomedizinischer Extraktion, Zusammenfassung und Question Answering machte. Es ist ein Forschungsartefakt, kein klinisches Produkt, und nicht für den Einsatz mit Patienten vorgesehen.
Neueste Entwicklung
Im Dezember 2022 von Stanford CRFM und MosaicML als PubMedGPT veröffentlicht; 2023 in BioMedLM umbenannt (Paper: Bolton et al., 2024)
Offene Gewichte auf Hugging Face (stanford-crfm/BioMedLM); trainiert mit 300B Tokens PubMed-Text
Hauptfunktionen
Ein kleines Modell, ausschließlich mit biomedizinischer Literatur trainiert
Kernfähigkeiten
2.7B Parameter – Fine-Tuning auf einer GPU möglich
Ausschließlich mit PubMed-Abstracts und PMC-Volltexten trainiert
Biomedizinisches Question Answering (MedQA, PubMedQA, MedMCQA)
Zusammenfassung von Literatur und Informationsextraktion
Extraktion biomedizinischer Entitäten und Relationen nach Fine-Tuning
GPT-2-artige Architektur mit eigenem biomedizinischem Tokenizer
Offene Gewichte für die Forschung
Hohe Effizienz pro Parameter im Vergleich zu Allzweck-LLMs
Leistungs-Benchmarks
Von Stanford CRFM / MosaicML berichtete Ergebnisse für das feinabgestimmte 2.7B-Modell
MedQA (USMLE)
50.3%Fragen im Stil der US-amerikanischen Approbationsprüfung (USMLE), 4 Antwortoptionen
PubMedQA
74.4%Ja/Nein/Vielleicht-Fragen zu PubMed-Abstracts
MedMCQA
KonkurrenzfähigFragen aus indischen Medizin-Aufnahmeprüfungen; im BioMedLM-Paper berichtet
Modellgröße
2.7BErreicht diese Werte mit einem Bruchteil der Parameter von Allzweck-LLMs
Anwendungsfälle
Biomedizinische Forschung
Fachartikel zusammenfassen, Entitäten extrahieren und Hypothesen aus der Literatur generieren.
Literaturanalyse
Question Answering und Zusammenfassung auf Grundlage von Texten im PubMed-Stil.
Medizinische Ausbildung
Biomedizinische Fragen im Prüfungsstil beantworten und zugrunde liegende Mechanismen erklären.
So nutzen Sie BioMedLM
Offene Gewichte, die auf eine einzige GPU passen
Gewichte herunterladen
Laden Sie stanford-crfm/BioMedLM mit transformers von Hugging Face. Das Basismodell ist ein reines Sprachmodell – führen Sie ein Fine-Tuning für Ihre Aufgabe durch.
Integrationsoptionen
BioMedLM eignet sich am besten als Basis für aufgabenspezifisches Fine-Tuning.
- • Fine-Tuning für biomedizinische Q&A oder Klassifikation
- • Extraktion benannter Entitäten und Relationen
- • Pipelines zur Zusammenfassung von Abstracts
- • Domänenangepasste Embeddings für Retrieval
Hinweise zum Einsatz
Planen Sie Datenschutz, Validierung und menschliche Aufsicht ein, bevor BioMedLM auch nur in die Nähe von Patientendaten kommt.
- • Daten de-identifizieren und HIPAA / GDPR einhalten
- • Vor dem Einsatz mit den Daten Ihrer eigenen Einrichtung validieren
- • Jede Ausgabe von approbiertem medizinischem Fachpersonal prüfen lassen
- • Einschränkungen und Verwendungszweck für Prüfer dokumentieren
Wichtige Hinweise
Klinische Validierung erforderlich
BioMedLM ist ein Forschungsmodell. Seine Ausgaben müssen vor jeder klinischen Nutzung von qualifiziertem medizinischem Fachpersonal geprüft werden.
Einhaltung von Vorschriften
Das Modell ist kein behördlich freigegebenes oder zugelassenes Medizinprodukt. Stellen Sie vor dem Einsatz die Einhaltung lokaler Gesundheitsvorschriften und Datenschutzbestimmungen (z. B. HIPAA, GDPR) sicher.
BioMedLM im Vergleich zu anderen medizinischen Sprachmodellen
Klein und spezialisiert oder groß und allgemein
BioMedLM
Das 2.7B-Modell von Stanford CRFM
- ✓Ausschließlich mit biomedizinischer Literatur trainiert
- ✓Läuft auf einer einzigen GPU und lässt sich dort feinabstimmen
- ✓Offene Gewichte, vollständig nachvollziehbar
- ✓Für seine Größe konkurrenzfähige MedQA- / PubMedQA-Werte
- ✓Eigener biomedizinischer Tokenizer
- ✓Gut dokumentiertes Trainingsverfahren
Forschungsgruppen, die ein feinabstimmbares biomedizinisches Basismodell auf bescheidener Hardware benötigen
Andere medizinische KI-Modelle
Wie es im Vergleich abschneidet
- ×Allzweck-LLMs (GPT-4, Gemini) sind beim offenen Schlussfolgern stärker, aber geschlossen und kostspielig
- ×Größere offene Modelle (Meditron-70B, MedGemma-27B) benötigen deutlich mehr GPU-Speicher
- ×Reine Textmodelle können keine Bilder auswerten
- ×Reine Bildklassifikatoren können ihre Befunde nicht sprachlich erklären
- ×Kommerzielle Produkte sind validiert, aber nicht nachvollziehbar
- ×Die meisten Alternativen veröffentlichen weniger reproduzierbare Benchmarks
Wählen Sie nach Modalität (Text oder Bild), Lizenz und der Hardware, die Ihnen tatsächlich zur Verfügung steht
Häufig gestellte Fragen
Häufige Fragen zu BioMedLM
Wer hat BioMedLM entwickelt?
Stanford CRFM (Center for Research on Foundation Models) gemeinsam mit MosaicML. Ursprünglich wurde es im Dezember 2022 als PubMedGPT veröffentlicht.
Wie groß ist BioMedLM?
2,7 Milliarden Parameter – klein genug für ein Fine-Tuning auf einer GPU, und genau darum geht es bei dem Projekt.
Welche Ergebnisse erzielte BioMedLM bei medizinischen Prüfungen?
Laut der Veröffentlichung von Stanford CRFM nach dem Fine-Tuning etwa 50.3% bei MedQA (USMLE) und 74.4% bei PubMedQA.
Kann ich BioMedLM in einem klinischen Produkt einsetzen?
Die Gewichte sind für die Forschung offen. Es ist kein Medizinprodukt, und die Autoren warnen ausdrücklich vor einem Einsatz mit Patienten ohne Validierung.
Läuft in dieser Demo BioMedLM selbst?
Die Demo nutzt den medizinischen Assistenten von Dr7.ai, um biomedizinische Q&A im PubMed-Stil zu zeigen. Für exakte Reproduktionen führen Sie die offenen Gewichte lokal aus.