Med-Flamingo
Few-Shot-Fragebeantwortung zu medizinischen Bildern
Bereitgestellt von der medizinischen KI-Plattform Dr7.ai
Med-Flamingo ist ein multimodaler Few-Shot-Lerner für die Medizin, entwickelt von Forschenden aus Stanford. Das Modell basiert auf OpenFlamingo-9B, wurde auf verschränkten Bild-Text-Daten aus medizinischen Lehrbüchern und PubMed Central vortrainiert und kann Fragen zu einem neuen medizinischen Bild beantworten, nachdem es nur eine Handvoll Beispiele gesehen hat.
Visuelle Fragebeantwortung im Stil von Med-Flamingo testen
Laden Sie ein medizinisches Bild hoch und stellen Sie eine Frage dazu – die Demo zeigt das verschränkte Bild-Text-Schlussfolgern, das Med-Flamingo in die Medizin eingeführt hat.
Andere Modelle testen
Alle anzeigenMed-Flamingo Demo
Erleben Sie fortschrittliche medizinische KI
Das volle Potenzial von Med-Flamingo nutzen
Erhalten Sie unbegrenzte Bild-Fragebeantwortung, höhere Upload-Limits und API-Zugang für die multimodale medizinische Forschung.
Was ist Med-Flamingo?
Med-Flamingo ist ein medizinisches Vision-Language-Modell, das 2023 von Michael Moor und Kollegen in Stanford gemeinsam mit weiteren Partnern veröffentlicht wurde (Moor et al., "Med-Flamingo: a Multimodal Medical Few-shot Learner"). Es überträgt OpenFlamingo-9B – eine offene Neuimplementierung von DeepMinds Flamingo – auf den medizinischen Bereich.
Das Modell wurde auf verschränkten Bild-Text-Sequenzen aus medizinischen Lehrbüchern (dem MTB-Datensatz) sowie auf Abbildung-Bildunterschrift-Paaren aus PMC-OA weiter vortrainiert. Da es Bilder und Text verschränkt in einem einzigen Kontext verarbeitet, unterstützt es In-Context-Lernen ("Few-Shot"): Zeigen Sie ihm einige Beispiele aus Bild, Frage und Antwort, und es verallgemeinert ohne Fine-Tuning auf ein neues Bild.
Auf VQA-RAD, PathVQA und dem neuen Benchmark Visual USMLE bewerteten Kliniker die generierten Antworten von Med-Flamingo besser als die der Vergleichsmodelle. Die Autoren betonen jedoch ausdrücklich, dass es sich um einen frühen Forschungsprototyp handelt, der halluzinieren kann und nicht für den klinischen Einsatz geeignet ist.
Neueste Entwicklung
Veröffentlicht im Juli 2023 von Forschenden aus Stanford und Partnern (Moor et al., 2023)
Offene Gewichte auf GitHub / Hugging Face für die Forschung; basiert auf OpenFlamingo-9B
Hauptmerkmale
In-Context-Lernen für medizinische Bilder
Kernfunktionen
Few-Shot-Fragebeantwortung zu medizinischen Bildern
Verschränkte Bild- und Texteingaben in einem Prompt
Generative Freitextantworten statt nur Multiple Choice
Vortrainiert auf medizinischen Lehrbüchern und Abbildungen aus PubMed Central
Basiert auf OpenFlamingo-9B (Sprach-Backbone LLaMA-7B)
Evaluiert auf VQA-RAD, PathVQA und Visual USMLE
Evaluationsprotokoll mit Bewertung durch Kliniker
Offene Forschungsgewichte
Leistungs-Benchmarks
Evaluation gemäß dem Med-Flamingo-Paper; Kliniker bewerteten die generierten Antworten, statt eine einzelne Genauigkeitszahl zu verwenden
VQA-RAD
Few-ShotVisuelle Fragebeantwortung in der Radiologie mit In-Context-Beispielen
PathVQA
Few-ShotFragebeantwortung zu Pathologiebildern
Visual USMLE
Neuer BenchmarkFragen im USMLE-Stil, die das Betrachten eines Bildes erfordern; mit dem Paper eingeführt
Bewertung durch Kliniker
+ ggü. BaselinesFachexperten bevorzugten im Durchschnitt die Antworten von Med-Flamingo gegenüber den verglichenen Baselines
Anwendungsfälle
Multimodale Forschung
In-Context-Lernen für medizinische Bilder mit einem offenen Modell untersuchen.
Bildbasierte Fragen & Antworten
Freitextfragen zu einem medizinischen Bild zur Überprüfung durch Kliniker beantworten.
Medizinische Ausbildung
Bildbasiertes Üben im USMLE-Stil mit Erklärungen.
So nutzen Sie Med-Flamingo
Forschungscode und Gewichte der Autoren
Modell beziehen
Code und Gewichte sind im GitHub-Repository der Autoren und auf Hugging Face veröffentlicht; zusätzlich benötigen Sie die Basisgewichte von OpenFlamingo und LLaMA-7B.
Integrationsoptionen
Erstellen Sie einen Prompt aus einigen Beispielen mit Bild, Frage und Antwort, gefolgt vom neuen Bild und der Frage.
- • Few-Shot-VQA für Radiologiebilder
- • Few-Shot-VQA für Pathologiebilder
- • Fragebeantwortung im Stil von Visual USMLE
- • Baseline für multimodale medizinische Forschung
Hinweise zum Einsatz
Planen Sie Datenschutz, Validierung und menschliche Aufsicht ein, bevor Med-Flamingo auch nur in die Nähe von Patientendaten kommt.
- • Daten de-identifizieren und HIPAA / GDPR einhalten
- • Vor dem Einsatz mit Daten der eigenen Einrichtung validieren
- • Bei jeder Ausgabe eine approbierte Ärztin oder einen approbierten Arzt einbeziehen
- • Einschränkungen und Verwendungszweck für Prüfer dokumentieren
Wichtige Hinweise
Klinische Validierung erforderlich
Med-Flamingo ist ein Forschungsmodell. Seine Ausgaben müssen vor jeder klinischen Verwendung von qualifizierten medizinischen Fachkräften überprüft werden.
Einhaltung gesetzlicher Vorschriften
Das Modell ist kein behördlich freigegebenes oder zugelassenes Medizinprodukt. Stellen Sie vor dem Einsatz die Einhaltung der lokalen Gesundheitsvorschriften und Datenschutzbestimmungen (z. B. HIPAA, GDPR) sicher.
Haben Sie ein Foto eines sichtbaren Symptoms?
Die auf dieser Seite beschriebenen Modelle sind Forschungswerkzeuge für die klinische Bildgebung. Wenn Sie ein alltägliches Foto haben – einen Ausschlag, ein Muttermal, einen Nagel, eine Wunde –, liest AI Doctor Scan es aus und liefert in etwa 30 Sekunden kostenlos eine Dringlichkeitsstufe und eine Zusammenfassung in verständlicher Sprache. Es nennt keine Diagnose und benötigt kein Konto.
AI Doctor Scan kostenlos ausprobierenMed-Flamingo im Vergleich zu anderen multimodalen medizinischen Modellen
Was Few-Shot-Lernen verändert
Med-Flamingo
Few-Shot-Medizin-VQA aus Stanford
- ✓Passt sich mit wenigen Beispielen an neue Bildaufgaben an
- ✓Verschränktes Bild-Text-Prompting
- ✓Generative Freitextantworten
- ✓Offene Forschungsgewichte
- ✓Führte den Benchmark Visual USMLE ein
- ✓Evaluation mit Bewertung durch Kliniker
Forschung zu In-Context-Lernen und generativer medizinischer VQA
Andere medizinische KI-Modelle
Der Vergleich
- ×Allgemeine LLMs (GPT-4, Gemini) sind beim offenen Schlussfolgern stärker, aber geschlossen und kostspielig
- ×Größere offene Modelle (Meditron-70B, MedGemma-27B) benötigen deutlich mehr GPU-Speicher
- ×Reine Textmodelle können keine Bilder betrachten
- ×Reine Bildklassifikatoren können ihre Befunde nicht sprachlich erklären
- ×Kommerzielle Produkte sind validiert, aber nicht einsehbar
- ×Die meisten Alternativen veröffentlichen weniger reproduzierbare Benchmarks
Wählen Sie nach Modalität (Text oder Bild), Lizenz und der tatsächlich verfügbaren Hardware
Häufig gestellte Fragen
Häufige Fragen zu Med-Flamingo
Wer hat Med-Flamingo entwickelt?
Michael Moor und Kollegen an der Stanford University gemeinsam mit Partnern (2023). Es ist kein Google-Modell.
Was bedeutet "Few-Shot" hier?
Sie fügen einige Beispiel-Tripel aus Bild, Frage und Antwort in den Prompt ein; das Modell beantwortet dann Fragen zu einem neuen Bild ganz ohne Fine-Tuning.
Worauf basiert Med-Flamingo?
Auf OpenFlamingo-9B, einer offenen Neuimplementierung der Flamingo-Architektur von DeepMind mit einem LLaMA-7B-Sprach-Backbone.
Ist Med-Flamingo für den klinischen Einsatz sicher?
Nein. Die Autoren beschreiben es als frühen Forschungsprototyp, der halluzinieren kann; es darf nicht für die Patientenversorgung verwendet werden.
Führt diese Demo Med-Flamingo selbst aus?
Die Demo nutzt den multimodalen medizinischen Assistenten von Dr7.ai, um Fragebeantwortung zu Bildern zu zeigen. Für das Originalmodell führen Sie den Code der Autoren aus.