BiomedLM
Biomedyczny model językowy 2.7B od Stanford CRFM
Działa na platformie medycznej AI Dr7.ai
BioMedLM (wcześniej PubMedGPT) to model językowy w stylu GPT o 2,7 mld parametrów, wytrenowany przez Stanford CRFM i MosaicML wyłącznie na abstraktach i pełnych tekstach artykułów z PubMed. Pokazuje, że mały model dziedzinowy może rywalizować ze znacznie większymi modelami ogólnymi w odpowiadaniu na pytania biomedyczne.
Wypróbuj biomedyczne Q&A w stylu BioMedLM
Zadawaj pytania o literaturę biomedyczną, mechanizmy lub terminologię — demo pokazuje, jakie odpowiedzi oparte na PubMed generuje model językowy wytrenowany na danych dziedzinowych.
Wypróbuj inne modele
Zobacz wszystkieBiomedLM Demo
Poznaj zaawansowaną medyczną AI
Odblokuj pełny potencjał BiomedLM
Uzyskaj nieograniczone biomedyczne Q&A, dłuższy kontekst i dostęp do API dla pracy opartej na literaturze naukowej.
Czym jest BioMedLM?
BiomedLM to autoregresyjny model językowy o 2,7 mld parametrów, opracowany przez Center for Research on Foundation Models (CRFM) Uniwersytetu Stanforda wspólnie z MosaicML. Po raz pierwszy udostępniono go w grudniu 2022 r. pod nazwą PubMedGPT, a później przemianowano na BioMedLM.
W przeciwieństwie do modeli ogólnych, które widzą niewielką ilość tekstu biomedycznego wśród wszystkich innych danych, BioMedLM wytrenowano od zera wyłącznie na abstraktach PubMed i pełnych tekstach artykułów PubMed Central (część PubMed zbioru The Pile, ok. 50 mld tokenów). Dzięki tej specjalizacji stosunkowo mały model osiąga po fine-tuningu ok. 50% w MedQA (USMLE) i 74% w PubMedQA — w chwili premiery były to wyniki porównywalne z modelami 50× większymi.
BioMedLM ma otwarte wagi i jest na tyle mały, że można go dostroić na jednym GPU, dlatego stał się popularną bazą w badaniach nad ekstrakcją informacji, streszczaniem i odpowiadaniem na pytania w biomedycynie. Jest artefaktem badawczym, a nie produktem klinicznym, i nie jest przeznaczony do bezpośredniego kontaktu z pacjentami.
Najnowsze informacje
Udostępniony w grudniu 2022 r. jako PubMedGPT przez Stanford CRFM i MosaicML; przemianowany na BioMedLM w 2023 r. (publikacja: Bolton et al., 2024)
Otwarte wagi na Hugging Face (stanford-crfm/BioMedLM); trenowany na 300B tokenów tekstów z PubMed
Kluczowe funkcje
Mały model wytrenowany wyłącznie na literaturze biomedycznej
Główne możliwości
2.7B parametrów — fine-tuning na jednym GPU
Trenowany wyłącznie na abstraktach PubMed i pełnych tekstach PMC
Odpowiadanie na pytania biomedyczne (MedQA, PubMedQA, MedMCQA)
Streszczanie literatury i ekstrakcja informacji
Ekstrakcja encji i relacji biomedycznych po fine-tuningu
Architektura w stylu GPT-2 z własnym tokenizerem biomedycznym
Otwarte wagi do zastosowań badawczych
Wysoka efektywność w przeliczeniu na parametr w porównaniu z ogólnymi LLM
Wyniki w benchmarkach
Wyniki podane przez Stanford CRFM / MosaicML dla dostrojonego modelu 2.7B
MedQA (USMLE)
50.3%Pytania w stylu amerykańskiego egzaminu lekarskiego, 4 odpowiedzi do wyboru
PubMedQA
74.4%Pytania tak/nie/może na podstawie abstraktów PubMed
MedMCQA
KonkurencyjnyPytania z indyjskiego egzaminu wstępnego na studia medyczne; wyniki podane w publikacji o BioMedLM
Rozmiar modelu
2.7BOsiąga te wyniki przy ułamku parametrów ogólnych LLM
Przypadki Użycia
Badania biomedyczne
Streszcza artykuły, wyodrębnia encje i generuje hipotezy na podstawie literatury.
Analiza literatury
Odpowiadanie na pytania i streszczanie w oparciu o teksty w stylu PubMed.
Edukacja medyczna
Odpowiada na pytania biomedyczne w stylu egzaminacyjnym i wyjaśnia leżące u ich podstaw mechanizmy.
Jak korzystać z BioMedLM
Otwarte wagi mieszczące się na jednym GPU
Pobierz wagi
Załaduj stanford-crfm/BioMedLM z Hugging Face za pomocą transformers. Model bazowy to zwykły model językowy — dostrój go do swojego zadania.
Opcje integracji
BioMedLM najlepiej sprawdza się jako baza do fine-tuningu pod konkretne zadania.
- • Fine-tuning do biomedycznego QA lub klasyfikacji
- • Rozpoznawanie encji nazwanych i ekstrakcja relacji
- • Potoki streszczania abstraktów
- • Embeddingi dostosowane do dziedziny na potrzeby wyszukiwania
Kwestie wdrożeniowe
Zanim dopuścisz BioMedLM w pobliże danych pacjentów, zaplanuj ochronę prywatności, walidację i nadzór człowieka.
- • Anonimizuj dane i przestrzegaj HIPAA / GDPR
- • Przed użyciem zwaliduj model na danych własnej placówki
- • Każdy wynik musi weryfikować uprawniony lekarz
- • Dokumentuj ograniczenia i przeznaczenie na potrzeby audytorów
Ważne kwestie
Wymagana walidacja kliniczna
BioMedLM jest modelem badawczym. Przed jakimkolwiek zastosowaniem klinicznym jego wyniki muszą zostać zweryfikowane przez wykwalifikowany personel medyczny.
Zgodność z przepisami
Model nie jest dopuszczonym ani zatwierdzonym wyrobem medycznym. Przed wdrożeniem zapewnij zgodność z lokalnymi przepisami dotyczącymi ochrony zdrowia i ochrony danych (np. HIPAA, GDPR).
BioMedLM na tle innych medycznych modeli językowych
Mały i wyspecjalizowany kontra duży i ogólny
BioMedLM
Model 2.7B od Stanford CRFM
- ✓Trenowany wyłącznie na literaturze biomedycznej
- ✓Działa i można go dostroić na jednym GPU
- ✓Otwarte wagi, w pełni możliwe do zbadania
- ✓Konkurencyjne wyniki MedQA / PubMedQA jak na swój rozmiar
- ✓Własny tokenizer biomedyczny
- ✓Dobrze udokumentowany proces trenowania
Zespoły badawcze, które potrzebują dostrajalnego biomedycznego modelu bazowego na skromnym sprzęcie
Inne modele medycznej AI
Jak wypada w porównaniu
- ×Ogólne LLM (GPT-4, Gemini) lepiej radzą sobie z otwartym rozumowaniem, ale są zamknięte i kosztowne
- ×Większe otwarte modele (Meditron-70B, MedGemma-27B) wymagają znacznie więcej pamięci GPU
- ×Modele tekstowe nie potrafią analizować obrazów
- ×Klasyfikatory obrazów nie potrafią objaśnić swoich wyników słowami
- ×Produkty komercyjne są zwalidowane, ale nie da się ich zbadać
- ×Większość alternatyw publikuje mniej benchmarków z odtwarzalnymi wynikami
Wybieraj według modalności (tekst czy obraz), licencji i sprzętu, którym faktycznie dysponujesz
Najczęściej zadawane pytania
Częste pytania o BioMedLM
Kto opracował BioMedLM?
Stanford CRFM (Center for Research on Foundation Models) wspólnie z MosaicML. Pierwotnie udostępniono go jako PubMedGPT w grudniu 2022 r.
Jak duży jest BioMedLM?
2,7 mld parametrów — na tyle mało, że można go dostroić na jednym GPU, co jest głównym celem projektu.
Jakie wyniki uzyskał BioMedLM na egzaminach medycznych?
Po fine-tuningu ok. 50.3% w MedQA (USMLE) i 74.4% w PubMedQA, według informacji Stanford CRFM.
Czy mogę użyć BioMedLM w produkcie klinicznym?
Wagi są udostępnione do badań. Model nie jest wyrobem medycznym, a autorzy wyraźnie przestrzegają przed stosowaniem go w kontakcie z pacjentami bez walidacji.
Czy to demo uruchamia właśnie BioMedLM?
Demo korzysta z asystenta medycznego Dr7.ai, aby pokazać biomedyczne Q&A w stylu PubMed. Aby uzyskać dokładne odwzorowanie, uruchom otwarte wagi lokalnie.