PMC-LLaMA
Medyczny LLaMA trenowany na 4.8M artykułów z PubMed Central
Działa na platformie medycznej AI Dr7.ai
PMC-LLaMA to otwarty medyczny model językowy od Shanghai Jiao Tong University i Shanghai AI Laboratory. Kontynuuje trening wstępny LLaMA na 4,8 mln artykułów biomedycznych i 30 000 podręczników medycznych, a następnie przechodzi instruction tuning pod kątem odpowiadania na pytania medyczne i dialogu.
Wypróbuj medyczne Q&A w stylu PMC-LLaMA
Zadawaj pytania w stylu USMLE lub kliniczne — demo pokazuje oparte na literaturze rozumowanie medyczne, do którego stworzono PMC-LLaMA.
Wypróbuj inne modele
Zobacz wszystkiePMC-LLaMA Demo
Poznaj zaawansowaną medyczną AI
Odblokuj pełny potencjał PMC-LLaMA
Uzyskaj nieograniczone medyczne Q&A, dłuższy kontekst i dostęp do API na potrzeby przygotowań do egzaminów i pracy badawczej.
Czym jest PMC-LLaMA?
PMC-LLaMA to otwartoźródłowy medyczny duży model językowy opracowany przez badaczy z Shanghai Jiao Tong University i Shanghai AI Laboratory (Wu et al., 2023, "PMC-LLaMA: Towards Building Open-source Language Models for Medicine"). Jest dostępny w rozmiarach 7B i 13B.
Trening przebiega w dwóch etapach. Najpierw LLaMA jest dalej wstępnie trenowany na 4,8 mln artykułów biomedycznych z PubMed Central oraz 30 000 podręczników medycznych (korpus MedC-K), co daje "MedLLaMA". Następnie model przechodzi instruction tuning na MedC-I — medycznych pytaniach i odpowiedziach, uzasadnieniach i rozmowach — i staje się PMC-LLaMA.
Model 13B uzyskał 56.4% w MedQA (USMLE), 56.0% w MedMCQA i 77.9% w PubMedQA, wyprzedzając wcześniejsze otwarte modele medyczne i będąc wówczas konkurencyjnym wobec ChatGPT w tych benchmarkach. To model badawczy: nie jest wyrobem medycznym, a jego odpowiedzi wymagają weryfikacji przez ekspertów.
Optymalizacja pod USMLE
Udostępniony w 2023 r. przez Shanghai Jiao Tong University i Shanghai AI Laboratory (Wu et al.)
Otwarte wagi na Hugging Face (axiong/PMC_LLaMA_13B); obowiązują warunki licencji LLaMA
Kluczowe funkcje
Wstrzykiwanie wiedzy z literatury biomedycznej
Główne możliwości
Odpowiadanie na pytania medyczne w stylu USMLE
Kontynuowany trening wstępny na 4.8M artykułów z PubMed Central
30 000 podręczników medycznych w korpusie do treningu wstępnego
Instruction tuning na medycznych Q&A, uzasadnieniach i dialogach
Dostępny w rozmiarach 7B i 13B parametrów
Otwarte wagi do zastosowań badawczych
Wysokie wyniki w PubMedQA i MedMCQA jak na model otwarty
Mieści się na jednym GPU z dużą ilością pamięci
Wyniki w benchmarkach
Wyniki podane w publikacji o PMC-LLaMA dla modelu 13B (niemierzone przez Dr7.ai)
MedQA (USMLE)
56.4%Pytania w stylu amerykańskiego egzaminu lekarskiego
MedMCQA
56.0%Pytania z indyjskiego egzaminu wstępnego na studia medyczne
PubMedQA
77.9%Odpowiadanie na pytania dotyczące literatury biomedycznej
Korpus do treningu wstępnego
4.8M artykułówOraz 30K podręczników (MedC-K), a następnie dane instrukcyjne MedC-I
Zastosowania
Badania nad medyczną AI
Otwarty model bazowy do badań nad adaptacyjnym treningiem wstępnym w medycynie.
Wsparcie w zakresie wiedzy klinicznej
Oparte na literaturze odpowiedzi na pytania kliniczne, do weryfikacji przez specjalistów.
Edukacja medyczna
Pytania treningowe w stylu USMLE z wyjaśnieniami.
Jak korzystać z PMC-LLaMA
Otwarte wagi 7B / 13B
Pobierz wagi
Załaduj punkty kontrolne 7B lub 13B z Hugging Face za pomocą transformers. Obowiązują warunki licencji LLaMA.
Opcje integracji
Używaj go jako modelu czatu lub QA albo dostrój go dalej na własnych danych.
- • Odpowiadanie na pytania medyczne
- • Generowanie pytań w stylu egzaminacyjnym
- • Dalszy fine-tuning na danych placówki
- • Model bazowy do badań nad medycznymi LLM
Kwestie wdrożeniowe
Zanim dopuścisz PMC-LLaMA w pobliże danych pacjentów, zaplanuj ochronę prywatności, walidację i nadzór człowieka.
- • Anonimizuj dane i przestrzegaj HIPAA / GDPR
- • Przed użyciem zwaliduj model na danych własnej placówki
- • Każdy wynik musi weryfikować uprawniony lekarz
- • Dokumentuj ograniczenia i przeznaczenie na potrzeby audytorów
Ważne kwestie
Wymagana walidacja kliniczna
PMC-LLaMA jest modelem badawczym. Przed jakimkolwiek zastosowaniem klinicznym jego wyniki muszą zostać zweryfikowane przez wykwalifikowany personel medyczny.
Zgodność z przepisami
Model nie jest dopuszczonym ani zatwierdzonym wyrobem medycznym. Przed wdrożeniem zapewnij zgodność z lokalnymi przepisami dotyczącymi ochrony zdrowia i ochrony danych (np. HIPAA, GDPR).
PMC-LLaMA na tle innych medycznych modeli językowych
Gdzie sprawdza się otwarty model medyczny 13B
PMC-LLaMA
Otwarty medyczny LLaMA (SJTU / Shanghai AI Lab)
- ✓Otwarte wagi w praktycznych rozmiarach 7B / 13B
- ✓Wstępnie trenowany na milionach prawdziwych artykułów biomedycznych
- ✓Instruction tuning pod medyczne QA i dialog
- ✓Wysokie wyniki w benchmarkach wśród otwartych modeli w chwili premiery
- ✓Działa na jednym GPU z dużą ilością pamięci
- ✓Przejrzysty, dwuetapowy proces trenowania
Badania i edukacja wymagające otwartego medycznego LLM opartego na literaturze
Inne modele medycznej AI
Jak wypada w porównaniu
- ×Ogólne LLM (GPT-4, Gemini) lepiej radzą sobie z otwartym rozumowaniem, ale są zamknięte i kosztowne
- ×Większe otwarte modele (Meditron-70B, MedGemma-27B) wymagają znacznie więcej pamięci GPU
- ×Modele tekstowe nie potrafią analizować obrazów
- ×Klasyfikatory obrazów nie potrafią objaśnić swoich wyników słowami
- ×Produkty komercyjne są zwalidowane, ale nie da się ich zbadać
- ×Większość alternatyw publikuje mniej benchmarków z odtwarzalnymi wynikami
Wybieraj według modalności (tekst czy obraz), licencji i sprzętu, którym faktycznie dysponujesz
Najczęściej zadawane pytania
Częste pytania o PMC-LLaMA
Kto opracował PMC-LLaMA?
Badacze z Shanghai Jiao Tong University i Shanghai AI Laboratory (Wu et al., 2023). Nie jest to model Stanforda ani Google.
Na jakich danych trenowano PMC-LLaMA?
Na 4,8 mln artykułów z PubMed Central i 30 000 podręczników medycznych w ramach kontynuowanego treningu wstępnego, a następnie na danych z medycznymi Q&A, uzasadnieniami i dialogami w ramach instruction tuningu.
Jakie wyniki osiąga PMC-LLaMA w pytaniach USMLE?
Model 13B uzyskuje 56.4% w MedQA (USMLE), 56.0% w MedMCQA i 77.9% w PubMedQA.
Czy mogę uruchomić PMC-LLaMA lokalnie?
Tak. Model 13B mieści się na jednym GPU z dużą ilością pamięci, a model 7B — po kwantyzacji — na sprzęcie konsumenckim.
Czy to demo uruchamia właśnie PMC-LLaMA?
Demo korzysta z asystenta medycznego Dr7.ai, aby pokazać medyczne Q&A oparte na literaturze. Aby użyć dokładnie tego modelu, skorzystaj z otwartych wag.