PMC-LLaMA
480万本の PubMed Central 論文で学習した医療 LLaMA
Dr7.ai 医療AIプラットフォーム提供
PMC-LLaMA は、Shanghai Jiao Tong University と Shanghai AI Laboratory によるオープンな医療言語モデルです。480万本の生物医学論文と3万冊の医学教科書で LLaMA の事前学習を継続し、その後、医療の質問応答と対話向けに指示チューニングしています。
PMC-LLaMA スタイルの医療Q&Aを試す
USMLE 形式や臨床に関する質問をしてみてください。PMC-LLaMA が目指した、文献に基づく医療推論の例をデモでご覧いただけます。
他のモデルを試す
すべて表示PMC-LLaMA デモ
先進の医療AIを体験
PMC-LLaMA の可能性を最大限に引き出す
試験対策や研究ワークフロー向けに、無制限の医療Q&A、より長いコンテキスト、APIアクセスをご利用いただけます。
PMC-LLaMA とは？
PMC-LLaMA は、Shanghai Jiao Tong University と Shanghai AI Laboratory の研究者らが開発したオープンソースの医療大規模言語モデルです（Wu et al., 2023, "PMC-LLaMA: Towards Building Open-source Language Models for Medicine"）。7B と 13B のサイズで提供されています。
学習は2段階で行われます。まず、480万本の PubMed Central 生物医学論文と3万冊の医学教科書（MedC-K コーパス）で LLaMA の事前学習を継続し、「MedLLaMA」を作ります。次に、医療QA、根拠説明、会話からなる MedC-I で指示チューニングを行い、PMC-LLaMA となります。
13B モデルは MedQA（USMLE）で56.4%、MedMCQA で56.0%、PubMedQA で77.9%を報告しており、これらのベンチマークでそれ以前のオープン医療モデルを上回り、当時の ChatGPT に匹敵しました。研究用モデルであり、医療機器ではなく、その回答には専門家による確認が必要です。
USMLE 向け最適化
2023年に Shanghai Jiao Tong University と Shanghai AI Laboratory が公開（Wu et al.）
Hugging Face でオープンウェイトを公開（axiong/PMC_LLaMA_13B）。LLaMA のライセンス条項が適用
主な特長
生物医学文献からの知識注入
コア機能
USMLE 形式の医療質問応答
480万本の PubMed Central 論文で事前学習を継続
事前学習コーパスに3万冊の医学教科書
医療QA、根拠説明、対話での指示チューニング
7B と 13B のパラメータサイズで提供
研究用のオープンウェイト
オープンモデルとして優れた PubMedQA・MedMCQA の結果
大容量メモリのGPU 1台に収まる
性能ベンチマーク
13B モデルについて PMC-LLaMA 論文で報告されたスコア（Dr7.ai による測定ではありません）
MedQA (USMLE)
56.4%米国医師国家試験（USMLE）形式の問題
MedMCQA
56.0%インドの医学部入試問題
PubMedQA
77.9%生物医学文献に関する質問応答
事前学習コーパス
論文4.8M本加えて3万冊の教科書（MedC-K）、その後 MedC-I の指示データ
ユースケース
医療AI研究
医療分野におけるドメイン適応事前学習を研究するためのオープンなベースライン。
臨床知識サポート
専門家のレビュー用に、臨床的な質問へ文献に基づく回答を提示します。
医学教育
解説付きの USMLE 形式の練習問題。
PMC-LLaMA の使い方
オープンな 7B / 13B ウェイト
ウェイトを入手
transformers を使って Hugging Face から 7B または 13B のチェックポイントを読み込みます。LLaMA のライセンス条項が適用されます。
統合オプション
チャットやQAモデルとして使うことも、独自のデータでさらにファインチューニングすることもできます。
- • 医療質問応答
- • 試験形式の問題生成
- • 施設データでの追加ファインチューニング
- • 医療LLM研究のベースライン
デプロイ時の考慮事項
PMC-LLaMA を患者データに関わる場面で使う前に、プライバシー、検証、人による監督を計画してください。
- • データを匿名化し、HIPAA / GDPR に準拠する
- • 使用前に自施設のデータで検証する
- • すべての出力について資格を持つ臨床医が確認する体制を保つ
- • 監査に向けて制限事項と想定用途を文書化する
重要な考慮事項
臨床検証が必要
PMC-LLaMA は研究用モデルです。臨床で使用する前に、その出力を資格のある医療専門家が確認する必要があります。
規制への準拠
本モデルは規制当局の認可・承認を受けた医療機器ではありません。デプロイ前に、現地の医療規制およびデータ保護規則（HIPAA、GDPR など）への準拠を確認してください。
PMC-LLaMA と他の医療言語モデルの比較
オープンな 13B 医療モデルの位置付け
PMC-LLaMA
オープンな医療 LLaMA（SJTU / Shanghai AI Lab）
- ✓実用的な 7B / 13B サイズのオープンウェイト
- ✓数百万本の実際の生物医学論文で事前学習
- ✓医療QAと対話向けに指示チューニング
- ✓公開時点でオープンモデルの中で高いベンチマークスコア
- ✓大容量メモリのGPU 1台で動作
- ✓透明性のある2段階の学習レシピ
オープンで文献に基づく医療LLMを必要とする研究・教育
その他の医療AIモデル
比較
- ×汎用LLM（GPT-4、Gemini）は自由形式の推論に強いが、クローズドで高コスト
- ×より大規模なオープンモデル（Meditron-70B、MedGemma-27B）ははるかに多くのGPUメモリを必要とする
- ×テキスト専用モデルは画像を見ることができない
- ×画像専用の分類器は所見を言葉で説明できない
- ×商用製品は検証済みだが、内部を確認できない
- ×多くの代替モデルは再現可能なベンチマークの公開が少ない
モダリティ（テキストか画像か）、ライセンス、実際に使えるハードウェアで選びましょう
よくある質問
PMC-LLaMA に関するよくある質問
PMC-LLaMA は誰が開発しましたか？
Shanghai Jiao Tong University と Shanghai AI Laboratory の研究者らです（Wu et al., 2023）。Stanford や Google のモデルではありません。
PMC-LLaMA は何で学習されましたか？
継続事前学習には480万本の PubMed Central 論文と3万冊の医学教科書を、指示チューニングには医療QA、根拠説明、対話データを使用しました。
PMC-LLaMA は USMLE 問題でどのようなスコアを出しますか？
13B モデルは MedQA（USMLE）で56.4%、MedMCQA で56.0%、PubMedQA で77.9%を報告しています。
PMC-LLaMA をローカルで実行できますか？
はい。13B モデルは大容量メモリのGPU 1台に収まり、7B モデルは量子化すれば一般向けハードウェアでも動作します。
このデモでは PMC-LLaMA そのものが動いていますか？
デモでは Dr7.ai の医療アシスタントを使って、文献に基づく医療Q&Aをお見せしています。元のモデルそのものを使うには、オープンウェイトをご利用ください。