PMC-LLaMA
基於 480 萬篇 PubMed Central 論文訓練的醫學 LLaMA
由 Dr7.ai 醫療 AI 平台提供支援
PMC-LLaMA 是由上海交通大學和上海人工智能實驗室推出的開放醫學語言模型。它在 480 萬篇生物醫學論文和 3 萬本醫學教科書上對 LLaMA 進行繼續預訓練，隨後針對醫學問答和對話進行指令微調。
體驗 PMC-LLaMA 風格的醫學問答
提出 USMLE 風格或臨床問題——本示範展示了 PMC-LLaMA 所針對的、基於文獻的醫學推理。
試用其他模型
查看全部PMC-LLaMA 演示
體驗先進的醫療 AI
釋放 PMC-LLaMA 的全部潛力
獲得無限次醫學問答、更長的上下文，以及用於備考和研究工作流程的 API 存取。
什麼是 PMC-LLaMA？
PMC-LLaMA 是由上海交通大學和上海人工智能實驗室的研究人員開發的開源醫學大語言模型（Wu et al., 2023，"PMC-LLaMA: Towards Building Open-source Language Models for Medicine"）。它提供 7B 和 13B 兩種規模。
訓練分為兩個階段。首先，在 480 萬篇 PubMed Central 生物醫學論文和 3 萬本醫學教科書（MedC-K 語料庫）上對 LLaMA 進行進一步預訓練，得到「MedLLaMA」。隨後，在 MedC-I（醫學問答、推理依據和對話資料）上進行指令微調，最終得到 PMC-LLaMA。
據報告，13B 模型在 MedQA（USMLE）上得分 56.4%，在 MedMCQA 上得分 56.0%，在 PubMedQA 上得分 77.9%，在這些基準上領先於早期的開放醫學模型，並與當時的 ChatGPT 相當。它是一個研究模型：並非醫療器材，其回答需要專家核實。
USMLE 最佳化
2023 年由上海交通大學和上海人工智能實驗室發布（Wu et al.）
權重已在 Hugging Face 開放（axiong/PMC_LLaMA_13B）；須遵守 LLaMA 授權條款
核心特性
從生物醫學文獻中注入知識
核心能力
USMLE 風格的醫學問答
在 480 萬篇 PubMed Central 論文上繼續預訓練
預訓練語料包含 3 萬本醫學教科書
基於醫學問答、推理依據和對話資料進行指令微調
提供 7B 和 13B 兩種參數規模
開放權重，供研究使用
作為開放模型，在 PubMedQA 和 MedMCQA 上成績出色
單張大記憶體 GPU 即可執行
效能基準
PMC-LLaMA 論文中報告的 13B 模型成績（非 Dr7.ai 測得）
MedQA (USMLE)
56.4%美國醫師執照考試風格題目
MedMCQA
56.0%印度醫學入學考試題目
PubMedQA
77.9%生物醫學文獻問答
預訓練語料
4.8M 篇論文另含 3 萬本教科書（MedC-K），隨後使用 MedC-I 指令資料
應用情境
醫療 AI 研究
用於研究醫學領域自適應預訓練的開放基線模型。
臨床知識支援
針對臨床問題給出基於文獻的回答，供專業人員審閱。
醫學教育
USMLE 風格練習題，附帶解析。
如何使用 PMC-LLaMA
開放的 7B / 13B 權重
取得權重
使用 transformers 從 Hugging Face 載入 7B 或 13B 檢查點。須遵守 LLaMA 授權條款。
整合方式
可將其用作聊天或問答模型，也可使用您自己的資料進一步微調。
- • 醫學問答
- • 生成考試風格題目
- • 基於機構資料進一步微調
- • 醫學 LLM 研究的基線模型
部署注意事項
在讓 PMC-LLaMA 接觸任何患者資料之前，請先規劃好隱私保護、驗證和人工監督。
- • 對資料去識別化，並遵守 HIPAA / GDPR
- • 使用前先在本機構的資料上進行驗證
- • 每一項輸出都須由執業臨床醫師參與審核
- • 為稽核人員記錄侷限性和預期用途
重要注意事項
須經臨床驗證
PMC-LLaMA 是研究模型。在任何臨床使用之前，其輸出必須經合格的醫療專業人員審核。
法規合規
該模型並非經主管機關許可或核准的醫療器材。部署前請確保符合當地醫療法規和資料保護規定（如 HIPAA、GDPR）。
PMC-LLaMA 與其他醫學語言模型比較
開放 13B 醫學模型的定位
PMC-LLaMA
開放醫學 LLaMA（上海交通大學 / 上海人工智能實驗室）
- ✓開放權重，提供實用的 7B / 13B 規模
- ✓基於數百萬篇真實生物醫學論文預訓練
- ✓針對醫學問答和對話進行指令微調
- ✓發布時在開放模型中基準成績出色
- ✓單張大記憶體 GPU 即可執行
- ✓透明的兩階段訓練方法
需要開放、基於文獻的醫學 LLM 的研究和教育情境
其他醫療 AI 模型
與其他模型比較
- ×通用 LLM（GPT-4、Gemini）開放式推理能力更強，但閉源且成本高
- ×更大的開放模型（Meditron-70B、MedGemma-27B）需要多得多的 GPU 記憶體
- ×純文字模型無法檢視影像
- ×純影像分類器無法用語言解釋其發現
- ×商業產品經過驗證，但無法審查其內部
- ×大多數替代方案公佈的可重現基準較少
請根據模態（文字或影像）、授權條款以及您實際擁有的硬體進行選擇
常見問題
關於 PMC-LLaMA 的常見問題
PMC-LLaMA 是由誰開發的？
由上海交通大學和上海人工智能實驗室的研究人員開發（Wu et al., 2023）。它不是 Stanford 或 Google 的模型。
PMC-LLaMA 使用了哪些訓練資料？
繼續預訓練使用了 480 萬篇 PubMed Central 論文和 3 萬本醫學教科書，指令微調則使用了醫學問答、推理依據和對話資料。
PMC-LLaMA 在 USMLE 題目上的得分如何？
據報告，13B 模型在 MedQA（USMLE）上得分 56.4%，在 MedMCQA 上得分 56.0%，在 PubMedQA 上得分 77.9%。
我可以在本機執行 PMC-LLaMA 嗎？
可以。13B 模型可在單張大記憶體 GPU 上執行，7B 模型經量化後可在消費級硬體上執行。
本示範執行的是 PMC-LLaMA 本身嗎？
本示範使用 Dr7.ai 的醫療助手來展示基於文獻的醫學問答。如需使用原版模型，請使用其開放權重。