PMC-LLaMA
基于 480 万篇 PubMed Central 论文训练的医学 LLaMA
由 Dr7.ai 医疗 AI 平台提供支持
PMC-LLaMA 是由上海交通大学和上海人工智能实验室推出的开放医学语言模型。它在 480 万篇生物医学论文和 3 万本医学教科书上对 LLaMA 进行继续预训练，随后针对医学问答和对话进行指令微调。
体验 PMC-LLaMA 风格的医学问答
提出 USMLE 风格或临床问题——本演示展示了 PMC-LLaMA 所针对的、基于文献的医学推理。
试用其他模型
查看全部PMC-LLaMA 演示
体验先进的医疗 AI
释放 PMC-LLaMA 的全部潜力
获得无限次医学问答、更长的上下文，以及用于备考和研究工作流的 API 访问。
什么是 PMC-LLaMA？
PMC-LLaMA 是由上海交通大学和上海人工智能实验室的研究人员开发的开源医学大语言模型（Wu et al., 2023，"PMC-LLaMA: Towards Building Open-source Language Models for Medicine"）。它提供 7B 和 13B 两种规模。
训练分为两个阶段。首先，在 480 万篇 PubMed Central 生物医学论文和 3 万本医学教科书（MedC-K 语料库）上对 LLaMA 进行进一步预训练，得到“MedLLaMA”。随后，在 MedC-I（医学问答、推理依据和对话数据）上进行指令微调，最终得到 PMC-LLaMA。
据报告，13B 模型在 MedQA（USMLE）上得分 56.4%，在 MedMCQA 上得分 56.0%，在 PubMedQA 上得分 77.9%，在这些基准上领先于早期的开放医学模型，并与当时的 ChatGPT 相当。它是一个研究模型：并非医疗器械，其回答需要专家核实。
USMLE 优化
2023 年由上海交通大学和上海人工智能实验室发布（Wu et al.）
权重已在 Hugging Face 开放（axiong/PMC_LLaMA_13B）；须遵守 LLaMA 许可条款
核心特性
从生物医学文献中注入知识
核心能力
USMLE 风格的医学问答
在 480 万篇 PubMed Central 论文上继续预训练
预训练语料包含 3 万本医学教科书
基于医学问答、推理依据和对话数据进行指令微调
提供 7B 和 13B 两种参数规模
开放权重，供研究使用
作为开放模型，在 PubMedQA 和 MedMCQA 上成绩出色
单块大显存 GPU 即可运行
性能基准
PMC-LLaMA 论文中报告的 13B 模型成绩（非 Dr7.ai 测得）
MedQA (USMLE)
56.4%美国医师执照考试风格题目
MedMCQA
56.0%印度医学入学考试题目
PubMedQA
77.9%生物医学文献问答
预训练语料
4.8M 篇论文另含 3 万本教科书（MedC-K），随后使用 MedC-I 指令数据
应用场景
医疗 AI 研究
用于研究医学领域自适应预训练的开放基线模型。
临床知识支持
针对临床问题给出基于文献的回答，供专业人员审阅。
医学教育
USMLE 风格练习题，附带解析。
如何使用 PMC-LLaMA
开放的 7B / 13B 权重
获取权重
使用 transformers 从 Hugging Face 加载 7B 或 13B 检查点。须遵守 LLaMA 许可条款。
集成方式
可将其用作聊天或问答模型，也可使用您自己的数据进一步微调。
- • 医学问答
- • 生成考试风格题目
- • 基于机构数据进一步微调
- • 医学 LLM 研究的基线模型
部署注意事项
在让 PMC-LLaMA 接触任何患者数据之前，请先规划好隐私保护、验证和人工监督。
- • 对数据去标识化，并遵守 HIPAA / GDPR
- • 使用前先在本机构的数据上进行验证
- • 每一项输出都须由执业临床医生参与审核
- • 为审计人员记录局限性和预期用途
重要注意事项
须经临床验证
PMC-LLaMA 是研究模型。在任何临床使用之前，其输出必须经合格的医疗专业人员审核。
法规合规
该模型并非已获监管许可或批准的医疗器械。部署前请确保符合当地医疗法规和数据保护规定（如 HIPAA、GDPR）。
PMC-LLaMA 与其他医学语言模型对比
开放 13B 医学模型的定位
PMC-LLaMA
开放医学 LLaMA（上海交通大学 / 上海人工智能实验室）
- ✓开放权重，提供实用的 7B / 13B 规模
- ✓基于数百万篇真实生物医学论文预训练
- ✓针对医学问答和对话进行指令微调
- ✓发布时在开放模型中基准成绩出色
- ✓单块大显存 GPU 即可运行
- ✓透明的两阶段训练方法
需要开放、基于文献的医学 LLM 的研究和教育场景
其他医疗 AI 模型
对比情况
- ×通用 LLM（GPT-4、Gemini）开放式推理能力更强，但闭源且成本高
- ×更大的开放模型（Meditron-70B、MedGemma-27B）需要多得多的 GPU 显存
- ×纯文本模型无法查看图像
- ×纯图像分类器无法用语言解释其发现
- ×商业产品经过验证，但无法审查其内部
- ×大多数替代方案公布的可复现基准较少
请根据模态（文本或图像）、许可证以及您实际拥有的硬件进行选择
常见问题
关于 PMC-LLaMA 的常见问题
PMC-LLaMA 是由谁开发的？
由上海交通大学和上海人工智能实验室的研究人员开发（Wu et al., 2023）。它不是 Stanford 或 Google 的模型。
PMC-LLaMA 使用了哪些训练数据？
继续预训练使用了 480 万篇 PubMed Central 论文和 3 万本医学教科书，指令微调则使用了医学问答、推理依据和对话数据。
PMC-LLaMA 在 USMLE 题目上的得分如何？
据报告，13B 模型在 MedQA（USMLE）上得分 56.4%，在 MedMCQA 上得分 56.0%，在 PubMedQA 上得分 77.9%。
我可以在本地运行 PMC-LLaMA 吗？
可以。13B 模型可在单块大显存 GPU 上运行，7B 模型经量化后可在消费级硬件上运行。
本演示运行的是 PMC-LLaMA 本身吗？
本演示使用 Dr7.ai 的医疗助手来展示基于文献的医学问答。如需使用原版模型，请使用其开放权重。