BiomedLM
Stanford CRFM 2.7B 生物医学语言模型
由 Dr7.ai 医疗 AI 平台提供支持
BioMedLM（前身为 PubMedGPT）是由 Stanford CRFM 与 MosaicML 训练的 27 亿参数 GPT 式语言模型，训练数据仅为 PubMed 摘要和全文文章。它表明，一个小型的领域专用模型在生物医学问答上可以与大得多的通用模型相媲美。
体验 BioMedLM 风格的生物医学问答
提出有关生物医学文献、作用机制或术语的问题——本演示展示了经领域训练的语言模型所生成的、基于 PubMed 的回答类型。
试用其他模型
查看全部BiomedLM 演示
体验先进的医疗 AI
解锁 BiomedLM 全部潜力
获得无限次生物医学问答、更长的上下文以及适用于大量文献工作流的 API 访问。
什么是 BioMedLM？
BiomedLM 是由 Stanford 基础模型研究中心（CRFM）与 MosaicML 联合构建的 27 亿参数自回归语言模型。它于 2022 年 12 月首次以 PubMedGPT 之名发布，后更名为 BioMedLM。
通用模型在海量数据中只见过少量生物医学文本，而 BioMedLM 则是从零开始、仅使用 PubMed 摘要和 PubMed Central 全文文章训练（即 The Pile 中的 PubMed 部分，约 500 亿 token）。正是这种专注，让这个相对很小的模型在微调后于 MedQA（USMLE）上达到约 50%、在 PubMedQA 上达到 74%——在发布时，这些成绩可与规模为其 50 倍的模型相竞争。
BioMedLM 权重开放，且体量小到可以在单块 GPU 上微调，因此成为生物医学信息抽取、摘要和问答研究中广受欢迎的基础模型。它是一个研究成果，而非临床产品，不适用于面向患者的场景。
最新进展
2022 年 12 月由 Stanford CRFM 与 MosaicML 以 PubMedGPT 之名发布；2023 年更名为 BioMedLM（论文：Bolton et al., 2024）
权重已在 Hugging Face 开放（stanford-crfm/BioMedLM）；基于 3000 亿 token 的 PubMed 文本训练
核心特性
仅用生物医学文献训练的小型模型
核心能力
2.7B 参数——单块 GPU 即可微调
仅使用 PubMed 摘要和 PMC 全文训练
生物医学问答（MedQA、PubMedQA、MedMCQA）
文献摘要与信息抽取
经微调后可进行生物医学实体与关系抽取
GPT-2 式架构，配备定制的生物医学分词器
开放权重，供研究使用
相较通用 LLM，单位参数效率更高
性能基准
Stanford CRFM / MosaicML 公布的微调版 2.7B 模型结果
MedQA (USMLE)
50.3%美国医师执照考试风格题目，四选一
PubMedQA
74.4%基于 PubMed 摘要的是/否/可能类问题
MedMCQA
具竞争力印度医学入学考试题目；数据见 BioMedLM 论文
模型规模
2.7B仅用通用 LLM 一小部分的参数量即达到上述分数
应用场景
生物医学研究
总结论文、抽取实体，并从文献中生成研究假设。
文献分析
基于 PubMed 风格文本的问答与摘要。
医学教育
解答考试风格的生物医学问题，并解释其中的作用机制。
如何使用 BioMedLM
单块 GPU 即可运行的开放权重
获取权重
使用 transformers 从 Hugging Face 加载 stanford-crfm/BioMedLM。基础模型只是一个普通语言模型——需针对您的任务进行微调。
集成方式
BioMedLM 最适合作为特定任务微调的基础模型。
- • 针对生物医学问答或分类任务进行微调
- • 命名实体与关系抽取
- • 论文摘要总结流水线
- • 用于检索的领域适配嵌入向量
部署注意事项
在让 BioMedLM 接触任何患者数据之前，请先规划好隐私保护、验证和人工监督。
- • 对数据去标识化，并遵守 HIPAA / GDPR
- • 使用前先在本机构的数据上进行验证
- • 每一项输出都须由执业临床医生参与审核
- • 为审计人员记录局限性和预期用途
重要注意事项
须经临床验证
BioMedLM 是研究模型。在任何临床使用之前，其输出必须经合格的医疗专业人员审核。
法规合规
该模型并非已获监管许可或批准的医疗器械。部署前请确保符合当地医疗法规和数据保护规定（如 HIPAA、GDPR）。
BioMedLM 与其他医学语言模型对比
小而专 vs 大而全
BioMedLM
Stanford CRFM 的 2.7B 模型
- ✓仅用生物医学文献训练
- ✓单块 GPU 即可运行和微调
- ✓开放权重，完全可审查
- ✓就其规模而言，MedQA / PubMedQA 分数颇具竞争力
- ✓定制的生物医学分词器
- ✓训练方法文档完善
需要在有限硬件上使用可微调生物医学基础模型的研究团队
其他医疗 AI 模型
对比情况
- ×通用 LLM（GPT-4、Gemini）开放式推理能力更强，但闭源且成本高
- ×更大的开放模型（Meditron-70B、MedGemma-27B）需要多得多的 GPU 显存
- ×纯文本模型无法查看图像
- ×纯图像分类器无法用语言解释其发现
- ×商业产品经过验证，但无法审查其内部
- ×大多数替代方案公布的可复现基准较少
请根据模态（文本或图像）、许可证以及您实际拥有的硬件进行选择
常见问题
关于 BioMedLM 的常见问题
BioMedLM 是由谁开发的？
由 Stanford CRFM（基础模型研究中心）与 MosaicML 联合开发。它最初于 2022 年 12 月以 PubMedGPT 之名发布。
BioMedLM 的规模有多大？
27 亿参数——小到可以在单块 GPU 上微调，这正是该项目的核心目标。
BioMedLM 在医学考试中的得分如何？
根据 Stanford CRFM 的发布信息，微调后在 MedQA（USMLE）上约为 50.3%，在 PubMedQA 上约为 74.4%。
我可以在临床产品中使用 BioMedLM 吗？
其权重开放供研究使用。它不是医疗器械，作者明确提醒，未经验证不应将其用于面向患者的场景。
本演示运行的是 BioMedLM 本身吗？
本演示使用 Dr7.ai 的医疗助手来展示 PubMed 风格的生物医学问答。如需精确复现，请在本地运行开放权重。