
医疗 AI 对话由 Dr7.ai 提供
体验 BioGPT 的强大能力。这款 Microsoft 前沿生物医学语言模型专为医学文本处理、文献分析和全方位生物医学自然语言处理(NLP)任务而设计。
BioGPT 是由 Microsoft Research 开发的生物医学文本生成式预训练 Transformer(Luo 等,Briefings in Bioinformatics,2022)。它采用 GPT-2 medium 架构(24 层、隐藏维度 1024、16 个注意力头),共 3.47 亿(347M)参数,并使用从生物医学文本中学习得到的专属词表。它也常被写作 Bio GPT、BioGPT AI 或 Microsoft BioGPT;其更大规模的版本是 BioGPT-Large。
BioGPT 在生物医学文本生成、问答和文献分析任务中表现卓越。它使用数百万篇生物医学论文和临床文本进行训练,能够理解医学术语和概念。
规模更大的 BioGPT-Large(15 亿参数,GPT-2 XL 架构)经微调后在 PubMedQA 上达到 81.0% 的准确率。代码和权重均采用 MIT 许可证;官方 GitHub 仓库约有 4.5k 星标(2026 年 10 月),模型以 microsoft/biogpt、microsoft/BioGPT-Large 和 microsoft/BioGPT-Large-PubMedQA 发布在 Hugging Face 上。
由 Microsoft Research 于 2022 年 10 月发布(arXiv 2210.10341)
Hugging Face 上的权重最后一次更新是在 2023 年 2 月;此后官方仓库未再发布新的 BioGPT 版本。
模型的设计目标与评测任务
Microsoft 在 BioGPT 论文(Luo 等,2022)中报告的微调结果——非 Dr7.ai 实测
为生物医学术语生成文献风格的描述,并从 PubMed 摘要中挖掘实体及其关系。
针对科研摘要问答(PubMedQA)进行微调。它是研究用模型,不是临床决策支持工具。
从已发表文献中抽取药物–靶点和药物–药物相互作用,辅助数据整理和假设生成。
通过 Hugging Face 或在本地运行 Microsoft 的 BioGPT,或体验 Dr7 自有生物医学 AI 对话。
Microsoft 官方 README 中链接的 Hugging Face 演示 Space(BioGPT-Large 文本生成和 PubMedQA 问答)在我们 2026 年 10 月 20 日检查时均显示运行时错误(Runtime error),因此目前没有可用的官方在线演示。您可以试用本页的生物医学对话(Dr7.ai 自己的助手,并非原版模型权重),或按下方方法自行运行模型。
BioGPT 已内置于 Hugging Face transformers 库。安装 transformers、torch 和 sacremoses(BioGptTokenizer 依赖此包)后即可加载模型:
# pip install transformers torch sacremoses
from transformers import BioGptTokenizer, BioGptForCausalLM, pipeline
tokenizer = BioGptTokenizer.from_pretrained("microsoft/biogpt")
model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(generator("COVID-19 is", max_new_tokens=40)[0]["generated_text"])•microsoft/biogpt —— 基础模型,3.47 亿参数
•microsoft/BioGPT-Large —— 15 亿参数(fp32 权重约 6.3 GB)
•microsoft/BioGPT-Large-PubMedQA —— 针对 PubMedQA 微调
•把代码中的模型 ID 换掉即可使用更大的模型
Microsoft 的 GitHub 仓库(microsoft/BioGPT)提供基于 fairseq 的原始实现和可下载的模型权重,包括针对论文中每项任务微调的模型。
•提供 BC5CDR、KD-DTI、DDI、HoC 和 PubMedQA 的微调权重
•原始环境固定为 PyTorch 1.12、Python 3.10 和 fairseq 0.12
•分词需要 Moses 和 fastBPE
•建议使用 GPU,BioGPT-Large 尤其如此
BioGPT 是一个生物医学文本生成与挖掘模型:它能续写文献风格的文本,经过针对任务的微调后表现良好,但它并未被训练用于对话,也无法解读您的症状、化验结果或影像。如需针对症状、化验单或医学影像获得结构化的 AI 报告,请使用 Dr7.ai 的 AI 医学诊断工具。
打开 AI 医学诊断BioGPT 的输出应由领域专家审核,尤其是在临床或科研应用中。
如需获得最佳效果,建议针对您所在的生物医学领域或具体任务对 BioGPT 进行微调。
BioGPT、BioGPT-Large、BioMedLM、PubMedBERT 与 PMC-LLaMA 一览
| 模型 | 参数量 | 训练语料 | 许可证 | PubMedQA(准确率) |
|---|---|---|---|---|
| BioGPT | 347M | 1500 万条 PubMed 标题 + 摘要 | MIT | 78.2% |
| BioGPT-Large | 1.5B | PubMed | MIT | 81.0% |
| BioMedLM | 2.7B | PubMed 摘要 + 全文(取自 The Pile) | BigScience BLOOM RAIL 1.0 | 74.4% |
| PubMedBERT | ~110M (BERT-base) | PubMed 摘要(其中一个版本另加 PubMed Central 全文) | MIT | 55.8% |
| PMC-LLaMA 13B | 13B | LLaMA-13B + 480 万篇生物医学论文 + 3 万本医学教科书 | OpenRAIL(Hugging Face 模型卡);基于 LLaMA | 77.9% |
各项分数均来自各模型自己的论文(PubMedBERT 的分数取自 BioGPT 论文中的对比),实验设置不同(微调 vs 指令微调),仅供参考,并非同条件下的直接对比。
关于 BioGPT 的常见问题
是的。Microsoft 以 MIT 许可证发布了 BioGPT 的代码和模型权重,该许可证同样适用于预训练模型,因此您可以免费下载并运行 BioGPT 和 BioGPT-Large,包括用于商业用途。自行运行只需承担自己的算力成本。
没有官方的在线服务。Microsoft 未提供托管的 BioGPT 应用,其 README 中链接的 Hugging Face 演示 Space 在 2026 年 10 月 20 日检查时显示运行时错误。您可以从 Hugging Face 自行运行模型,或试用本页的生物医学对话——它是 Dr7.ai 自己的助手,而非 BioGPT 原版模型权重。
两者用途不同。BioGPT 是一个小模型(347M;BioGPT-Large 为 1.5B),只在 PubMed 摘要上预训练,设计用途是针对特定任务进行微调,例如关系抽取、PubMedQA 或文档分类;它可以在您自己的硬件上运行,但没有经过面向对话的指令微调。ChatGPT 是通用的对话助手,在遵循指令和解释说明方面强得多,但它不是专门的领域模型,也无法像 BioGPT 那样在本地进行微调。
安装 transformers、torch 和 sacremoses,然后从 "microsoft/biogpt"(或 "microsoft/BioGPT-Large")加载 BioGptTokenizer 和 BioGptForCausalLM 并生成文本,例如使用 transformers 的 text-generation pipeline。上方「如何使用 BioGPT」部分的代码给出了最简示例。
BioGPT-Large 是 BioGPT 的放大版,基于 GPT-2 XL 架构,拥有 15 亿参数。微调后它在 PubMedQA 上达到 81.0% 的准确率(3.47 亿参数的 BioGPT 为 78.2%),该微调模型以 microsoft/BioGPT-Large-PubMedQA 发布。两者均以 MIT 许可证发布在 Hugging Face 上。
在 BioGPT 论文中,经微调的 BioGPT 在端到端关系抽取任务 BC5CDR、KD-DTI 和 DDI 上的 F1 分别为 44.98%、38.42% 和 40.76%,在 PubMedQA 上准确率为 78.2%,在 HoC 文档分类上 F1 为 85.12%。这些都是针对特定任务微调后的结果;其输出仍应由领域专家核查。
BioGPT 是一个基于已发表文献(而非临床病历)训练的研究模型,尚未经过面向患者诊疗的验证。它可以支持文献挖掘等科研工作流程,但不应取代临床判断,也不应被用于自主做出临床决策。