BiomedLM
Stanford CRFM 2.7B 生物醫學語言模型
由 Dr7.ai 醫療 AI 平台提供支援
BioMedLM（前身為 PubMedGPT）是由 Stanford CRFM 與 MosaicML 訓練的 27 億參數 GPT 式語言模型，訓練資料僅為 PubMed 摘要和全文文章。它表明，一個小型的領域專用模型在生物醫學問答上可以與大得多的通用模型相媲美。
體驗 BioMedLM 風格的生物醫學問答
提出有關生物醫學文獻、作用機制或術語的問題——本示範展示了經領域訓練的語言模型所生成的、基於 PubMed 的回答類型。
試用其他模型
查看全部BiomedLM 演示
體驗先進的醫療 AI
解鎖 BiomedLM 全部潛力
獲得無限次生物醫學問答、更長的上下文以及適用於大量文獻工作流程的 API 存取。
什麼是 BioMedLM？
BiomedLM 是由 Stanford 基礎模型研究中心（CRFM）與 MosaicML 聯合建構的 27 億參數自迴歸語言模型。它於 2022 年 12 月首次以 PubMedGPT 之名發布，後更名為 BioMedLM。
通用模型在海量資料中只見過少量生物醫學文字，而 BioMedLM 則是從零開始、僅使用 PubMed 摘要和 PubMed Central 全文文章訓練（即 The Pile 中的 PubMed 部分，約 500 億 token）。正是這種專注，讓這個相對很小的模型在微調後於 MedQA（USMLE）上達到約 50%、在 PubMedQA 上達到 74%——在發布時，這些成績可與規模為其 50 倍的模型相競爭。
BioMedLM 權重開放，且規模小到可以在單張 GPU 上微調，因此成為生物醫學資訊擷取、摘要和問答研究中廣受歡迎的基礎模型。它是一個研究成果，而非臨床產品，不適用於直接面對患者的情境。
最新進展
2022 年 12 月由 Stanford CRFM 與 MosaicML 以 PubMedGPT 之名發布；2023 年更名為 BioMedLM（論文：Bolton et al., 2024）
權重已在 Hugging Face 開放（stanford-crfm/BioMedLM）；基於 3000 億 token 的 PubMed 文字訓練
核心特性
僅用生物醫學文獻訓練的小型模型
核心能力
2.7B 參數——單張 GPU 即可微調
僅使用 PubMed 摘要和 PMC 全文訓練
生物醫學問答（MedQA、PubMedQA、MedMCQA）
文獻摘要與資訊擷取
經微調後可進行生物醫學實體與關係擷取
GPT-2 式架構，配備客製化的生物醫學分詞器
開放權重，供研究使用
相較通用 LLM，單位參數效率更高
效能基準
Stanford CRFM / MosaicML 公佈的微調版 2.7B 模型結果
MedQA (USMLE)
50.3%美國醫師執照考試風格題目，四選一
PubMedQA
74.4%基於 PubMed 摘要的是/否/可能類問題
MedMCQA
具競爭力印度醫學入學考試題目；資料見 BioMedLM 論文
模型規模
2.7B僅用通用 LLM 一小部分的參數量即達到上述分數
應用場景
生物醫學研究
總結論文、擷取實體，並從文獻中生成研究假設。
文獻分析
基於 PubMed 風格文字的問答與摘要。
醫學教育
解答考試風格的生物醫學問題，並解釋其中的作用機制。
如何使用 BioMedLM
單張 GPU 即可執行的開放權重
取得權重
使用 transformers 從 Hugging Face 載入 stanford-crfm/BioMedLM。基礎模型只是一個普通語言模型——需針對您的任務進行微調。
整合方式
BioMedLM 最適合作為特定任務微調的基礎模型。
- • 針對生物醫學問答或分類任務進行微調
- • 命名實體與關係擷取
- • 論文摘要彙整管線
- • 用於檢索的領域適配嵌入向量
部署注意事項
在讓 BioMedLM 接觸任何患者資料之前，請先規劃好隱私保護、驗證和人工監督。
- • 對資料去識別化，並遵守 HIPAA / GDPR
- • 使用前先在本機構的資料上進行驗證
- • 每一項輸出都須由執業臨床醫師參與審核
- • 為稽核人員記錄侷限性和預期用途
重要注意事項
須經臨床驗證
BioMedLM 是研究模型。在任何臨床使用之前，其輸出必須經合格的醫療專業人員審核。
法規合規
該模型並非經主管機關許可或核准的醫療器材。部署前請確保符合當地醫療法規和資料保護規定（如 HIPAA、GDPR）。
BioMedLM 與其他醫學語言模型比較
小而專 vs 大而全
BioMedLM
Stanford CRFM 的 2.7B 模型
- ✓僅用生物醫學文獻訓練
- ✓單張 GPU 即可執行和微調
- ✓開放權重，完全可審查
- ✓就其規模而言，MedQA / PubMedQA 分數頗具競爭力
- ✓客製化的生物醫學分詞器
- ✓訓練方法文件完善
需要在有限硬體上使用可微調生物醫學基礎模型的研究團隊
其他醫療 AI 模型
與其他模型比較
- ×通用 LLM（GPT-4、Gemini）開放式推理能力更強，但閉源且成本高
- ×更大的開放模型（Meditron-70B、MedGemma-27B）需要多得多的 GPU 記憶體
- ×純文字模型無法檢視影像
- ×純影像分類器無法用語言解釋其發現
- ×商業產品經過驗證，但無法審查其內部
- ×大多數替代方案公佈的可重現基準較少
請根據模態（文字或影像）、授權條款以及您實際擁有的硬體進行選擇
常見問題
關於 BioMedLM 的常見問題
BioMedLM 是由誰開發的？
由 Stanford CRFM（基礎模型研究中心）與 MosaicML 聯合開發。它最初於 2022 年 12 月以 PubMedGPT 之名發布。
BioMedLM 的規模有多大？
27 億參數——小到可以在單張 GPU 上微調，這正是該專案的核心目標。
BioMedLM 在醫學考試中的得分如何？
根據 Stanford CRFM 的發布資訊，微調後在 MedQA（USMLE）上約為 50.3%，在 PubMedQA 上約為 74.4%。
我可以在臨床產品中使用 BioMedLM 嗎？
其權重開放供研究使用。它不是醫療器材，作者明確提醒，未經驗證不應將其用於直接面對患者的情境。
本示範執行的是 BioMedLM 本身嗎？
本示範使用 Dr7.ai 的醫療助手來展示 PubMed 風格的生物醫學問答。如需精確重現，請在本機執行開放權重。