CheXagent
Stanford AIMI 胸部 X 光基礎模型
由 Dr7.ai 醫療 AI 平台提供支援
CheXagent 是 Stanford 醫學與影像人工智慧中心（AIMI）推出的 80 億參數視覺-語言模型，專為解讀胸部 X 光片而打造——涵蓋異常發現檢測、報告生成以及視覺問答。
體驗 CheXagent 風格的胸部 X 光分析
上傳一張胸部 X 光片，詢問影像發現、投照體位或後續檢查——本示範展示了 CheXagent 所針對的結構化胸部 X 光解讀方式。
釋放 CheXagent 的全部潛力
獲得無限次胸部 X 光分析、更高的上傳上限，以及用於放射學研究工作流程的 API 存取。
什麼是 CheXagent？
CheXagent 是 Stanford AIMI 於 2024 年 1 月發布的胸部 X 光基礎模型（Chen et al.，"CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation"）。它結合了一個臨床語言模型、一個基於胸部 X 光片訓練的視覺編碼器，以及一個讓模型能用自然語言對影像進行推理的橋接網路。
為訓練該模型，團隊建構了 CheXinstruct——一個彙集數十個公開胸部 X 光資料來源的大型指令微調資料集——以及 CheXbench，一套評估套件，用於在影像感知任務（體位分類、疾病識別、視覺問答）和文字生成任務（影像所見與診斷印象生成、報告摘要）上為模型評分。
在 CheXbench 上，CheXagent 在大多數任務中優於通用模型和早期的醫學多模態模型；作者還審查了其在不同性別、種族和年齡群體間的效能差異。它仍是一個研究模型：未取得 FDA 許可，也無意取代放射科醫師。
最新進展
2024 年 1 月由 Stanford AIMI 發布（Chen et al., 2024）
權重和 CheXbench 評估套件可供研究使用；並非經主管機關許可的醫療器材
核心特性
專為胸部 X 光片建構並進行基準測試
核心能力
胸部 X 光投照體位與方向分類
疾病與異常發現識別
影像所見與診斷印象（報告）生成
胸部 X 光視覺問答
放射學報告摘要
基於大型多來源指令資料集 CheXinstruct 訓練
在 CheXbench 上跨感知與生成任務接受評估
針對性別、種族和年齡亞組的公平性審查
效能基準
CheXbench 結果見 CheXagent 論文；Dr7.ai 未進行獨立測量
CheXbench — 感知
領先體位分類、疾病識別和 VQA，與通用及醫學多模態基線模型比較
CheXbench — 生成
領先影像所見、診斷印象和摘要任務，採用放射學專用指標評分
CheXinstruct
多來源由多個公開胸部 X 光資料集（如 MIMIC-CXR、CheXpert）建構的指令資料集
模型規模
8B視覺編碼器 + 視覺-語言橋接器 + 臨床 LLM
應用情境
影像研究
使用統一的評估套件（CheXbench）對胸部 X 光解讀模型進行基準測試。
放射學決策支援
起草影像所見並標記可能的異常，供放射科醫師審閱。
放射學教育
基於教學用胸部 X 光片的互動式問答。
如何使用 CheXagent
來自 Stanford AIMI 的研究權重
取得模型
CheXagent 的權重由 Stanford AIMI 在 Hugging Face 上發布，供研究使用；請查閱模型卡瞭解目前的授權條款。
整合方式
輸入一張胸部 X 光片和一條指令，即可獲得文字輸出。
- • 異常發現 / 疾病識別提示
- • 影像所見與診斷印象生成
- • 視覺問答
- • 報告摘要
部署注意事項
在讓 CheXagent 接觸任何患者資料之前，請先規劃好隱私保護、驗證和人工監督。
- • 對資料去識別化，並遵守 HIPAA / GDPR
- • 使用前先在本機構的資料上進行驗證
- • 每一項輸出都須由執業臨床醫師參與審核
- • 為稽核人員記錄侷限性和預期用途
重要注意事項
須經臨床驗證
CheXagent 是研究模型。在任何臨床使用之前，其輸出必須經合格的醫療專業人員審核。
法規合規
該模型並非經主管機關許可或核准的醫療器材。部署前請確保符合當地醫療法規和資料保護規定（如 HIPAA、GDPR）。
CheXagent 與其他醫學影像模型比較
專用模型 vs 通用模型
CheXagent
Stanford AIMI 的胸部 X 光模型
- ✓專為胸部 X 光片打造
- ✓單一模型同時完成感知與報告生成
- ✓公開基準（CheXbench），便於公平比較
- ✓跨人口群體的公平性評估
- ✓基於大型多來源指令資料集訓練
- ✓開放供研究使用
胸部 X 光研究、報告起草原型以及放射學 AI 基準測試
其他醫療 AI 模型
與其他模型比較
- ×通用 LLM（GPT-4、Gemini）開放式推理能力更強，但閉源且成本高
- ×更大的開放模型（Meditron-70B、MedGemma-27B）需要多得多的 GPU 記憶體
- ×純文字模型無法檢視影像
- ×純影像分類器無法用語言解釋其發現
- ×商業產品經過驗證，但無法審查其內部
- ×大多數替代方案公佈的可重現基準較少
請根據模態（文字或影像）、授權條款以及您實際擁有的硬體進行選擇
常見問題
關於 CheXagent 的常見問題
CheXagent 是由誰開發的？
由 Stanford 醫學與影像人工智慧中心（AIMI）開發。它不是 Google 的模型。
CheXagent 能做什麼？
針對胸部 X 光片進行體位分類、異常發現識別、視覺問答，以及生成或總結影像所見與診斷印象。
CheXagent 是否已取得 FDA 許可？
否。它是一個研究模型，絕不能作為臨床決策的唯一依據。
什麼是 CheXbench？
隨 CheXagent 一同發布的評估套件：涵蓋影像感知與文字生成的八項胸部 X 光任務，用於比較多模態模型。
本示範執行的是 CheXagent 本身嗎？
本示範使用 Dr7.ai 的多模態醫療助手來展示胸部 X 光解讀。如需使用原版模型，請使用 Stanford AIMI 發布的權重。