CheXagent
Stanford AIMI 胸部 X 光基础模型
由 Dr7.ai 医疗 AI 平台提供支持
CheXagent 是 Stanford 医学与影像人工智能中心（AIMI）推出的 80 亿参数视觉-语言模型，专为解读胸部 X 光片而打造——涵盖异常发现检测、报告生成以及视觉问答。
体验 CheXagent 风格的胸部 X 光分析
上传一张胸部 X 光片，询问影像发现、投照体位或后续检查——本演示展示了 CheXagent 所针对的结构化胸部 X 光解读方式。
释放 CheXagent 的全部潜力
获得无限次胸部 X 光分析、更高的上传上限，以及用于放射学研究工作流的 API 访问。
什么是 CheXagent？
CheXagent 是 Stanford AIMI 于 2024 年 1 月发布的胸部 X 光基础模型（Chen et al.，"CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation"）。它结合了一个临床语言模型、一个基于胸部 X 光片训练的视觉编码器，以及一个让模型能用自然语言对图像进行推理的桥接网络。
为训练该模型，团队构建了 CheXinstruct——一个汇集数十个公开胸部 X 光数据源的大型指令微调数据集——以及 CheXbench，一套评估套件，用于在图像感知任务（体位分类、疾病识别、视觉问答）和文本生成任务（影像所见与诊断印象生成、报告摘要）上为模型打分。
在 CheXbench 上，CheXagent 在大多数任务中优于通用模型和早期的医学多模态模型；作者还审查了其在不同性别、种族和年龄群体间的性能差异。它仍是一个研究模型：未获 FDA 许可，也无意取代放射科医生。
最新进展
2024 年 1 月由 Stanford AIMI 发布（Chen et al., 2024）
权重和 CheXbench 评估套件可供研究使用；并非已获监管许可的医疗器械
核心特性
专为胸部 X 光片构建并进行基准测试
核心能力
胸部 X 光投照体位与方向分类
疾病与异常发现识别
影像所见与诊断印象（报告）生成
胸部 X 光视觉问答
放射学报告摘要
基于大型多来源指令数据集 CheXinstruct 训练
在 CheXbench 上跨感知与生成任务接受评估
针对性别、种族和年龄亚组的公平性审查
性能基准
CheXbench 结果见 CheXagent 论文；Dr7.ai 未进行独立测量
CheXbench — 感知
领先体位分类、疾病识别和 VQA，与通用及医学多模态基线模型对比
CheXbench — 生成
领先影像所见、诊断印象和摘要任务，采用放射学专用指标评分
CheXinstruct
多来源由多个公开胸部 X 光数据集（如 MIMIC-CXR、CheXpert）构建的指令数据集
模型规模
8B视觉编码器 + 视觉-语言桥接器 + 临床 LLM
应用场景
影像研究
使用统一的评估套件（CheXbench）对胸部 X 光解读模型进行基准测试。
放射学决策支持
起草影像所见并标记可能的异常，供放射科医生审阅。
放射学教育
基于教学用胸部 X 光片的交互式问答。
如何使用 CheXagent
来自 Stanford AIMI 的研究权重
获取模型
CheXagent 的权重由 Stanford AIMI 在 Hugging Face 上发布，供研究使用；请查阅模型卡了解当前的许可条款。
集成方式
输入一张胸部 X 光片和一条指令，即可获得文本输出。
- • 异常发现 / 疾病识别提示
- • 影像所见与诊断印象生成
- • 视觉问答
- • 报告摘要
部署注意事项
在让 CheXagent 接触任何患者数据之前，请先规划好隐私保护、验证和人工监督。
- • 对数据去标识化，并遵守 HIPAA / GDPR
- • 使用前先在本机构的数据上进行验证
- • 每一项输出都须由执业临床医生参与审核
- • 为审计人员记录局限性和预期用途
重要注意事项
须经临床验证
CheXagent 是研究模型。在任何临床使用之前，其输出必须经合格的医疗专业人员审核。
法规合规
该模型并非已获监管许可或批准的医疗器械。部署前请确保符合当地医疗法规和数据保护规定（如 HIPAA、GDPR）。
CheXagent 与其他医学影像模型对比
专用模型 vs 通用模型
CheXagent
Stanford AIMI 的胸部 X 光模型
- ✓专为胸部 X 光片打造
- ✓单一模型同时完成感知与报告生成
- ✓公开基准（CheXbench），便于公平比较
- ✓跨人口群体的公平性评估
- ✓基于大型多来源指令数据集训练
- ✓开放供研究使用
胸部 X 光研究、报告起草原型以及放射学 AI 基准测试
其他医疗 AI 模型
对比情况
- ×通用 LLM（GPT-4、Gemini）开放式推理能力更强，但闭源且成本高
- ×更大的开放模型（Meditron-70B、MedGemma-27B）需要多得多的 GPU 显存
- ×纯文本模型无法查看图像
- ×纯图像分类器无法用语言解释其发现
- ×商业产品经过验证，但无法审查其内部
- ×大多数替代方案公布的可复现基准较少
请根据模态（文本或图像）、许可证以及您实际拥有的硬件进行选择
常见问题
关于 CheXagent 的常见问题
CheXagent 是由谁开发的？
由 Stanford 医学与影像人工智能中心（AIMI）开发。它不是 Google 的模型。
CheXagent 能做什么？
针对胸部 X 光片进行体位分类、异常发现识别、视觉问答，以及生成或总结影像所见与诊断印象。
CheXagent 获得 FDA 许可了吗？
没有。它是一个研究模型，绝不能作为临床决策的唯一依据。
什么是 CheXbench？
随 CheXagent 一同发布的评估套件：涵盖图像感知与文本生成的八项胸部 X 光任务，用于比较多模态模型。
本演示运行的是 CheXagent 本身吗？
本演示使用 Dr7.ai 的多模态医疗助手来展示胸部 X 光解读。如需使用原版模型，请使用 Stanford AIMI 发布的权重。