
Dr7.ai 医療AIプラットフォーム提供
CheXagent は、Stanford Center for Artificial Intelligence in Medicine & Imaging(AIMI)が胸部X線の読影に特化して開発した、80億パラメータの視覚言語モデルです。所見の検出やレポート生成から、ビジュアル質問応答まで対応します。
胸部X線画像をアップロードして、所見、撮影方向、フォローアップについて質問してみてください。CheXagent が想定する構造化された胸部X線読影の例をデモでご覧いただけます。
放射線研究ワークフロー向けに、無制限の胸部X線解析、より高いアップロード上限、APIアクセスをご利用いただけます。
CheXagent は、2024年1月に Stanford AIMI が公開した胸部X線の基盤モデルです(Chen et al., "CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation")。臨床言語モデル、胸部X線画像で学習した視覚エンコーダー、そしてモデルが画像について自然言語で推論できるようにする橋渡しネットワークを組み合わせています。
学習のため、チームは数十の公開胸部X線データソースから構築した大規模な指示チューニング用データセット CheXinstruct と、画像認識タスク(撮影方向の分類、疾患の識別、ビジュアルQA)およびテキスト生成タスク(所見・インプレッションの生成、レポート要約)でモデルを評価するスイート CheXbench を開発しました。
CheXbench では、CheXagent がほとんどのタスクで汎用モデルやそれ以前の医療マルチモーダルモデルを上回り、著者らは性別・人種・年齢による性能差の監査も実施しました。あくまで研究用モデルであり、FDA の認可を受けておらず、放射線科医に代わることを意図したものではありません。
2024年1月に Stanford AIMI が公開(Chen et al., 2024)
ウェイトと CheXbench 評価スイートは研究向けに公開。規制当局の認可を受けた医療機器ではありません
胸部X線画像に特化して構築・評価
胸部X線の撮影方向・向きの分類
疾患と所見の識別
所見とインプレッション(レポート)の生成
胸部X線に関するビジュアル質問応答
放射線レポートの要約
大規模なマルチソース指示データセット CheXinstruct で学習
CheXbench で認識・生成タスクを横断的に評価
性別・人種・年齢のサブグループにわたる公平性監査
CheXbench の結果は CheXagent 論文で報告されたもので、Dr7.ai は独自に測定していません
撮影方向の分類、疾患の識別、VQA を汎用・医療マルチモーダルのベースラインと比較
所見、インプレッション、要約の各タスクを放射線科特有の指標で採点
多数の公開胸部X線コレクション(MIMIC-CXR、CheXpert など)から構築した指示データセット
視覚エンコーダー+視覚言語ブリッジ+臨床LLM
共通のスイート(CheXbench)で胸部X線読影モデルをベンチマークします。
所見の下書きを作成し、異常の可能性がある箇所を放射線科医のレビュー用に示します。
教育用の胸部X線画像を使った対話型の質問応答。
Stanford AIMI による研究用ウェイト
CheXagent のウェイトは Stanford AIMI が研究用として Hugging Face で公開しています。最新のライセンス条項はモデルカードでご確認ください。
胸部X線画像と指示を入力すると、テキストが返されます。
CheXagent を患者データに関わる場面で使う前に、プライバシー、検証、人による監督を計画してください。
CheXagent は研究用モデルです。臨床で使用する前に、その出力を資格のある医療専門家が確認する必要があります。
本モデルは規制当局の認可・承認を受けた医療機器ではありません。デプロイ前に、現地の医療規制およびデータ保護規則(HIPAA、GDPR など)への準拠を確認してください。
特化型 vs 汎用型
Stanford AIMI の胸部X線モデル
胸部X線研究、レポート下書きのプロトタイプ、放射線AIのベンチマーク
比較
モダリティ(テキストか画像か)、ライセンス、実際に使えるハードウェアで選びましょう
CheXagent に関するよくある質問
Stanford Center for Artificial Intelligence in Medicine & Imaging(AIMI)です。Google のモデルではありません。
胸部X線の撮影方向の分類、所見の識別、ビジュアル質問応答、所見とインプレッションの生成・要約です。
いいえ。研究用モデルであり、臨床判断の唯一の根拠として使用してはなりません。
CheXagent とともに公開された評価スイートです。画像認識とテキスト生成にまたがる8つの胸部X線タスクで構成され、マルチモーダルモデルの比較に用いられます。
デモでは Dr7.ai のマルチモーダル医療アシスタントを使って、胸部X線の読影をお見せしています。元のモデルそのものを使うには、Stanford AIMI のウェイトをご利用ください。