CheXagent
โมเดลพื้นฐานด้านเอกซเรย์ทรวงอกจาก Stanford AIMI
ขับเคลื่อนโดยแพลตฟอร์ม AI ทางการแพทย์ Dr7.ai
CheXagent เป็นโมเดลภาษา-ภาพขนาด 8 พันล้านพารามิเตอร์จาก Stanford Center for Artificial Intelligence in Medicine & Imaging (AIMI) ที่สร้างขึ้นเพื่อแปลผลภาพเอกซเรย์ทรวงอกโดยเฉพาะ — ตั้งแต่การตรวจหาสิ่งผิดปกติและการสร้างรายงาน ไปจนถึงการตอบคำถามจากภาพ
ลองการวิเคราะห์เอกซเรย์ทรวงอกสไตล์ CheXagent
อัปโหลดภาพรังสีทรวงอกแล้วถามเกี่ยวกับสิ่งที่พบ มุมถ่ายภาพ หรือการติดตามผล — เดโมนี้แสดงการแปลผลเอกซเรย์ทรวงอกแบบมีโครงสร้างที่ CheXagent ออกแบบมาเพื่อทำ
ลองโมเดลอื่น
ดูทั้งหมดCheXagent เดโม
สัมผัส AI ทางการแพทย์ขั้นสูง
ปลดล็อกศักยภาพเต็มของ CheXagent
รับการวิเคราะห์เอกซเรย์ทรวงอกไม่จำกัด ขีดจำกัดการอัปโหลดที่สูงขึ้น และการเข้าถึง API สำหรับงานวิจัยด้านรังสีวิทยา
CheXagent คืออะไร?
CheXagent เป็นโมเดลพื้นฐานด้านเอกซเรย์ทรวงอกที่เปิดตัวในเดือนมกราคม 2024 โดย Stanford AIMI (Chen et al., "CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation") โดยผสานโมเดลภาษาทางคลินิก ตัวเข้ารหัสภาพที่ฝึกด้วยภาพรังสีทรวงอก และเครือข่ายเชื่อมต่อที่ช่วยให้โมเดลให้เหตุผลเกี่ยวกับภาพด้วยภาษาธรรมชาติ
ในการฝึกโมเดล ทีมได้สร้าง CheXinstruct — ชุดข้อมูล instruction-tuning ขนาดใหญ่ที่รวบรวมจากแหล่งเอกซเรย์ทรวงอกสาธารณะหลายสิบแหล่ง — และ CheXbench ชุดประเมินที่ให้คะแนนโมเดลในงานด้านการรับรู้ภาพ (การจำแนกมุมถ่ายภาพ การระบุโรค การตอบคำถามจากภาพ) และงานสร้างข้อความ (การสร้างผลการตรวจพบ (findings) และความเห็นสรุป (impression) การสรุปรายงาน)
บน CheXbench นั้น CheXagent ทำผลงานได้ดีกว่าโมเดลทั่วไปและโมเดลมัลติโมดัลทางการแพทย์รุ่นก่อนหน้าในงานส่วนใหญ่ และผู้เขียนยังได้ตรวจสอบความแตกต่างของประสิทธิภาพตามเพศ เชื้อชาติ และอายุด้วย โมเดลนี้ยังคงเป็นโมเดลเพื่อการวิจัย: ไม่ได้รับอนุญาต (clearance) จาก FDA และไม่ได้มีไว้เพื่อทดแทนรังสีแพทย์
ความคืบหน้าล่าสุด
เปิดตัวเดือนมกราคม 2024 โดย Stanford AIMI (Chen et al., 2024)
น้ำหนักโมเดลและชุดประเมิน CheXbench เปิดให้ใช้เพื่อการวิจัย; ไม่ใช่เครื่องมือแพทย์ที่ได้รับอนุญาตจากหน่วยงานกำกับดูแล
ฟีเจอร์หลัก
สร้างและทดสอบเบนช์มาร์กสำหรับภาพรังสีทรวงอกโดยเฉพาะ
ความสามารถหลัก
การจำแนกมุมถ่ายภาพและทิศทางของภาพเอกซเรย์ทรวงอก
การระบุโรคและสิ่งที่ตรวจพบ
การสร้างผลการตรวจพบ (findings) และความเห็นสรุป (impression) ในรายงาน
การตอบคำถามจากภาพเอกซเรย์ทรวงอก
การสรุปรายงานรังสีวิทยา
ฝึกด้วย CheXinstruct ชุดข้อมูลคำสั่งขนาดใหญ่จากหลายแหล่ง
ประเมินบน CheXbench ทั้งงานด้านการรับรู้และการสร้างข้อความ
การตรวจสอบความเป็นธรรมในกลุ่มย่อยตามเพศ เชื้อชาติ และอายุ
เบนช์มาร์กประสิทธิภาพ
ผล CheXbench รายงานในเอกสาร CheXagent; Dr7.ai ไม่ได้วัดผลเหล่านี้อย่างอิสระ
CheXbench — การรับรู้
ชั้นนำการจำแนกมุมถ่ายภาพ การระบุโรค และ VQA เทียบกับโมเดลมัลติโมดัลทั่วไปและทางการแพทย์
CheXbench — การสร้างข้อความ
ชั้นนำงานสร้างผลการตรวจพบ ความเห็นสรุป และการสรุปรายงาน ให้คะแนนด้วยตัวชี้วัดเฉพาะทางรังสีวิทยา
CheXinstruct
หลายแหล่งข้อมูลชุดข้อมูลคำสั่งที่สร้างจากคอลเลกชันเอกซเรย์ทรวงอกสาธารณะจำนวนมาก (เช่น MIMIC-CXR, CheXpert)
ขนาดโมเดล
8Bตัวเข้ารหัสภาพ + ตัวเชื่อมภาษา-ภาพ + LLM ทางคลินิก
กรณีการใช้งาน
การวิจัยด้านภาพทางการแพทย์
ทดสอบเบนช์มาร์กโมเดลแปลผลเอกซเรย์ทรวงอกด้วยชุดประเมินร่วม (CheXbench)
สนับสนุนการตัดสินใจทางรังสีวิทยา
ร่างผลการตรวจพบและระบุความผิดปกติที่น่าจะพบ เพื่อให้รังสีแพทย์ตรวจทาน
การศึกษาด้านรังสีวิทยา
ถาม-ตอบแบบโต้ตอบกับภาพเอกซเรย์ทรวงอกเพื่อการสอน
วิธีใช้ CheXagent
น้ำหนักโมเดลเพื่อการวิจัยจาก Stanford AIMI
รับโมเดล
น้ำหนักโมเดล CheXagent เผยแพร่โดย Stanford AIMI บน Hugging Face เพื่อการวิจัย โปรดตรวจสอบ model card สำหรับเงื่อนไขสัญญาอนุญาตปัจจุบัน
ตัวเลือกการผสานรวม
ป้อนภาพรังสีทรวงอกพร้อมคำสั่ง แล้วรับผลลัพธ์เป็นข้อความ
- • พรอมต์ระบุสิ่งที่ตรวจพบ / โรค
- • การสร้างผลการตรวจพบและความเห็นสรุป
- • การตอบคำถามจากภาพ
- • การสรุปรายงาน
ข้อพิจารณาในการนำไปใช้งาน
วางแผนด้านความเป็นส่วนตัว การตรวจสอบความถูกต้อง และการกำกับดูแลโดยมนุษย์ ก่อนนำ CheXagent ไปใช้ใกล้ข้อมูลผู้ป่วย
- • ลบข้อมูลระบุตัวตนและปฏิบัติตาม HIPAA / GDPR
- • ตรวจสอบความถูกต้องกับข้อมูลของสถาบันคุณเองก่อนใช้งาน
- • ให้แพทย์ผู้มีใบอนุญาตตรวจทานผลลัพธ์ทุกครั้ง
- • จัดทำเอกสารข้อจำกัดและวัตถุประสงค์การใช้งานสำหรับผู้ตรวจสอบ
ข้อควรพิจารณาที่สำคัญ
ต้องมีการตรวจสอบความถูกต้องทางคลินิก
CheXagent เป็นโมเดลเพื่อการวิจัย ผลลัพธ์ต้องได้รับการตรวจทานโดยบุคลากรทางการแพทย์ที่มีคุณสมบัติก่อนนำไปใช้ทางคลินิกใดๆ
การปฏิบัติตามกฎระเบียบ
โมเดลนี้ไม่ใช่เครื่องมือแพทย์ที่ได้รับอนุญาตหรือได้รับการอนุมัติจากหน่วยงานกำกับดูแล โปรดตรวจสอบให้แน่ใจว่าเป็นไปตามกฎระเบียบด้านสุขภาพและกฎการคุ้มครองข้อมูลในพื้นที่ (เช่น HIPAA, GDPR) ก่อนนำไปใช้งาน
CheXagent เทียบกับโมเดลภาพทางการแพทย์อื่นๆ
โมเดลเฉพาะทางเทียบกับโมเดลทั่วไป
CheXagent
โมเดลเอกซเรย์ทรวงอกของ Stanford AIMI
- ✓สร้างขึ้นเพื่อภาพรังสีทรวงอกโดยเฉพาะ
- ✓รองรับทั้งการรับรู้ภาพและการสร้างรายงานในโมเดลเดียว
- ✓เบนช์มาร์กสาธารณะ (CheXbench) เพื่อการเปรียบเทียบที่เป็นธรรม
- ✓การประเมินความเป็นธรรมในกลุ่มประชากรต่างๆ
- ✓ฝึกด้วยชุดคำสั่งขนาดใหญ่จากหลายแหล่ง
- ✓เปิดให้ใช้เพื่อการวิจัย
การวิจัยเอกซเรย์ทรวงอก ต้นแบบการร่างรายงาน และการทดสอบเบนช์มาร์ก AI รังสีวิทยา
โมเดล AI ทางการแพทย์อื่นๆ
การเปรียบเทียบ
- ×LLM ทั่วไป (GPT-4, Gemini) ให้เหตุผลแบบปลายเปิดได้ดีกว่า แต่เป็นระบบปิดและมีค่าใช้จ่ายสูง
- ×โมเดลแบบเปิดที่ใหญ่กว่า (Meditron-70B, MedGemma-27B) ต้องใช้หน่วยความจำ GPU มากกว่ามาก
- ×โมเดลที่รองรับเฉพาะข้อความไม่สามารถประมวลผลภาพได้
- ×ตัวจำแนกภาพอย่างเดียวไม่สามารถอธิบายสิ่งที่พบเป็นภาษาได้
- ×ผลิตภัณฑ์เชิงพาณิชย์ผ่านการตรวจสอบความถูกต้องแล้ว แต่ไม่สามารถตรวจสอบภายในได้
- ×ทางเลือกส่วนใหญ่เผยแพร่เบนช์มาร์กที่ทำซ้ำได้น้อยกว่า
เลือกตามประเภทข้อมูล (ข้อความหรือภาพ) สัญญาอนุญาต และฮาร์ดแวร์ที่คุณมีจริง
คำถามที่พบบ่อย
คำถามทั่วไปเกี่ยวกับ CheXagent
ใครเป็นผู้พัฒนา CheXagent?
Stanford Center for Artificial Intelligence in Medicine & Imaging (AIMI) ไม่ใช่โมเดลของ Google
CheXagent ทำอะไรได้บ้าง?
การจำแนกมุมถ่ายภาพ การระบุสิ่งที่ตรวจพบ การตอบคำถามจากภาพ และการสร้างหรือสรุปผลการตรวจพบ (findings) และความเห็นสรุป (impression) สำหรับภาพเอกซเรย์ทรวงอก
CheXagent ได้รับอนุญาต (clearance) จาก FDA หรือไม่?
ไม่ เป็นโมเดลเพื่อการวิจัยและต้องไม่ใช้เป็นพื้นฐานเพียงอย่างเดียวในการตัดสินใจทางคลินิก
CheXbench คืออะไร?
ชุดประเมินที่เปิดตัวพร้อม CheXagent: งานเอกซเรย์ทรวงอก 8 งานครอบคลุมการรับรู้ภาพและการสร้างข้อความ ใช้เปรียบเทียบโมเดลมัลติโมดัล
เดโมนี้รัน CheXagent โดยตรงหรือไม่?
เดโมใช้ผู้ช่วยทางการแพทย์แบบมัลติโมดัลของ Dr7.ai เพื่อแสดงการแปลผลเอกซเรย์ทรวงอก หากต้องการใช้โมเดลต้นฉบับ โปรดใช้น้ำหนักโมเดลของ Stanford AIMI