Med-Flamingo
การถาม-ตอบจากภาพทางการแพทย์แบบ Few-Shot
ขับเคลื่อนโดยแพลตฟอร์ม AI ทางการแพทย์ Dr7.ai
Med-Flamingo เป็นโมเดลเรียนรู้แบบ few-shot มัลติโมดัลสำหรับการแพทย์จากนักวิจัย Stanford พัฒนาบน OpenFlamingo-9B และฝึกล่วงหน้าด้วยข้อมูลภาพ-ข้อความแบบสลับจากตำราแพทย์และ PubMed Central สามารถตอบคำถามเกี่ยวกับภาพทางการแพทย์ใหม่ได้หลังเห็นตัวอย่างเพียงไม่กี่ตัวอย่าง
ลองถาม-ตอบจากภาพแบบ Med-Flamingo
อัปโหลดภาพทางการแพทย์แล้วถามคำถามเกี่ยวกับภาพนั้น — เดโมนี้แสดงการให้เหตุผลจากภาพและข้อความแบบสลับที่ Med-Flamingo นำมาใช้ในการแพทย์
ลองโมเดลอื่น
ดูทั้งหมดMed-Flamingo เดโม
สัมผัส AI ทางการแพทย์ขั้นสูง
ปลดล็อกศักยภาพเต็มของ Med-Flamingo
ถาม-ตอบจากภาพได้ไม่จำกัด อัปโหลดได้มากขึ้น และเข้าถึง API สำหรับงานวิจัยทางการแพทย์แบบมัลติโมดัล
Med-Flamingo คืออะไร?
Med-Flamingo เป็นโมเดลภาพ-ภาษาทางการแพทย์ที่เปิดตัวในปี 2023 โดย Michael Moor และคณะที่ Stanford ร่วมกับผู้ร่วมวิจัย (Moor et al., "Med-Flamingo: a Multimodal Medical Few-shot Learner") โดยปรับ OpenFlamingo-9B — การพัฒนาซ้ำแบบเปิดของ Flamingo จาก DeepMind — ให้เข้ากับสาขาการแพทย์
โมเดลได้รับการฝึกล่วงหน้าต่อเนื่องด้วยลำดับภาพ-ข้อความแบบสลับจากตำราแพทย์ (ชุดข้อมูล MTB) และคู่ภาพประกอบ-คำบรรยายจาก PMC-OA เนื่องจากรับภาพและข้อความแบบสลับกันในบริบทเดียว จึงรองรับการเรียนรู้ในบริบท ("few-shot"): แสดงตัวอย่างภาพ-คำถาม-คำตอบเพียงไม่กี่ชุด แล้วโมเดลจะนำไปใช้กับภาพใหม่ได้โดยไม่ต้องปรับแต่ง
บน VQA-RAD, PathVQA และเบนช์มาร์กใหม่ Visual USMLE แพทย์ให้คะแนนคำตอบเชิงสร้างของ Med-Flamingo สูงกว่าโมเดลอ้างอิง (baseline) แต่คณะผู้วิจัยระบุชัดเจนว่าเป็นต้นแบบงานวิจัยระยะแรกที่อาจเกิดอาการหลอน (hallucination) และไม่เหมาะสำหรับการใช้งานทางคลินิก
ความคืบหน้าล่าสุด
เปิดตัวในเดือนกรกฎาคม 2023 โดยนักวิจัย Stanford และผู้ร่วมวิจัย (Moor et al., 2023)
น้ำหนักโมเดลแบบเปิดบน GitHub / Hugging Face สำหรับการวิจัย; พัฒนาบน OpenFlamingo-9B
ฟีเจอร์หลัก
การเรียนรู้ในบริบทสำหรับภาพทางการแพทย์
ความสามารถหลัก
การถาม-ตอบจากภาพทางการแพทย์แบบ few-shot
อินพุตภาพ + ข้อความแบบสลับในพรอมต์เดียว
คำตอบเชิงสร้าง (ข้อความอิสระ) ไม่ใช่แค่แบบหลายตัวเลือก
ฝึกล่วงหน้าด้วยตำราแพทย์และภาพประกอบจาก PubMed Central
พัฒนาบน OpenFlamingo-9B (โครงหลักภาษา LLaMA-7B)
ประเมินผลบน VQA-RAD, PathVQA และ Visual USMLE
โปรโตคอลการประเมินโดยให้แพทย์ให้คะแนน
น้ำหนักโมเดลแบบเปิดเพื่อการวิจัย
เบนช์มาร์กประสิทธิภาพ
การประเมินตามที่อธิบายในบทความ Med-Flamingo; แพทย์ให้คะแนนคำตอบเชิงสร้างแทนการใช้ตัวเลขความแม่นยำเพียงค่าเดียว
VQA-RAD
Few-shotการถาม-ตอบจากภาพรังสีวิทยาพร้อมตัวอย่างในบริบท
PathVQA
Few-shotการถาม-ตอบจากภาพพยาธิวิทยา
Visual USMLE
เบนช์มาร์กใหม่คำถามแนว USMLE ที่ต้องดูภาพประกอบ นำเสนอพร้อมกับบทความ
คะแนนจากแพทย์
+ เทียบกับโมเดลพื้นฐานโดยเฉลี่ย ผู้เชี่ยวชาญเลือกคำตอบของ Med-Flamingo มากกว่าโมเดลอ้างอิง (baseline) ที่นำมาเปรียบเทียบ
กรณีการใช้งาน
การวิจัยมัลติโมดัล
ศึกษาการเรียนรู้ในบริบทสำหรับภาพทางการแพทย์ด้วยโมเดลแบบเปิด
ถาม-ตอบจากภาพ
ตอบคำถามแบบข้อความอิสระเกี่ยวกับภาพทางการแพทย์ เพื่อให้แพทย์ตรวจทาน
การศึกษาทางการแพทย์
ฝึกทำข้อสอบแนว USMLE จากภาพพร้อมคำอธิบาย
วิธีใช้ Med-Flamingo
โค้ดและน้ำหนักโมเดลเพื่อการวิจัยจากคณะผู้วิจัย
รับโมเดล
โค้ดและน้ำหนักโมเดลเผยแพร่ในรีโพสิทอรี GitHub ของคณะผู้วิจัยและบน Hugging Face; คุณต้องใช้น้ำหนักฐานของ OpenFlamingo และ LLaMA-7B ด้วย
ตัวเลือกการผสานรวม
สร้างพรอมต์จากตัวอย่างภาพ-คำถาม-คำตอบไม่กี่ชุด ตามด้วยภาพและคำถามใหม่
- • VQA แบบ few-shot บนภาพรังสีวิทยา
- • VQA แบบ few-shot บนภาพพยาธิวิทยา
- • การถาม-ตอบจากภาพแนว Visual USMLE
- • โมเดลอ้างอิง (baseline) สำหรับงานวิจัยทางการแพทย์แบบมัลติโมดัล
ข้อควรพิจารณาในการนำไปใช้งาน
วางแผนด้านความเป็นส่วนตัว การตรวจสอบความถูกต้อง และการกำกับดูแลโดยมนุษย์ ก่อนนำ Med-Flamingo ไปใช้ใกล้กับข้อมูลผู้ป่วย
- • ลบข้อมูลระบุตัวตนและปฏิบัติตาม HIPAA / GDPR
- • ตรวจสอบความถูกต้องกับข้อมูลของสถาบันคุณเองก่อนใช้งาน
- • ให้แพทย์ที่มีใบอนุญาตตรวจทานผลลัพธ์ทุกครั้ง
- • บันทึกข้อจำกัดและวัตถุประสงค์การใช้งานไว้สำหรับผู้ตรวจสอบ
ข้อควรพิจารณาที่สำคัญ
ต้องมีการตรวจสอบความถูกต้องทางคลินิก
Med-Flamingo เป็นโมเดลเพื่อการวิจัย ผลลัพธ์ต้องได้รับการตรวจทานโดยบุคลากรทางการแพทย์ที่มีคุณสมบัติก่อนนำไปใช้ทางคลินิกใด ๆ
การปฏิบัติตามกฎระเบียบ
โมเดลนี้ไม่ใช่เครื่องมือแพทย์ที่ได้รับอนุญาตหรือได้รับการอนุมัติจากหน่วยงานกำกับดูแล โปรดตรวจสอบให้แน่ใจว่าเป็นไปตามกฎระเบียบด้านสุขภาพและกฎการคุ้มครองข้อมูลในพื้นที่ (เช่น HIPAA, GDPR) ก่อนนำไปใช้งาน
Med-Flamingo เทียบกับโมเดลมัลติโมดัลทางการแพทย์อื่น ๆ
การเรียนรู้แบบ few-shot เปลี่ยนอะไรบ้าง
Med-Flamingo
VQA ทางการแพทย์แบบ few-shot จาก Stanford
- ✓ปรับตัวกับงานภาพใหม่ได้จากตัวอย่างเพียงไม่กี่ชุด
- ✓พรอมต์แบบภาพ-ข้อความสลับกัน
- ✓คำตอบเชิงสร้างแบบข้อความอิสระ
- ✓น้ำหนักโมเดลแบบเปิดเพื่อการวิจัย
- ✓นำเสนอเบนช์มาร์ก Visual USMLE
- ✓การประเมินโดยให้แพทย์ให้คะแนน
งานวิจัยด้านการเรียนรู้ในบริบทและ VQA ทางการแพทย์เชิงสร้าง
โมเดล AI ทางการแพทย์อื่น ๆ
เปรียบเทียบกันอย่างไร
- ×LLM ทั่วไป (GPT-4, Gemini) ให้เหตุผลแบบปลายเปิดได้ดีกว่า แต่เป็นระบบปิดและมีค่าใช้จ่ายสูง
- ×โมเดลเปิดที่ใหญ่กว่า (Meditron-70B, MedGemma-27B) ต้องใช้หน่วยความจำ GPU มากกว่ามาก
- ×โมเดลที่รองรับเฉพาะข้อความไม่สามารถประมวลผลภาพได้
- ×ตัวจำแนกที่รองรับเฉพาะภาพไม่สามารถอธิบายผลที่พบเป็นภาษาได้
- ×ผลิตภัณฑ์เชิงพาณิชย์ผ่านการตรวจสอบแล้ว แต่ไม่สามารถตรวจสอบภายในได้
- ×ทางเลือกส่วนใหญ่เผยแพร่เบนช์มาร์กที่ทำซ้ำได้น้อยกว่า
เลือกตามประเภทข้อมูล (ข้อความหรือภาพ) ใบอนุญาต และฮาร์ดแวร์ที่คุณมีจริง
คำถามที่พบบ่อย
คำถามทั่วไปเกี่ยวกับ Med-Flamingo
ใครเป็นผู้พัฒนา Med-Flamingo?
Michael Moor และคณะที่ Stanford University ร่วมกับผู้ร่วมวิจัย (2023) ไม่ใช่โมเดลของ Google
"few-shot" ในที่นี้หมายถึงอะไร?
คุณใส่ตัวอย่างชุดภาพ-คำถาม-คำตอบไม่กี่ชุดในพรอมต์ จากนั้นโมเดลจะตอบคำถามเกี่ยวกับภาพใหม่ได้โดยไม่ต้องปรับแต่งใด ๆ
Med-Flamingo พัฒนาบนพื้นฐานอะไร?
OpenFlamingo-9B ซึ่งเป็นการพัฒนาซ้ำแบบเปิดของสถาปัตยกรรม Flamingo จาก DeepMind โดยมีโครงหลักภาษาเป็น LLaMA-7B
Med-Flamingo ปลอดภัยสำหรับการใช้งานทางคลินิกหรือไม่?
ไม่ คณะผู้วิจัยระบุว่าเป็นต้นแบบงานวิจัยระยะแรกที่อาจเกิดอาการหลอน (hallucination) จึงห้ามใช้ในการดูแลผู้ป่วย
เดโมนี้รัน Med-Flamingo โดยตรงหรือไม่?
เดโมนี้ใช้ผู้ช่วยทางการแพทย์แบบมัลติโมดัลของ Dr7.ai เพื่อแสดงการถาม-ตอบจากภาพ หากต้องการโมเดลต้นฉบับ ให้รันโค้ดของคณะผู้วิจัย