BiomedLM
โมเดลภาษาชีวการแพทย์ 2.7B จาก Stanford CRFM
ขับเคลื่อนโดยแพลตฟอร์ม AI ทางการแพทย์ Dr7.ai
BioMedLM (เดิมชื่อ PubMedGPT) เป็นโมเดลภาษาแบบ GPT ขนาด 2.7 พันล้านพารามิเตอร์ ฝึกโดย Stanford CRFM และ MosaicML ด้วยบทคัดย่อและบทความฉบับเต็มจาก PubMed เท่านั้น แสดงให้เห็นว่าโมเดลขนาดเล็กเฉพาะทางสามารถทัดเทียมโมเดลทั่วไปที่ใหญ่กว่ามากในงานตอบคำถามชีวการแพทย์
ลองถาม-ตอบชีวการแพทย์แบบ BioMedLM
ถามคำถามเกี่ยวกับวรรณกรรมชีวการแพทย์ กลไก หรือศัพท์เฉพาะ — เดโมนี้แสดงคำตอบที่อิงข้อมูลจาก PubMed ในแบบที่โมเดลภาษาซึ่งฝึกเฉพาะทางสร้างขึ้น
ลองโมเดลอื่น
ดูทั้งหมดBiomedLM เดโม
สัมผัส AI ทางการแพทย์ขั้นสูง
ปลดล็อกศักยภาพเต็มของ BiomedLM
ถาม-ตอบชีวการแพทย์ได้ไม่จำกัด บริบทยาวขึ้น และเข้าถึง API สำหรับเวิร์กโฟลว์ที่ต้องใช้วรรณกรรมจำนวนมาก
BioMedLM คืออะไร?
BiomedLM เป็นโมเดลภาษาแบบ autoregressive ขนาด 2.7 พันล้านพารามิเตอร์ พัฒนาโดย Stanford Center for Research on Foundation Models (CRFM) ร่วมกับ MosaicML เปิดตัวครั้งแรกในเดือนธันวาคม 2022 ในชื่อ PubMedGPT และต่อมาเปลี่ยนชื่อเป็น BioMedLM
ต่างจากโมเดลทั่วไปที่เห็นข้อความชีวการแพทย์เพียงเล็กน้อยปะปนกับข้อมูลอื่น BioMedLM ได้รับการฝึกตั้งแต่ต้นด้วยบทคัดย่อจาก PubMed และบทความฉบับเต็มจาก PubMed Central เท่านั้น (ส่วน PubMed ของ The Pile ประมาณ 50 พันล้านโทเค็น) การเน้นเฉพาะทางนี้ทำให้โมเดลที่ค่อนข้างเล็กทำคะแนนได้ราว 50% บน MedQA (USMLE) และ 74% บน PubMedQA หลังการปรับแต่ง — ผลลัพธ์ที่ในช่วงเปิดตัวสามารถแข่งขันกับโมเดลที่ใหญ่กว่า 50 เท่าได้
BioMedLM เปิดเผยน้ำหนักโมเดล (open weights) และมีขนาดเล็กพอที่จะปรับแต่งบน GPU เพียงตัวเดียว จึงเป็นโมเดลฐานที่นิยมสำหรับงานวิจัยด้านการสกัดข้อมูล การสรุป และการตอบคำถามชีวการแพทย์ โมเดลนี้เป็นผลงานวิจัย ไม่ใช่ผลิตภัณฑ์ทางคลินิก และไม่ได้มีไว้สำหรับการใช้งานกับผู้ป่วยโดยตรง
ความคืบหน้าล่าสุด
เปิดตัวในเดือนธันวาคม 2022 ในชื่อ PubMedGPT โดย Stanford CRFM และ MosaicML; เปลี่ยนชื่อเป็น BioMedLM ในปี 2023 (บทความ: Bolton et al., 2024)
น้ำหนักโมเดลแบบเปิดบน Hugging Face (stanford-crfm/BioMedLM); ฝึกด้วยข้อความจาก PubMed 300B โทเค็น
ฟีเจอร์หลัก
โมเดลขนาดเล็กที่ฝึกด้วยวรรณกรรมชีวการแพทย์เท่านั้น
ความสามารถหลัก
2.7B พารามิเตอร์ — ปรับแต่งได้บน GPU ตัวเดียว
ฝึกด้วยบทคัดย่อ PubMed และบทความฉบับเต็มจาก PMC เท่านั้น
การตอบคำถามชีวการแพทย์ (MedQA, PubMedQA, MedMCQA)
การสรุปวรรณกรรมและการสกัดข้อมูล
การสกัดเอนทิตีและความสัมพันธ์ชีวการแพทย์หลังการปรับแต่ง
สถาปัตยกรรมแบบ GPT-2 พร้อม tokenizer ชีวการแพทย์ที่ออกแบบเฉพาะ
น้ำหนักโมเดลแบบเปิดสำหรับการใช้งานวิจัย
ประสิทธิภาพต่อพารามิเตอร์สูงเมื่อเทียบกับ LLM ทั่วไป
เบนช์มาร์กประสิทธิภาพ
ผลลัพธ์ที่รายงานโดย Stanford CRFM / MosaicML สำหรับโมเดล 2.7B ที่ผ่านการปรับแต่ง
MedQA (USMLE)
50.3%คำถามแนวข้อสอบใบอนุญาตประกอบวิชาชีพแพทย์ของสหรัฐฯ แบบ 4 ตัวเลือก
PubMedQA
74.4%คำถามแบบใช่/ไม่ใช่/อาจจะ จากบทคัดย่อ PubMed
MedMCQA
ระดับแข่งขันได้คำถามข้อสอบเข้าเรียนแพทย์ของอินเดีย รายงานไว้ในบทความ BioMedLM
ขนาดโมเดล
2.7Bทำคะแนนเหล่านี้ได้โดยใช้พารามิเตอร์เพียงเสี้ยวหนึ่งของ LLM ทั่วไป
กรณีใช้งาน
การวิจัยชีวการแพทย์
สรุปบทความ สกัดเอนทิตี และสร้างสมมติฐานจากวรรณกรรม
การวิเคราะห์วรรณกรรม
การตอบคำถามและการสรุปที่อ้างอิงข้อความในลักษณะ PubMed
การศึกษาทางการแพทย์
ตอบคำถามชีวการแพทย์แนวข้อสอบ และอธิบายกลไกเบื้องหลัง
วิธีใช้ BioMedLM
น้ำหนักโมเดลแบบเปิดที่รันได้บน GPU ตัวเดียว
รับน้ำหนักโมเดล
โหลด stanford-crfm/BioMedLM จาก Hugging Face ด้วย transformers โมเดลฐานเป็นโมเดลภาษาทั่วไป — ให้ปรับแต่งสำหรับงานของคุณ
ตัวเลือกการผสานรวม
BioMedLM มีประโยชน์ที่สุดเมื่อใช้เป็นฐานสำหรับการปรับแต่งเฉพาะงาน
- • ปรับแต่งสำหรับการถาม-ตอบหรือการจำแนกประเภทชีวการแพทย์
- • การสกัดเอนทิตีที่มีชื่อและความสัมพันธ์
- • ไปป์ไลน์สรุปบทคัดย่อ
- • Embedding ที่ปรับให้เข้ากับสาขาเพื่อการค้นคืน
ข้อควรพิจารณาในการนำไปใช้งาน
วางแผนด้านความเป็นส่วนตัว การตรวจสอบความถูกต้อง และการกำกับดูแลโดยมนุษย์ ก่อนนำ BioMedLM ไปใช้ใกล้กับข้อมูลผู้ป่วย
- • ลบข้อมูลระบุตัวตนและปฏิบัติตาม HIPAA / GDPR
- • ตรวจสอบความถูกต้องกับข้อมูลของสถาบันคุณเองก่อนใช้งาน
- • ให้แพทย์ที่มีใบอนุญาตตรวจทานผลลัพธ์ทุกครั้ง
- • บันทึกข้อจำกัดและวัตถุประสงค์การใช้งานไว้สำหรับผู้ตรวจสอบ
ข้อควรพิจารณาที่สำคัญ
ต้องมีการตรวจสอบความถูกต้องทางคลินิก
BioMedLM เป็นโมเดลเพื่อการวิจัย ผลลัพธ์ต้องได้รับการตรวจทานโดยบุคลากรทางการแพทย์ที่มีคุณสมบัติก่อนนำไปใช้ทางคลินิกใด ๆ
การปฏิบัติตามกฎระเบียบ
โมเดลนี้ไม่ใช่เครื่องมือแพทย์ที่ได้รับอนุญาตหรือได้รับการอนุมัติจากหน่วยงานกำกับดูแล โปรดตรวจสอบให้แน่ใจว่าเป็นไปตามกฎระเบียบด้านสุขภาพและกฎการคุ้มครองข้อมูลในพื้นที่ (เช่น HIPAA, GDPR) ก่อนนำไปใช้งาน
BioMedLM เทียบกับโมเดลภาษาทางการแพทย์อื่น ๆ
ขนาดเล็กและเฉพาะทาง เทียบกับขนาดใหญ่และทั่วไป
BioMedLM
โมเดล 2.7B ของ Stanford CRFM
- ✓ฝึกด้วยวรรณกรรมชีวการแพทย์เท่านั้น
- ✓รันและปรับแต่งได้บน GPU ตัวเดียว
- ✓น้ำหนักโมเดลแบบเปิด ตรวจสอบได้ทั้งหมด
- ✓คะแนน MedQA / PubMedQA แข่งขันได้เมื่อเทียบกับขนาด
- ✓Tokenizer ชีวการแพทย์ที่ออกแบบเฉพาะ
- ✓มีเอกสารสูตรการฝึกอย่างละเอียด
กลุ่มวิจัยที่ต้องการโมเดลฐานชีวการแพทย์ที่ปรับแต่งได้บนฮาร์ดแวร์ระดับปานกลาง
โมเดล AI ทางการแพทย์อื่น ๆ
เปรียบเทียบกันอย่างไร
- ×LLM ทั่วไป (GPT-4, Gemini) ให้เหตุผลแบบปลายเปิดได้ดีกว่า แต่เป็นระบบปิดและมีค่าใช้จ่ายสูง
- ×โมเดลเปิดที่ใหญ่กว่า (Meditron-70B, MedGemma-27B) ต้องใช้หน่วยความจำ GPU มากกว่ามาก
- ×โมเดลที่รองรับเฉพาะข้อความไม่สามารถประมวลผลภาพได้
- ×ตัวจำแนกที่รองรับเฉพาะภาพไม่สามารถอธิบายผลที่พบเป็นภาษาได้
- ×ผลิตภัณฑ์เชิงพาณิชย์ผ่านการตรวจสอบแล้ว แต่ไม่สามารถตรวจสอบภายในได้
- ×ทางเลือกส่วนใหญ่เผยแพร่เบนช์มาร์กที่ทำซ้ำได้น้อยกว่า
เลือกตามประเภทข้อมูล (ข้อความหรือภาพ) ใบอนุญาต และฮาร์ดแวร์ที่คุณมีจริง
คำถามที่พบบ่อย
คำถามทั่วไปเกี่ยวกับ BioMedLM
ใครเป็นผู้พัฒนา BioMedLM?
Stanford CRFM (Center for Research on Foundation Models) ร่วมกับ MosaicML เดิมเปิดตัวในชื่อ PubMedGPT เมื่อเดือนธันวาคม 2022
BioMedLM มีขนาดใหญ่แค่ไหน?
2.7 พันล้านพารามิเตอร์ — เล็กพอที่จะปรับแต่งบน GPU ตัวเดียว ซึ่งเป็นเป้าหมายหลักของโครงการ
BioMedLM ทำคะแนนในข้อสอบทางการแพทย์ได้เท่าไร?
ประมาณ 50.3% บน MedQA (USMLE) และ 74.4% บน PubMedQA หลังการปรับแต่ง ตามที่ Stanford CRFM รายงานไว้ในการเปิดตัว
ฉันสามารถใช้ BioMedLM ในผลิตภัณฑ์ทางคลินิกได้หรือไม่?
น้ำหนักโมเดลเปิดให้ใช้เพื่อการวิจัย โมเดลนี้ไม่ใช่เครื่องมือแพทย์ และคณะผู้วิจัยเตือนอย่างชัดเจนว่าไม่ควรใช้งานกับผู้ป่วยโดยตรงหากไม่ผ่านการตรวจสอบความถูกต้อง
เดโมนี้รัน BioMedLM โดยตรงหรือไม่?
เดโมนี้ใช้ผู้ช่วยทางการแพทย์ของ Dr7.ai เพื่อแสดงการถาม-ตอบชีวการแพทย์ในลักษณะ PubMed หากต้องการผลลัพธ์ที่ตรงกับต้นฉบับ ให้รันน้ำหนักโมเดลแบบเปิดบนเครื่องของคุณเอง