PMC-LLaMA
LLaMA ทางการแพทย์ที่ฝึกด้วยบทความจาก PubMed Central 4.8 ล้านฉบับ
ขับเคลื่อนโดยแพลตฟอร์ม AI ทางการแพทย์ Dr7.ai
PMC-LLaMA เป็นโมเดลภาษาทางการแพทย์แบบเปิดจาก Shanghai Jiao Tong University และ Shanghai AI Laboratory โดยฝึกล่วงหน้า LLaMA ต่อด้วยบทความชีวการแพทย์ 4.8 ล้านฉบับและตำราแพทย์ 30,000 เล่ม จากนั้นทำ instruction-tuning เพื่อการตอบคำถามและบทสนทนาทางการแพทย์
ลองถาม-ตอบทางการแพทย์สไตล์ PMC-LLaMA
ถามคำถามสไตล์ USMLE หรือคำถามทางคลินิก — เดโมนี้แสดงการให้เหตุผลทางการแพทย์ที่อิงวรรณกรรม ซึ่งเป็นสิ่งที่ PMC-LLaMA ถูกสร้างขึ้นมาเพื่อรองรับ
ลองโมเดลอื่น
ดูทั้งหมดPMC-LLaMA เดโม
สัมผัส AI ทางการแพทย์ขั้นสูง
ปลดล็อกศักยภาพเต็มของ PMC-LLaMA
รับการถาม-ตอบทางการแพทย์ไม่จำกัด บริบทที่ยาวขึ้น และการเข้าถึง API สำหรับการเตรียมสอบและงานวิจัย
PMC-LLaMA คืออะไร?
PMC-LLaMA เป็นโมเดลภาษาขนาดใหญ่ทางการแพทย์แบบโอเพนซอร์สที่พัฒนาโดยนักวิจัยจาก Shanghai Jiao Tong University และ Shanghai AI Laboratory (Wu et al., 2023, "PMC-LLaMA: Towards Building Open-source Language Models for Medicine") มีให้เลือกขนาด 7B และ 13B
การฝึกแบ่งเป็นสองขั้นตอน ขั้นแรก LLaMA ได้รับการฝึกล่วงหน้าเพิ่มเติมด้วยบทความชีวการแพทย์จาก PubMed Central 4.8 ล้านฉบับ และตำราแพทย์ 30,000 เล่ม (คลังข้อมูล MedC-K) ได้เป็น "MedLLaMA" ขั้นที่สอง โมเดลได้รับการทำ instruction-tuning ด้วย MedC-I — การถาม-ตอบทางการแพทย์ คำอธิบายเหตุผล และบทสนทนา — จนกลายเป็น PMC-LLaMA
มีรายงานว่าโมเดล 13B ทำได้ 56.4% บน MedQA (USMLE), 56.0% บน MedMCQA และ 77.9% บน PubMedQA ซึ่งเหนือกว่าโมเดลทางการแพทย์แบบเปิดรุ่นก่อนหน้า และทัดเทียมกับ ChatGPT ในขณะนั้นบนเบนช์มาร์กเหล่านี้ โมเดลนี้เป็นโมเดลเพื่อการวิจัย: ไม่ใช่เครื่องมือแพทย์ และคำตอบต้องได้รับการตรวจสอบโดยผู้เชี่ยวชาญ
การปรับให้เหมาะกับ USMLE
เปิดตัวในปี 2023 โดย Shanghai Jiao Tong University & Shanghai AI Laboratory (Wu et al.)
น้ำหนักโมเดลแบบเปิดบน Hugging Face (axiong/PMC_LLaMA_13B); อยู่ภายใต้เงื่อนไขสัญญาอนุญาตของ LLaMA
ฟีเจอร์หลัก
การเติมความรู้จากวรรณกรรมชีวการแพทย์
ความสามารถหลัก
การตอบคำถามทางการแพทย์สไตล์ USMLE
ฝึกล่วงหน้าต่อเนื่องด้วยบทความจาก PubMed Central 4.8 ล้านฉบับ
ตำราแพทย์ 30,000 เล่มในคลังข้อมูลฝึกล่วงหน้า
Instruction-tuning ด้วยการถาม-ตอบทางการแพทย์ คำอธิบายเหตุผล และบทสนทนา
มีให้เลือกขนาด 7B และ 13B พารามิเตอร์
น้ำหนักโมเดลแบบเปิดสำหรับการวิจัย
ผล PubMedQA และ MedMCQA ที่โดดเด่นสำหรับโมเดลแบบเปิด
รันได้บน GPU หน่วยความจำสูงเพียงตัวเดียว
เบนช์มาร์กประสิทธิภาพ
คะแนนที่รายงานในเอกสาร PMC-LLaMA สำหรับโมเดล 13B (ไม่ได้วัดโดย Dr7.ai)
MedQA (USMLE)
56.4%คำถามสไตล์ข้อสอบใบอนุญาตประกอบวิชาชีพแพทย์ของสหรัฐอเมริกา
MedMCQA
56.0%คำถามจากข้อสอบเข้าเรียนแพทย์ของอินเดีย
PubMedQA
77.9%การตอบคำถามจากวรรณกรรมชีวการแพทย์
คลังข้อมูลฝึกล่วงหน้า
4.8M บทความพร้อมตำรา 30K เล่ม (MedC-K) ตามด้วยข้อมูลคำสั่ง MedC-I
กรณีการใช้งาน
การวิจัย AI ทางการแพทย์
โมเดลอ้างอิง (baseline) แบบเปิดสำหรับศึกษาการฝึกล่วงหน้าแบบปรับตามโดเมนในทางการแพทย์
สนับสนุนความรู้ทางคลินิก
คำตอบที่อิงวรรณกรรมสำหรับคำถามทางคลินิก เพื่อให้ผู้เชี่ยวชาญตรวจทาน
การศึกษาทางการแพทย์
คำถามฝึกหัดสไตล์ USMLE พร้อมคำอธิบาย
วิธีใช้ PMC-LLaMA
น้ำหนักโมเดลแบบเปิดขนาด 7B / 13B
ดาวน์โหลดน้ำหนักโมเดล
โหลด checkpoint ขนาด 7B หรือ 13B จาก Hugging Face ด้วย transformers อยู่ภายใต้เงื่อนไขสัญญาอนุญาตของ LLaMA
ตัวเลือกการผสานรวม
ใช้เป็นโมเดลแชทหรือถาม-ตอบ หรือปรับแต่งเพิ่มเติมด้วยข้อมูลของคุณเอง
- • การตอบคำถามทางการแพทย์
- • การสร้างคำถามสไตล์ข้อสอบ
- • ปรับแต่งเพิ่มเติมด้วยข้อมูลของสถาบัน
- • โมเดลพื้นฐานสำหรับการวิจัย LLM ทางการแพทย์
ข้อพิจารณาในการนำไปใช้งาน
วางแผนด้านความเป็นส่วนตัว การตรวจสอบความถูกต้อง และการกำกับดูแลโดยมนุษย์ ก่อนนำ PMC-LLaMA ไปใช้ใกล้ข้อมูลผู้ป่วย
- • ลบข้อมูลระบุตัวตนและปฏิบัติตาม HIPAA / GDPR
- • ตรวจสอบความถูกต้องกับข้อมูลของสถาบันคุณเองก่อนใช้งาน
- • ให้แพทย์ผู้มีใบอนุญาตตรวจทานผลลัพธ์ทุกครั้ง
- • จัดทำเอกสารข้อจำกัดและวัตถุประสงค์การใช้งานสำหรับผู้ตรวจสอบ
ข้อควรพิจารณาที่สำคัญ
ต้องมีการตรวจสอบความถูกต้องทางคลินิก
PMC-LLaMA เป็นโมเดลเพื่อการวิจัย ผลลัพธ์ต้องได้รับการตรวจทานโดยบุคลากรทางการแพทย์ที่มีคุณสมบัติก่อนนำไปใช้ทางคลินิกใดๆ
การปฏิบัติตามกฎระเบียบ
โมเดลนี้ไม่ใช่เครื่องมือแพทย์ที่ได้รับอนุญาตหรือได้รับการอนุมัติจากหน่วยงานกำกับดูแล โปรดตรวจสอบให้แน่ใจว่าเป็นไปตามกฎระเบียบด้านสุขภาพและกฎการคุ้มครองข้อมูลในพื้นที่ (เช่น HIPAA, GDPR) ก่อนนำไปใช้งาน
PMC-LLaMA เทียบกับโมเดลภาษาทางการแพทย์อื่นๆ
บทบาทของโมเดลทางการแพทย์แบบเปิดขนาด 13B
PMC-LLaMA
LLaMA ทางการแพทย์แบบเปิด (SJTU / Shanghai AI Lab)
- ✓น้ำหนักโมเดลแบบเปิดในขนาดที่ใช้งานได้จริง 7B / 13B
- ✓ฝึกล่วงหน้าด้วยบทความชีวการแพทย์จริงหลายล้านฉบับ
- ✓ทำ instruction-tuning สำหรับการถาม-ตอบและบทสนทนาทางการแพทย์
- ✓คะแนนเบนช์มาร์กโดดเด่นในกลุ่มโมเดลแบบเปิด ณ วันที่เปิดตัว
- ✓รันได้บน GPU หน่วยความจำสูงเพียงตัวเดียว
- ✓สูตรการฝึกสองขั้นตอนที่โปร่งใส
งานวิจัยและการศึกษาที่ต้องการ LLM ทางการแพทย์แบบเปิดที่อิงวรรณกรรม
โมเดล AI ทางการแพทย์อื่นๆ
การเปรียบเทียบ
- ×LLM ทั่วไป (GPT-4, Gemini) ให้เหตุผลแบบปลายเปิดได้ดีกว่า แต่เป็นระบบปิดและมีค่าใช้จ่ายสูง
- ×โมเดลแบบเปิดที่ใหญ่กว่า (Meditron-70B, MedGemma-27B) ต้องใช้หน่วยความจำ GPU มากกว่ามาก
- ×โมเดลที่รองรับเฉพาะข้อความไม่สามารถประมวลผลภาพได้
- ×ตัวจำแนกภาพอย่างเดียวไม่สามารถอธิบายสิ่งที่พบเป็นภาษาได้
- ×ผลิตภัณฑ์เชิงพาณิชย์ผ่านการตรวจสอบความถูกต้องแล้ว แต่ไม่สามารถตรวจสอบภายในได้
- ×ทางเลือกส่วนใหญ่เผยแพร่เบนช์มาร์กที่ทำซ้ำได้น้อยกว่า
เลือกตามประเภทข้อมูล (ข้อความหรือภาพ) สัญญาอนุญาต และฮาร์ดแวร์ที่คุณมีจริง
คำถามที่พบบ่อย
คำถามทั่วไปเกี่ยวกับ PMC-LLaMA
ใครเป็นผู้พัฒนา PMC-LLaMA?
นักวิจัยจาก Shanghai Jiao Tong University และ Shanghai AI Laboratory (Wu et al., 2023) ไม่ใช่โมเดลของ Stanford หรือ Google
PMC-LLaMA ฝึกด้วยข้อมูลอะไร?
บทความจาก PubMed Central 4.8 ล้านฉบับและตำราแพทย์ 30,000 เล่มสำหรับการฝึกล่วงหน้าต่อเนื่อง จากนั้นใช้ข้อมูลถาม-ตอบทางการแพทย์ คำอธิบายเหตุผล และบทสนทนาสำหรับ instruction-tuning
PMC-LLaMA ทำคะแนนในคำถาม USMLE ได้เท่าไร?
มีรายงานว่าโมเดล 13B ทำได้ 56.4% บน MedQA (USMLE), 56.0% บน MedMCQA และ 77.9% บน PubMedQA
ฉันสามารถรัน PMC-LLaMA บนเครื่องของตัวเองได้หรือไม่?
ได้ โมเดล 13B รันได้บน GPU หน่วยความจำสูงเพียงตัวเดียว และโมเดล 7B รันได้บนฮาร์ดแวร์ระดับผู้บริโภคเมื่อทำ quantization
เดโมนี้รัน PMC-LLaMA โดยตรงหรือไม่?
เดโมใช้ผู้ช่วยทางการแพทย์ของ Dr7.ai เพื่อแสดงการถาม-ตอบทางการแพทย์ที่อิงวรรณกรรม หากต้องการใช้โมเดลต้นฉบับ โปรดใช้น้ำหนักโมเดลแบบเปิด