PMC-LLaMA
480만 편의 PubMed Central 논문으로 학습한 의료 LLaMA
Dr7.ai 의료 AI 플랫폼 제공
PMC-LLaMA는 Shanghai Jiao Tong University와 Shanghai AI Laboratory가 개발한 오픈 의료 언어 모델입니다. 480만 편의 생의학 논문과 3만 권의 의학 교과서로 LLaMA 사전 학습을 이어 간 뒤, 의료 질의응답과 대화를 위해 인스트럭션 튜닝을 거쳤습니다.
PMC-LLaMA 스타일 의료 Q&A 체험
USMLE 형식이나 임상 질문을 해 보세요. PMC-LLaMA가 목표로 한 문헌 기반 의료 추론의 예를 데모로 확인할 수 있습니다.
다른 모델 체험
전체 보기PMC-LLaMA 데모
첨단 의료 AI를 경험하세요
PMC-LLaMA의 모든 잠재력을 활용하세요
시험 준비 및 연구 워크플로를 위한 무제한 의료 Q&A, 더 긴 컨텍스트, API 접근을 이용하세요.
PMC-LLaMA란?
PMC-LLaMA — Shanghai Jiao Tong University와 Shanghai AI Laboratory 연구진이 개발한 오픈소스 의료 대규모 언어 모델입니다(Wu et al., 2023, "PMC-LLaMA: Towards Building Open-source Language Models for Medicine"). 7B와 13B 크기로 제공됩니다.
학습은 두 단계로 진행됩니다. 먼저 480만 편의 PubMed Central 생의학 논문과 3만 권의 의학 교과서(MedC-K 코퍼스)로 LLaMA를 추가 사전 학습해 'MedLLaMA'를 만듭니다. 다음으로 의료 QA, 근거 설명, 대화로 구성된 MedC-I로 인스트럭션 튜닝을 거쳐 PMC-LLaMA가 됩니다.
13B 모델은 MedQA(USMLE) 56.4%, MedMCQA 56.0%, PubMedQA 77.9%를 보고했으며, 이 벤치마크들에서 이전 오픈 의료 모델을 앞서고 당시 ChatGPT와 견줄 만했습니다. 연구용 모델로서 의료기기가 아니며, 답변은 전문가의 확인이 필요합니다.
USMLE 최적화
2023년 Shanghai Jiao Tong University와 Shanghai AI Laboratory 공개(Wu et al.)
Hugging Face에 오픈 가중치 공개(axiong/PMC_LLaMA_13B), LLaMA 라이선스 조건 적용
주요 특징
생의학 문헌 기반 지식 주입
핵심 기능
USMLE 형식 의료 질의응답
480만 편의 PubMed Central 논문으로 추가 사전 학습
사전 학습 코퍼스에 의학 교과서 3만 권 포함
의료 QA, 근거 설명, 대화 데이터로 인스트럭션 튜닝
7B 및 13B 파라미터 크기로 제공
연구용 오픈 가중치
오픈 모델로서 우수한 PubMedQA 및 MedMCQA 결과
고용량 메모리 GPU 한 대에 탑재 가능
성능 벤치마크
13B 모델에 대해 PMC-LLaMA 논문에서 보고된 점수(Dr7.ai가 측정한 것이 아님)
MedQA (USMLE)
56.4%미국 의사 면허 시험(USMLE) 형식 문제
MedMCQA
56.0%인도 의대 입학시험 문제
PubMedQA
77.9%생의학 문헌 질의응답
사전 학습 코퍼스
논문 4.8M편여기에 교과서 3만 권(MedC-K), 이후 MedC-I 인스트럭션 데이터
활용 사례
의료 AI 연구
의료 분야의 도메인 적응 사전 학습을 연구하기 위한 오픈 베이스라인.
임상 지식 지원
전문가 검토를 위해 임상 질문에 문헌 기반 답변을 제공합니다.
의학 교육
해설이 포함된 USMLE 형식 연습 문제.
PMC-LLaMA 사용 방법
오픈 7B / 13B 가중치
가중치 받기
transformers로 Hugging Face에서 7B 또는 13B 체크포인트를 불러옵니다. LLaMA 라이선스 조건이 적용됩니다.
통합 옵션
채팅 또는 QA 모델로 사용하거나 자체 데이터로 추가 파인튜닝할 수 있습니다.
- • 의료 질의응답
- • 시험 형식 문제 생성
- • 기관 데이터로 추가 파인튜닝
- • 의료 LLM 연구의 베이스라인
배포 시 고려 사항
PMC-LLaMA를 환자 데이터를 다루는 환경에 도입하기 전에 개인정보 보호, 검증, 사람의 감독을 계획하십시오.
- • 데이터를 비식별화하고 HIPAA / GDPR을 준수합니다
- • 사용 전에 자체 기관 데이터로 검증합니다
- • 모든 출력에 대해 면허를 가진 임상의가 검토하도록 합니다
- • 감사자를 위해 한계와 의도된 용도를 문서화합니다
중요 고려 사항
임상 검증 필요
PMC-LLaMA는 연구용 모델입니다. 임상에 사용하기 전에 반드시 자격을 갖춘 의료 전문가가 출력을 검토해야 합니다.
규제 준수
이 모델은 규제 당국의 허가 또는 승인을 받은 의료기기가 아닙니다. 배포 전에 현지 의료 규정과 데이터 보호 규칙(예: HIPAA, GDPR)을 준수하는지 확인하십시오.
PMC-LLaMA와 다른 의료 언어 모델 비교
오픈 13B 의료 모델의 위치
PMC-LLaMA
오픈 의료 LLaMA (SJTU / Shanghai AI Lab)
- ✓실용적인 7B / 13B 크기의 오픈 가중치
- ✓수백만 편의 실제 생의학 논문으로 사전 학습
- ✓의료 QA 및 대화를 위한 인스트럭션 튜닝
- ✓공개 당시 오픈 모델 중 우수한 벤치마크 점수
- ✓고용량 메모리 GPU 한 대로 실행
- ✓투명한 2단계 학습 방법
문헌 기반의 오픈 의료 LLM이 필요한 연구 및 교육
기타 의료 AI 모델
비교
- ×범용 LLM(GPT-4, Gemini)은 개방형 추론에 더 강하지만 폐쇄형이며 비용이 높음
- ×더 큰 오픈 모델(Meditron-70B, MedGemma-27B)은 훨씬 많은 GPU 메모리가 필요함
- ×텍스트 전용 모델은 이미지를 볼 수 없음
- ×이미지 전용 분류기는 소견을 언어로 설명할 수 없음
- ×상용 제품은 검증되었지만 내부를 들여다볼 수 없음
- ×대부분의 대안은 재현 가능한 벤치마크를 적게 공개함
모달리티(텍스트 대 이미지), 라이선스, 실제 보유한 하드웨어를 기준으로 선택하세요
자주 묻는 질문
PMC-LLaMA에 관한 자주 묻는 질문
PMC-LLaMA는 누가 개발했나요?
Shanghai Jiao Tong University와 Shanghai AI Laboratory 연구진입니다(Wu et al., 2023). Stanford나 Google 모델이 아닙니다.
PMC-LLaMA는 무엇으로 학습했나요?
추가 사전 학습에는 480만 편의 PubMed Central 논문과 3만 권의 의학 교과서를, 인스트럭션 튜닝에는 의료 QA·근거 설명·대화 데이터를 사용했습니다.
PMC-LLaMA는 USMLE 문제에서 어떤 점수를 받나요?
13B 모델은 MedQA(USMLE) 56.4%, MedMCQA 56.0%, PubMedQA 77.9%를 보고했습니다.
PMC-LLaMA를 로컬에서 실행할 수 있나요?
네. 13B 모델은 고용량 메모리 GPU 한 대에 들어가며, 7B 모델은 양자화하면 일반 소비자용 하드웨어에서도 실행됩니다.
이 데모는 PMC-LLaMA 자체를 실행하나요?
데모는 Dr7.ai의 의료 어시스턴트를 사용해 문헌 기반 의료 Q&A를 보여 줍니다. 원래 모델을 직접 사용하려면 오픈 가중치를 이용하세요.