Med-Flamingo
퓨샷 의료 시각 질의응답
Dr7.ai 의료 AI 플랫폼 제공
Med-Flamingo는 Stanford 연구진이 개발한 의료용 멀티모달 퓨샷 학습 모델입니다. OpenFlamingo-9B를 기반으로 의학 교과서와 PubMed Central의 이미지·텍스트가 교차된 데이터로 사전 학습되어, 몇 개의 예시만 보고도 새로운 의료 영상에 관한 질문에 답할 수 있습니다.
Med-Flamingo 스타일 시각 질의응답 체험
의료 영상을 업로드하고 질문해 보세요. Med-Flamingo가 의료 분야에 도입한 이미지·텍스트 교차 추론의 예를 데모로 확인할 수 있습니다.
Med-Flamingo의 모든 잠재력을 활용하세요
멀티모달 의료 연구를 위한 무제한 이미지 질의응답, 더 높은 업로드 한도, API 접근을 이용하세요.
Med-Flamingo란?
Med-Flamingo — 2023년 Stanford의 Michael Moor 연구팀이 공동 연구자들과 함께 공개한 의료용 비전-언어 모델입니다(Moor et al., "Med-Flamingo: a Multimodal Medical Few-shot Learner"). DeepMind Flamingo의 오픈 재구현인 OpenFlamingo-9B를 의료 도메인에 맞게 적응시켰습니다.
이 모델은 의학 교과서(MTB 데이터셋)의 이미지·텍스트 교차 시퀀스와 PMC-OA의 그림-캡션 쌍으로 추가 사전 학습되었습니다. 하나의 컨텍스트 안에서 이미지와 텍스트를 교차로 입력받기 때문에 인컨텍스트(퓨샷) 학습을 지원합니다. 이미지-질문-답변 예시 몇 개만 보여 주면 파인튜닝 없이도 새로운 이미지에 일반화합니다.
VQA-RAD, PathVQA 및 새로운 Visual USMLE 벤치마크에서 임상의들은 Med-Flamingo의 생성형 답변을 베이스라인보다 높게 평가했습니다. 다만 저자들은 이 모델이 환각을 일으킬 수 있는 초기 연구용 프로토타입이며 임상에 사용하기에 적합하지 않다고 분명히 밝히고 있습니다.
최신 동향
2023년 7월 Stanford 연구진과 공동 연구자들이 공개(Moor et al., 2023)
연구용으로 GitHub / Hugging Face에 오픈 가중치 공개, OpenFlamingo-9B 기반
주요 특징
의료 영상을 위한 인컨텍스트 학습
핵심 기능
퓨샷 의료 시각 질의응답
하나의 프롬프트에서 이미지와 텍스트를 교차 입력
객관식뿐 아니라 생성형(자유 서술) 답변
의학 교과서와 PubMed Central 그림으로 사전 학습
OpenFlamingo-9B(LLaMA-7B 언어 백본) 기반
VQA-RAD, PathVQA, Visual USMLE로 평가
임상의 평가 프로토콜
연구용 오픈 가중치
성능 벤치마크
Med-Flamingo 논문에 기술된 평가로, 단일 정확도 수치 대신 임상의가 생성형 답변을 채점
VQA-RAD
퓨샷인컨텍스트 예시를 활용한 영상의학 시각 질의응답
PathVQA
퓨샷병리 영상 질의응답
Visual USMLE
신규 벤치마크이미지를 봐야 풀 수 있는 USMLE 형식 문제로, 논문과 함께 소개됨
임상의 평가
기준 모델 대비 우위전문가들은 평균적으로 비교 대상 베이스라인보다 Med-Flamingo의 답변을 선호함
활용 사례
멀티모달 연구
오픈 모델로 의료 영상의 인컨텍스트 학습을 연구합니다.
이미지 기반 질의응답
의료 영상에 관한 자유 서술형 질문에 답하고 임상의가 검토할 수 있도록 합니다.
의학 교육
이미지 기반 USMLE 형식 연습과 해설.
Med-Flamingo 사용 방법
저자들이 공개한 연구용 코드와 가중치
모델 받기
코드와 가중치는 저자들의 GitHub 저장소와 Hugging Face에 공개되어 있으며, OpenFlamingo와 LLaMA-7B 베이스 가중치도 필요합니다.
통합 옵션
이미지-질문-답변 예시 몇 개 뒤에 새 이미지와 질문을 이어 붙여 프롬프트를 구성합니다.
- • 영상의학 이미지 퓨샷 VQA
- • 병리 이미지 퓨샷 VQA
- • Visual USMLE 형식 질의응답
- • 멀티모달 의료 연구의 베이스라인
배포 시 고려 사항
Med-Flamingo를 환자 데이터를 다루는 환경에 도입하기 전에 개인정보 보호, 검증, 사람의 감독을 계획하십시오.
- • 데이터를 비식별화하고 HIPAA / GDPR을 준수합니다
- • 사용 전에 자체 기관 데이터로 검증합니다
- • 모든 출력에 대해 면허를 가진 임상의가 검토하도록 합니다
- • 감사자를 위해 한계와 의도된 용도를 문서화합니다
중요 고려 사항
임상 검증 필요
Med-Flamingo는 연구용 모델입니다. 임상에 사용하기 전에 반드시 자격을 갖춘 의료 전문가가 출력을 검토해야 합니다.
규제 준수
이 모델은 규제 당국의 허가 또는 승인을 받은 의료기기가 아닙니다. 배포 전에 현지 의료 규정과 데이터 보호 규칙(예: HIPAA, GDPR)을 준수하는지 확인하십시오.
눈에 보이는 증상 사진이 있으신가요?
이 페이지에서 설명하는 모델은 임상 영상을 위한 연구용 도구입니다. 발진, 점, 손발톱, 상처처럼 일상적인 사진이라면 AI Doctor Scan이 약 30초 만에 무료로 긴급도 등급과 쉽게 풀어쓴 요약을 알려줍니다. 진단명을 말하지 않으며 계정도 필요 없습니다.
AI Doctor Scan 무료로 사용해 보기Med-Flamingo와 다른 의료 멀티모달 모델 비교
퓨샷 학습이 바꾸는 것
Med-Flamingo
Stanford의 퓨샷 의료 VQA
- ✓몇 개의 예시만으로 새로운 이미지 작업에 적응
- ✓이미지·텍스트 교차 프롬프트
- ✓자유 서술형 생성 답변
- ✓연구용 오픈 가중치
- ✓Visual USMLE 벤치마크 도입
- ✓임상의 평가
인컨텍스트 학습 및 생성형 의료 VQA 연구
기타 의료 AI 모델
비교
- ×범용 LLM(GPT-4, Gemini)은 개방형 추론에 더 강하지만 폐쇄형이며 비용이 높음
- ×더 큰 오픈 모델(Meditron-70B, MedGemma-27B)은 훨씬 많은 GPU 메모리가 필요함
- ×텍스트 전용 모델은 이미지를 볼 수 없음
- ×이미지 전용 분류기는 소견을 언어로 설명할 수 없음
- ×상용 제품은 검증되었지만 내부를 들여다볼 수 없음
- ×대부분의 대안은 재현 가능한 벤치마크를 적게 공개함
모달리티(텍스트 대 이미지), 라이선스, 실제 보유한 하드웨어를 기준으로 선택하세요
자주 묻는 질문
Med-Flamingo에 관한 자주 묻는 질문
Med-Flamingo는 누가 개발했나요?
Stanford University의 Michael Moor 연구팀이 공동 연구자들과 함께 개발했습니다(2023년). Google 모델이 아닙니다.
여기서 '퓨샷'은 무슨 뜻인가요?
프롬프트에 이미지-질문-답변 예시를 몇 개 넣으면, 모델이 파인튜닝 없이 새 이미지에 대해 답합니다.
Med-Flamingo는 무엇을 기반으로 하나요?
OpenFlamingo-9B입니다. DeepMind의 Flamingo 아키텍처를 오픈으로 재구현한 모델로, LLaMA-7B를 언어 백본으로 사용합니다.
Med-Flamingo를 임상에서 안전하게 사용할 수 있나요?
아니요. 저자들은 환각을 일으킬 수 있는 초기 연구용 프로토타입이라고 설명하며, 환자 진료에 사용해서는 안 됩니다.
이 데모는 Med-Flamingo 자체를 실행하나요?
데모는 Dr7.ai의 멀티모달 의료 어시스턴트를 사용해 이미지 질의응답을 보여 줍니다. 원래 모델을 직접 사용하려면 저자들의 코드를 실행하세요.