Med-Flamingo
Resposta visual a perguntas médicas com poucos exemplos (few-shot)
Com tecnologia da plataforma de IA médica Dr7.ai
O Med-Flamingo é um modelo multimodal de aprendizado com poucos exemplos (few-shot) para medicina, criado por pesquisadores de Stanford. Baseado no OpenFlamingo-9B e pré-treinado com dados intercalados de imagem e texto de livros didáticos de medicina e do PubMed Central, ele consegue responder a perguntas sobre uma nova imagem médica depois de ver apenas alguns exemplos.
Experimente a resposta visual a perguntas no estilo Med-Flamingo
Envie uma imagem médica e faça uma pergunta sobre ela — a demo mostra o raciocínio intercalado de imagem e texto que o Med-Flamingo trouxe para a medicina.
Experimente outros modelos
Ver todosMed-Flamingo Demo
Conheça a IA médica avançada
Aproveite todo o potencial do Med-Flamingo
Tenha respostas ilimitadas a perguntas sobre imagens, limites de upload maiores e acesso à API para pesquisa médica multimodal.
O que é o Med-Flamingo?
Med-Flamingo é um modelo médico de visão e linguagem lançado em 2023 por Michael Moor e colegas de Stanford, em conjunto com colaboradores (Moor et al., "Med-Flamingo: a Multimodal Medical Few-shot Learner"). Ele adapta o OpenFlamingo-9B — uma reimplementação aberta do Flamingo da DeepMind — ao domínio médico.
O modelo passou por pré-treinamento continuado com sequências intercaladas de imagem e texto de livros didáticos de medicina (o conjunto de dados MTB) e pares figura-legenda do PMC-OA. Como processa imagens e texto intercalados em um mesmo contexto, ele permite aprendizado em contexto ("few-shot"): mostre alguns exemplos de imagem-pergunta-resposta e ele generaliza para uma nova imagem sem ajuste fino.
No VQA-RAD, no PathVQA e em um novo benchmark, o Visual USMLE, médicos avaliaram as respostas generativas do Med-Flamingo acima das dos modelos de referência, mas os autores deixam claro que se trata de um protótipo de pesquisa inicial, que pode alucinar e não é adequado para uso clínico.
Novidade mais recente
Lançado em julho de 2023 por pesquisadores de Stanford e colaboradores (Moor et al., 2023)
Pesos abertos no GitHub / Hugging Face para pesquisa; baseado no OpenFlamingo-9B
Principais recursos
Aprendizado em contexto para imagens médicas
Recursos principais
Resposta visual a perguntas médicas com poucos exemplos
Entradas intercaladas de imagem + texto em um único prompt
Respostas generativas (texto livre), não apenas múltipla escolha
Pré-treinado com livros didáticos de medicina e figuras do PubMed Central
Baseado no OpenFlamingo-9B (com o LLaMA-7B como base de linguagem)
Avaliado no VQA-RAD, PathVQA e Visual USMLE
Protocolo de avaliação com notas de médicos
Pesos abertos para pesquisa
Benchmarks de desempenho
Avaliação descrita no artigo do Med-Flamingo; médicos pontuaram as respostas generativas em vez de um único número de acurácia
VQA-RAD
Few-shotResposta visual a perguntas de radiologia com exemplos em contexto
PathVQA
Few-shotResposta a perguntas sobre imagens de patologia
Visual USMLE
Novo benchmarkQuestões no estilo USMLE que exigem a análise de uma imagem, apresentadas junto com o artigo
Avaliação de médicos
+ vs. linhas de baseEm média, especialistas humanos preferiram as respostas do Med-Flamingo às dos modelos de referência comparados
Casos de uso
Pesquisa multimodal
Estude o aprendizado em contexto com imagens médicas usando um modelo aberto.
Perguntas e respostas sobre imagens
Responda em texto livre a perguntas sobre uma imagem médica para revisão por um médico.
Educação médica
Prática no estilo USMLE baseada em imagens, com explicações.
Como usar o Med-Flamingo
Código e pesos de pesquisa publicados pelos autores
Obtenha o modelo
O código e os pesos estão publicados no repositório do GitHub dos autores e no Hugging Face; você também precisa dos pesos base do OpenFlamingo e do LLaMA-7B.
Opções de integração
Monte um prompt com alguns exemplos de imagem-pergunta-resposta, seguidos da nova imagem e da pergunta.
- • VQA few-shot com imagens de radiologia
- • VQA few-shot com imagens de patologia
- • Resposta a perguntas no estilo Visual USMLE
- • Modelo de referência para pesquisa médica multimodal
Considerações de implantação
Planeje privacidade, validação e supervisão humana antes de colocar o Med-Flamingo perto de dados de pacientes.
- • Anonimize os dados e cumpra a HIPAA / GDPR
- • Valide com os dados da sua própria instituição antes do uso
- • Mantenha um profissional clínico habilitado revisando cada resultado
- • Documente as limitações e o uso pretendido para auditores
Considerações importantes
Validação clínica obrigatória
O Med-Flamingo é um modelo de pesquisa. Seus resultados devem ser revisados por profissionais de saúde qualificados antes de qualquer uso clínico.
Conformidade regulatória
O modelo não é um dispositivo médico autorizado ou aprovado. Garanta a conformidade com as regulamentações de saúde locais e as regras de proteção de dados (por exemplo, HIPAA, GDPR) antes da implantação.
Tem uma foto de um sintoma visível?
Os modelos descritos nesta página são ferramentas de pesquisa para imagem clínica. Se o que você tem é uma foto do dia a dia — uma erupção, uma pinta, uma unha, um ferimento —, o AI Doctor Scan a analisa e devolve gratuitamente um nível de urgência e um resumo em linguagem simples em cerca de 30 segundos. Não nomeia nenhum diagnóstico e não exige conta.
Experimente o AI Doctor Scan — grátisMed-Flamingo vs. outros modelos médicos multimodais
O que muda com o aprendizado com poucos exemplos
Med-Flamingo
VQA médico few-shot de Stanford
- ✓Adapta-se a novas tarefas de imagem com poucos exemplos
- ✓Prompts com imagem e texto intercalados
- ✓Respostas generativas em texto livre
- ✓Pesos abertos para pesquisa
- ✓Introduziu o benchmark Visual USMLE
- ✓Avaliação com notas de médicos
Pesquisa sobre aprendizado em contexto e VQA médico generativo
Outros modelos de IA médica
Como ele se compara
- ×LLMs gerais (GPT-4, Gemini) são melhores em raciocínio aberto, mas são fechados e caros
- ×Modelos abertos maiores (Meditron-70B, MedGemma-27B) exigem muito mais memória de GPU
- ×Modelos só de texto não conseguem analisar imagens
- ×Classificadores só de imagem não conseguem explicar seus achados em linguagem
- ×Produtos comerciais são validados, mas não são inspecionáveis
- ×A maioria das alternativas publica menos benchmarks reproduzíveis
Escolha pela modalidade (texto ou imagem), pela licença e pelo hardware que você realmente tem
Perguntas frequentes
Dúvidas comuns sobre o Med-Flamingo
Quem desenvolveu o Med-Flamingo?
Michael Moor e colegas da Universidade Stanford, em conjunto com colaboradores (2023). Não é um modelo do Google.
O que significa "few-shot" aqui?
Você coloca no prompt alguns trios de exemplo de imagem-pergunta-resposta; em seguida, o modelo responde sobre uma nova imagem sem nenhum ajuste fino.
Em que o Med-Flamingo se baseia?
Ele se baseia no OpenFlamingo-9B, uma reimplementação aberta da arquitetura Flamingo da DeepMind com o LLaMA-7B como base de linguagem.
É seguro usar o Med-Flamingo na prática clínica?
Não. Os autores o descrevem como um protótipo de pesquisa inicial que pode alucinar; ele não deve ser usado no atendimento a pacientes.
Esta demo executa o próprio Med-Flamingo?
A demo usa o assistente médico multimodal da Dr7.ai para mostrar a resposta a perguntas sobre imagens. Para usar o modelo original, execute o código dos autores.