BiomedLM
Modelo de linguagem biomédico de 2.7B do Stanford CRFM
Com tecnologia da plataforma de IA médica Dr7.ai
O BioMedLM (antigo PubMedGPT) é um modelo de linguagem no estilo GPT com 2,7 bilhões de parâmetros, treinado pelo Stanford CRFM e pela MosaicML exclusivamente com resumos e artigos completos do PubMed. Ele mostra que um modelo pequeno e específico de domínio pode rivalizar com modelos gerais muito maiores em perguntas e respostas biomédicas.
Experimente perguntas e respostas biomédicas no estilo BioMedLM
Faça perguntas sobre literatura biomédica, mecanismos ou terminologia — a demo mostra o tipo de resposta embasada no PubMed que um modelo de linguagem treinado no domínio produz.
Experimente outros modelos
Ver todosBiomedLM Demo
Conheça a IA médica avançada
Desbloqueie todo o potencial do BiomedLM
Tenha perguntas e respostas biomédicas ilimitadas, contexto mais longo e acesso à API para fluxos de trabalho com muita literatura.
O que é o BioMedLM?
BiomedLM é um modelo de linguagem autorregressivo com 2,7 bilhões de parâmetros, criado pelo Stanford Center for Research on Foundation Models (CRFM) em conjunto com a MosaicML. Foi lançado em dezembro de 2022 como PubMedGPT e depois renomeado para BioMedLM.
Diferentemente dos modelos gerais, que veem só um pouco de texto biomédico em meio a todo o resto, o BioMedLM foi treinado do zero apenas com resumos do PubMed e artigos completos do PubMed Central (a parte do PubMed no The Pile, cerca de 50 bilhões de tokens). Esse foco permite que um modelo comparativamente minúsculo chegue a cerca de 50% no MedQA (USMLE) e 74% no PubMedQA após o ajuste fino — resultados que, no lançamento, eram competitivos com modelos 50× maiores.
O BioMedLM tem pesos abertos e é pequeno o bastante para passar por ajuste fino em uma única GPU, o que o tornou uma base popular para pesquisas em extração, sumarização e resposta a perguntas biomédicas. É um artefato de pesquisa, não um produto clínico, e não se destina a uso voltado ao paciente.
Novidade mais recente
Lançado em dezembro de 2022 como PubMedGPT pelo Stanford CRFM e pela MosaicML; renomeado BioMedLM em 2023 (artigo: Bolton et al., 2024)
Pesos abertos no Hugging Face (stanford-crfm/BioMedLM); treinado com 300 bilhões de tokens de texto do PubMed
Principais recursos
Um modelo pequeno treinado apenas com literatura biomédica
Recursos principais
2.7B parâmetros — permite ajuste fino em uma GPU
Treinado exclusivamente com resumos do PubMed e textos completos do PMC
Resposta a perguntas biomédicas (MedQA, PubMedQA, MedMCQA)
Sumarização de literatura e extração de informações
Extração de entidades e relações biomédicas após ajuste fino
Arquitetura no estilo GPT-2 com tokenizador biomédico próprio
Pesos abertos para uso em pesquisa
Alta eficiência por parâmetro em comparação com LLMs gerais
Benchmarks de desempenho
Resultados divulgados pelo Stanford CRFM / MosaicML para o modelo de 2.7B com ajuste fino
MedQA (USMLE)
50.3%Questões no estilo do exame de licenciamento médico dos EUA, 4 alternativas
PubMedQA
74.4%Perguntas de sim/não/talvez sobre resumos do PubMed
MedMCQA
CompetitivoQuestões do exame de ingresso em medicina da Índia; divulgadas no artigo do BioMedLM
Tamanho do modelo
2.7BAtinge essas pontuações com uma fração dos parâmetros dos LLMs gerais
Casos de Uso
Pesquisa biomédica
Resuma artigos, extraia entidades e gere hipóteses a partir da literatura.
Análise de literatura
Resposta a perguntas e sumarização embasadas em textos no estilo PubMed.
Educação médica
Responda a questões biomédicas no estilo de provas e explique os mecanismos subjacentes.
Como usar o BioMedLM
Pesos abertos que cabem em uma única GPU
Obtenha os pesos
Carregue stanford-crfm/BioMedLM do Hugging Face com transformers. O modelo base é um modelo de linguagem simples — faça o ajuste fino para a sua tarefa.
Opções de integração
O BioMedLM é mais útil como base para ajuste fino em tarefas específicas.
- • Ajuste fino para perguntas e respostas ou classificação biomédicas
- • Extração de entidades nomeadas e relações
- • Pipelines de sumarização de resumos científicos
- • Embeddings adaptados ao domínio para recuperação
Considerações de implantação
Planeje privacidade, validação e supervisão humana antes de colocar o BioMedLM perto de dados de pacientes.
- • Anonimize os dados e cumpra a HIPAA / GDPR
- • Valide com os dados da sua própria instituição antes do uso
- • Mantenha um profissional clínico habilitado revisando cada resultado
- • Documente as limitações e o uso pretendido para auditores
Considerações importantes
Validação clínica obrigatória
O BioMedLM é um modelo de pesquisa. Seus resultados devem ser revisados por profissionais de saúde qualificados antes de qualquer uso clínico.
Conformidade regulatória
O modelo não é um dispositivo médico autorizado ou aprovado. Garanta a conformidade com as regulamentações de saúde locais e as regras de proteção de dados (por exemplo, HIPAA, GDPR) antes da implantação.
BioMedLM vs. outros modelos de linguagem médicos
Pequeno e especializado vs. grande e generalista
BioMedLM
O modelo de 2.7B do Stanford CRFM
- ✓Treinado apenas com literatura biomédica
- ✓Roda e aceita ajuste fino em uma única GPU
- ✓Pesos abertos, totalmente inspecionáveis
- ✓Pontuações competitivas no MedQA / PubMedQA para o seu tamanho
- ✓Tokenizador biomédico próprio
- ✓Receita de treinamento bem documentada
Grupos de pesquisa que precisam de um modelo base biomédico ajustável em hardware modesto
Outros modelos de IA médica
Como ele se compara
- ×LLMs gerais (GPT-4, Gemini) são melhores em raciocínio aberto, mas são fechados e caros
- ×Modelos abertos maiores (Meditron-70B, MedGemma-27B) exigem muito mais memória de GPU
- ×Modelos só de texto não conseguem analisar imagens
- ×Classificadores só de imagem não conseguem explicar seus achados em linguagem
- ×Produtos comerciais são validados, mas não são inspecionáveis
- ×A maioria das alternativas publica menos benchmarks reproduzíveis
Escolha pela modalidade (texto ou imagem), pela licença e pelo hardware que você realmente tem
Perguntas frequentes
Dúvidas comuns sobre o BioMedLM
Quem desenvolveu o BioMedLM?
O Stanford CRFM (Center for Research on Foundation Models) em conjunto com a MosaicML. Ele foi lançado originalmente como PubMedGPT em dezembro de 2022.
Qual é o tamanho do BioMedLM?
2,7 bilhões de parâmetros — pequeno o bastante para passar por ajuste fino em uma GPU, que é justamente a proposta do projeto.
Qual foi a pontuação do BioMedLM em exames médicos?
Cerca de 50.3% no MedQA (USMLE) e 74.4% no PubMedQA após o ajuste fino, segundo a divulgação do Stanford CRFM.
Posso usar o BioMedLM em um produto clínico?
Os pesos são abertos para pesquisa. Ele não é um dispositivo médico, e os autores desaconselham explicitamente o uso voltado ao paciente sem validação.
Esta demo executa o próprio BioMedLM?
A demo usa o assistente médico da Dr7.ai para mostrar perguntas e respostas biomédicas no estilo PubMed. Para reproduções exatas, execute os pesos abertos localmente.