BiomedLM
Modèle de langage biomédical 2.7B de Stanford CRFM
Propulsé par la plateforme d'IA médicale Dr7.ai
BioMedLM (anciennement PubMedGPT) est un modèle de langage de type GPT de 2,7 milliards de paramètres, entraîné par Stanford CRFM et MosaicML exclusivement sur des résumés et des articles en texte intégral de PubMed. Il montre qu'un petit modèle spécialisé peut rivaliser avec des modèles généralistes bien plus grands en questions-réponses biomédicales.
Essayez les questions-réponses biomédicales façon BioMedLM
Posez des questions sur la littérature biomédicale, les mécanismes ou la terminologie — la démo montre le type de réponses ancrées dans PubMed que produit un modèle de langage entraîné sur ce domaine.
Essayer d'autres modèles
Voir toutBiomedLM Démo
Découvrez une IA médicale avancée
Débloquez tout le potentiel de BiomedLM
Bénéficiez de questions-réponses biomédicales illimitées, d'un contexte plus long et d'un accès API pour les workflows à forte composante bibliographique.
Qu'est-ce que BioMedLM ?
BiomedLM est un modèle de langage autorégressif de 2,7 milliards de paramètres développé par le Stanford Center for Research on Foundation Models (CRFM) avec MosaicML. Publié pour la première fois en décembre 2022 sous le nom de PubMedGPT, il a ensuite été renommé BioMedLM.
Contrairement aux modèles généralistes, qui ne voient qu'une petite part de textes biomédicaux parmi tout le reste, BioMedLM a été entraîné de zéro uniquement sur des résumés PubMed et des articles en texte intégral de PubMed Central (la partie PubMed de The Pile, environ 50 milliards de tokens). Cette spécialisation permet à un modèle relativement minuscule d'atteindre environ 50% sur MedQA (USMLE) et 74% sur PubMedQA après fine-tuning — des résultats qui, à leur publication, rivalisaient avec des modèles 50 fois plus grands.
BioMedLM est à poids ouverts et suffisamment petit pour être affiné sur un seul GPU, ce qui en a fait une base populaire pour la recherche en extraction, résumé et questions-réponses biomédicales. C'est un artefact de recherche, pas un produit clinique, et il n'est pas destiné à être utilisé auprès des patients.
Dernière évolution
Publié en décembre 2022 sous le nom de PubMedGPT par Stanford CRFM et MosaicML ; renommé BioMedLM en 2023 (article : Bolton et al., 2024)
Poids ouverts sur Hugging Face (stanford-crfm/BioMedLM) ; entraîné sur 300B tokens de textes PubMed
Fonctionnalités clés
Un petit modèle entraîné uniquement sur la littérature biomédicale
Capacités principales
2.7B paramètres — affinable sur un seul GPU
Entraîné exclusivement sur les résumés PubMed et le texte intégral PMC
Questions-réponses biomédicales (MedQA, PubMedQA, MedMCQA)
Résumé de littérature et extraction d'informations
Extraction d'entités et de relations biomédicales après fine-tuning
Architecture de type GPT-2 avec un tokenizer biomédical dédié
Poids ouverts pour la recherche
Excellente efficacité par paramètre face aux LLM généralistes
Benchmarks de performance
Résultats publiés par Stanford CRFM / MosaicML pour le modèle 2.7B affiné
MedQA (USMLE)
50.3%Questions de type examen américain de licence médicale (USMLE), 4 options
PubMedQA
74.4%Questions oui/non/peut-être portant sur des résumés PubMed
MedMCQA
CompétitifQuestions d'examens d'entrée en médecine indiens ; rapportées dans l'article BioMedLM
Taille du modèle
2.7BAtteint ces scores avec une fraction des paramètres des LLM généralistes
Cas d'Usage
Recherche biomédicale
Résumer des articles, extraire des entités et générer des hypothèses à partir de la littérature.
Analyse de la littérature
Questions-réponses et résumés fondés sur des textes de type PubMed.
Enseignement médical
Répondre à des questions biomédicales de type examen et expliquer les mécanismes sous-jacents.
Comment utiliser BioMedLM
Des poids ouverts qui tiennent sur un seul GPU
Obtenir les poids
Chargez stanford-crfm/BioMedLM depuis Hugging Face avec transformers. Le modèle de base est un simple modèle de langage — affinez-le pour votre tâche.
Options d'intégration
BioMedLM est surtout utile comme base pour un fine-tuning spécifique à une tâche.
- • Fine-tuning pour les questions-réponses ou la classification biomédicales
- • Extraction d'entités nommées et de relations
- • Pipelines de résumé d'abstracts
- • Embeddings adaptés au domaine pour la recherche documentaire
Points à considérer pour le déploiement
Prévoyez la confidentialité, la validation et la supervision humaine avant d'approcher BioMedLM de données de patients.
- • Anonymiser les données et respecter HIPAA / GDPR
- • Valider sur les données de votre propre établissement avant utilisation
- • Faire vérifier chaque résultat par un clinicien diplômé
- • Documenter les limites et l'usage prévu pour les auditeurs
Points importants
Validation clinique requise
BioMedLM est un modèle de recherche. Ses résultats doivent être examinés par des professionnels de santé qualifiés avant toute utilisation clinique.
Conformité réglementaire
Le modèle n'est pas un dispositif médical autorisé ou homologué. Assurez-vous de respecter les réglementations sanitaires locales et les règles de protection des données (p. ex. HIPAA, GDPR) avant tout déploiement.
BioMedLM face aux autres modèles de langage médicaux
Petit et spécialisé ou grand et généraliste
BioMedLM
Le modèle 2.7B de Stanford CRFM
- ✓Entraîné uniquement sur la littérature biomédicale
- ✓S'exécute et s'affine sur un seul GPU
- ✓Poids ouverts, entièrement inspectables
- ✓Scores MedQA / PubMedQA compétitifs pour sa taille
- ✓Tokenizer biomédical dédié
- ✓Procédure d'entraînement bien documentée
Équipes de recherche ayant besoin d'un modèle biomédical de base affinable sur du matériel modeste
Autres modèles d'IA médicale
Comment il se compare
- ×Les LLM généralistes (GPT-4, Gemini) sont meilleurs en raisonnement ouvert, mais fermés et coûteux
- ×Les modèles ouverts plus grands (Meditron-70B, MedGemma-27B) exigent beaucoup plus de mémoire GPU
- ×Les modèles uniquement textuels ne peuvent pas analyser d'images
- ×Les classificateurs purement visuels ne peuvent pas expliquer leurs résultats en langage naturel
- ×Les produits commerciaux sont validés mais non inspectables
- ×La plupart des alternatives publient moins de benchmarks reproductibles
Choisissez selon la modalité (texte ou image), la licence et le matériel dont vous disposez réellement
Questions fréquentes
Questions courantes sur BioMedLM
Qui a développé BioMedLM ?
Stanford CRFM (Center for Research on Foundation Models) avec MosaicML. Il a été initialement publié sous le nom de PubMedGPT en décembre 2022.
Quelle est la taille de BioMedLM ?
2,7 milliards de paramètres — assez petit pour être affiné sur un seul GPU, ce qui est tout l'intérêt du projet.
Quels scores BioMedLM a-t-il obtenus aux examens médicaux ?
Environ 50.3% sur MedQA (USMLE) et 74.4% sur PubMedQA après fine-tuning, selon la publication de Stanford CRFM.
Puis-je utiliser BioMedLM dans un produit clinique ?
Les poids sont ouverts pour la recherche. Ce n'est pas un dispositif médical et les auteurs mettent explicitement en garde contre toute utilisation auprès des patients sans validation.
Cette démo exécute-t-elle BioMedLM lui-même ?
La démo utilise l'assistant médical de Dr7.ai pour illustrer des questions-réponses biomédicales de type PubMed. Pour des reproductions exactes, exécutez les poids ouverts en local.