PMC-LLaMA
Un LLaMA médical entraîné sur 4,8 M d'articles PubMed Central
Propulsé par la plateforme d'IA médicale Dr7.ai
PMC-LLaMA est un modèle de langage médical ouvert développé par l'Université Jiao Tong de Shanghai et le Shanghai AI Laboratory. Il poursuit le pré-entraînement de LLaMA sur 4,8 millions d'articles biomédicaux et 30 000 manuels de médecine, puis est affiné par instructions pour les questions-réponses et le dialogue médicaux.
Essayez des questions-réponses médicales façon PMC-LLaMA
Posez des questions de type USMLE ou des questions cliniques : la démo illustre le raisonnement médical fondé sur la littérature pour lequel PMC-LLaMA a été conçu.
Essayer d'autres modèles
Voir toutPMC-LLaMA Démo
Découvrez une IA médicale avancée
Exploitez tout le potentiel de PMC-LLaMA
Profitez de questions-réponses médicales illimitées, d'un contexte plus long et d'un accès API pour la préparation aux examens et les workflows de recherche.
Qu'est-ce que PMC-LLaMA ?
PMC-LLaMA est un grand modèle de langage médical open source développé par des chercheurs de l'Université Jiao Tong de Shanghai et du Shanghai AI Laboratory (Wu et al., 2023, "PMC-LLaMA: Towards Building Open-source Language Models for Medicine"). Il est disponible en tailles 7B et 13B.
L'entraînement se déroule en deux étapes. D'abord, le pré-entraînement de LLaMA est prolongé sur 4,8 millions d'articles biomédicaux de PubMed Central et 30 000 manuels de médecine (le corpus MedC-K), ce qui donne « MedLLaMA ». Ensuite, le modèle est affiné par instructions sur MedC-I (questions-réponses médicales, justifications et conversations) pour devenir PMC-LLaMA.
Selon l'article, le modèle 13B a obtenu 56,4 % sur MedQA (USMLE), 56,0 % sur MedMCQA et 77,9 % sur PubMedQA, devançant les modèles médicaux ouverts antérieurs et rivalisant alors avec ChatGPT sur ces benchmarks. Il s'agit d'un modèle de recherche : ce n'est pas un dispositif médical et ses réponses doivent être vérifiées par des experts.
Optimisation USMLE
Publié en 2023 par l'Université Jiao Tong de Shanghai et le Shanghai AI Laboratory (Wu et al.)
Poids ouverts sur Hugging Face (axiong/PMC_LLaMA_13B) ; les conditions de licence de LLaMA s'appliquent
Fonctionnalités clés
Injection de connaissances issues de la littérature biomédicale
Capacités principales
Réponses aux questions médicales de type USMLE
Pré-entraînement prolongé sur 4,8 M d'articles PubMed Central
30 000 manuels de médecine dans le corpus de pré-entraînement
Affinage par instructions sur des questions-réponses, justifications et dialogues médicaux
Disponible en 7B et 13B paramètres
Poids ouverts pour la recherche
Solides résultats sur PubMedQA et MedMCQA pour un modèle ouvert
Tient sur un seul GPU à grande mémoire
Benchmarks de performance
Scores rapportés dans l'article PMC-LLaMA pour le modèle 13B (non mesurés par Dr7.ai)
MedQA (USMLE)
56.4%Questions de type examen américain d'autorisation d'exercice de la médecine
MedMCQA
56.0%Questions d'examens d'entrée en médecine en Inde
PubMedQA
77.9%Questions-réponses sur la littérature biomédicale
Corpus de pré-entraînement
4,8 M d'articlesPlus 30 000 manuels (MedC-K), suivis des données d'instructions MedC-I
Cas d'usage
Recherche en IA médicale
Une référence ouverte pour étudier le pré-entraînement d'adaptation au domaine en médecine.
Accès aux connaissances cliniques
Réponses fondées sur la littérature à des questions cliniques, destinées à être vérifiées par des professionnels.
Formation médicale
Questions d'entraînement de type USMLE avec explications.
Comment utiliser PMC-LLaMA
Poids ouverts 7B / 13B
Obtenir les poids
Chargez les checkpoints 7B ou 13B depuis Hugging Face avec transformers. Les conditions de licence de LLaMA s'appliquent.
Options d'intégration
Utilisez-le comme modèle de chat ou de questions-réponses, ou affinez-le davantage sur vos propres données.
- • Réponses aux questions médicales
- • Génération de questions de type examen
- • Affinage complémentaire sur les données de votre établissement
- • Référence pour la recherche sur les LLM médicaux
Points à considérer pour le déploiement
Prévoyez la confidentialité, la validation et la supervision humaine avant d'approcher PMC-LLaMA de données de patients.
- • Anonymiser les données et respecter HIPAA / GDPR
- • Valider sur les données de votre propre établissement avant utilisation
- • Faire vérifier chaque résultat par un clinicien diplômé
- • Documenter les limites et l'usage prévu pour les auditeurs
Points importants
Validation clinique requise
PMC-LLaMA est un modèle de recherche. Ses résultats doivent être examinés par des professionnels de santé qualifiés avant toute utilisation clinique.
Conformité réglementaire
Le modèle n'est pas un dispositif médical homologué ou approuvé. Assurez-vous de respecter la réglementation sanitaire locale et les règles de protection des données (p. ex. HIPAA, GDPR) avant tout déploiement.
PMC-LLaMA face aux autres modèles de langage médicaux
La place d'un modèle médical ouvert de 13B
PMC-LLaMA
LLaMA médical ouvert (SJTU / Shanghai AI Lab)
- ✓Poids ouverts dans des tailles pratiques de 7B / 13B
- ✓Pré-entraîné sur des millions d'articles biomédicaux réels
- ✓Affiné par instructions pour les questions-réponses et le dialogue médicaux
- ✓Scores de benchmark élevés parmi les modèles ouverts à sa sortie
- ✓Fonctionne sur un seul GPU à grande mémoire
- ✓Méthode d'entraînement transparente en deux étapes
La recherche et l'enseignement nécessitant un LLM médical ouvert, fondé sur la littérature
Autres modèles d'IA médicale
Comment il se situe
- ×Les LLM généralistes (GPT-4, Gemini) raisonnent mieux sur des questions ouvertes, mais sont fermés et coûteux
- ×Les modèles ouverts plus grands (Meditron-70B, MedGemma-27B) exigent beaucoup plus de mémoire GPU
- ×Les modèles purement textuels ne peuvent pas analyser d'images
- ×Les classificateurs purement visuels ne peuvent pas expliquer leurs résultats en langage naturel
- ×Les produits commerciaux sont validés mais non inspectables
- ×La plupart des alternatives publient moins de benchmarks reproductibles
Choisissez selon la modalité (texte ou image), la licence et le matériel dont vous disposez réellement
Questions fréquentes
Questions courantes sur PMC-LLaMA
Qui a développé PMC-LLaMA ?
Des chercheurs de l'Université Jiao Tong de Shanghai et du Shanghai AI Laboratory (Wu et al., 2023). Ce n'est pas un modèle de Stanford ni de Google.
Sur quelles données PMC-LLaMA a-t-il été entraîné ?
4,8 millions d'articles PubMed Central et 30 000 manuels de médecine pour la poursuite du pré-entraînement, puis des données de questions-réponses, de justifications et de dialogues médicaux pour l'affinage par instructions.
Quels sont les scores de PMC-LLaMA sur les questions USMLE ?
Le modèle 13B affiche 56,4 % sur MedQA (USMLE), 56,0 % sur MedMCQA et 77,9 % sur PubMedQA.
Puis-je exécuter PMC-LLaMA en local ?
Oui. Le modèle 13B tient sur un seul GPU à grande mémoire, et le modèle 7B sur du matériel grand public avec quantification.
Cette démo exécute-t-elle PMC-LLaMA lui-même ?
La démo utilise l'assistant médical de Dr7.ai pour illustrer des questions-réponses médicales fondées sur la littérature. Pour utiliser le modèle d'origine, utilisez les poids ouverts.