Med-Flamingo
الإجابة عن الأسئلة البصرية الطبية بأمثلة قليلة
مدعوم بمنصة Dr7.ai للذكاء الاصطناعي الطبي
Med-Flamingo نموذج متعدد الوسائط للتعلّم بأمثلة قليلة (few-shot) في المجال الطبي، طوّره باحثون في Stanford. بُني على OpenFlamingo-9B ودُرِّب مسبقًا على بيانات متداخلة من الصور والنصوص مأخوذة من الكتب الطبية وPubMed Central، ويمكنه الإجابة عن أسئلة حول صورة طبية جديدة بعد رؤية عدد قليل من الأمثلة فقط.
جرّب الإجابة عن الأسئلة البصرية بأسلوب Med-Flamingo
ارفع صورة طبية واطرح سؤالًا عنها — يعرض هذا العرض التوضيحي الاستدلال المتداخل بين الصور والنصوص الذي قدّمه Med-Flamingo للمجال الطبي.
جرب نماذج أخرى
عرض الكلMed-Flamingo عرض توضيحي
جرّب الذكاء الاصطناعي الطبي المتقدم
أطلق الإمكانات الكاملة لـ Med-Flamingo
احصل على إجابات غير محدودة عن أسئلة الصور، وحدود رفع أعلى، ووصول إلى API للأبحاث الطبية متعددة الوسائط.
ما هو Med-Flamingo؟
Med-Flamingo هو نموذج طبي للرؤية واللغة صدر في 2023 على يد Michael Moor وزملائه في Stanford بالتعاون مع شركاء آخرين (Moor et al., "Med-Flamingo: a Multimodal Medical Few-shot Learner"). وهو يكيّف OpenFlamingo-9B — وهو إعادة تنفيذ مفتوحة لنموذج Flamingo من DeepMind — للمجال الطبي.
خضع النموذج لتدريب مسبق إضافي على تسلسلات متداخلة من الصور والنصوص مأخوذة من الكتب الطبية (مجموعة بيانات MTB) وأزواج الأشكال والتعليقات من PMC-OA. ولأنه يستقبل الصور والنصوص متداخلة في سياق واحد، فإنه يدعم التعلّم ضمن السياق (بأمثلة قليلة "few-shot"): اعرض عليه بضعة أمثلة من صورة وسؤال وإجابة، فيعمّم على صورة جديدة دون ضبط دقيق.
في VQA-RAD وPathVQA ومعيار Visual USMLE الجديد، قيّم الأطباء الإجابات التوليدية لـ Med-Flamingo بدرجات أعلى من النماذج المرجعية، لكن المؤلفين يؤكدون صراحةً أنه نموذج بحثي أولي قد يُنتج معلومات غير صحيحة (هلوسة) وغير صالح للاستخدام السريري.
أحدث التطورات
صدر في يوليو 2023 على يد باحثين في Stanford وشركائهم (Moor et al., 2023)
أوزان مفتوحة على GitHub / Hugging Face لأغراض البحث؛ مبني على OpenFlamingo-9B
الميزات الرئيسية
التعلّم ضمن السياق للصور الطبية
القدرات الأساسية
الإجابة عن الأسئلة البصرية الطبية بأمثلة قليلة
مدخلات متداخلة من الصور والنصوص في موجّه واحد
إجابات توليدية (نص حر)، لا مجرد اختيار من متعدد
مُدرَّب مسبقًا على الكتب الطبية وأشكال PubMed Central
مبني على OpenFlamingo-9B (بعمود فقري لغوي LLaMA-7B)
مُقيَّم على VQA-RAD وPathVQA وVisual USMLE
بروتوكول تقييم يعتمد على تقديرات الأطباء
أوزان بحثية مفتوحة
معايير الأداء
التقييم الموصوف في الورقة البحثية لـ Med-Flamingo؛ قيّم الأطباء الإجابات التوليدية بدلًا من رقم دقة واحد
VQA-RAD
بأمثلة قليلةالإجابة عن الأسئلة البصرية في الأشعة باستخدام أمثلة ضمن السياق
PathVQA
بأمثلة قليلةالإجابة عن الأسئلة حول صور علم الأمراض
Visual USMLE
معيار جديدأسئلة بأسلوب USMLE تتطلب النظر إلى صورة، قُدِّمت مع الورقة البحثية
تقييم الأطباء
+ مقارنةً بالنماذج المرجعيةفضّل الخبراء البشريون في المتوسط إجابات Med-Flamingo على النماذج المرجعية المقارنة
حالات الاستخدام
البحث متعدد الوسائط
دراسة التعلّم ضمن السياق للصور الطبية باستخدام نموذج مفتوح.
أسئلة وأجوبة مستندة إلى الصور
الإجابة عن أسئلة بنص حر حول صورة طبية لكي يراجعها الطبيب.
التعليم الطبي
تدريب بأسلوب USMLE قائم على الصور مع شروحات.
كيفية استخدام Med-Flamingo
شيفرة بحثية وأوزان من المؤلفين
احصل على النموذج
الشيفرة والأوزان منشورة في مستودع GitHub الخاص بالمؤلفين وعلى Hugging Face؛ وتحتاج أيضًا إلى الأوزان الأساسية لـ OpenFlamingo وLLaMA-7B.
خيارات التكامل
أنشئ موجّهًا يتضمن بضعة أمثلة من صورة وسؤال وإجابة، يليها الصورة الجديدة والسؤال.
- • VQA بأمثلة قليلة على صور الأشعة
- • VQA بأمثلة قليلة على صور علم الأمراض
- • الإجابة عن أسئلة بأسلوب Visual USMLE
- • نموذج مرجعي للأبحاث الطبية متعددة الوسائط
اعتبارات النشر
خطّط للخصوصية والتحقق والإشراف البشري قبل استخدام Med-Flamingo في أي سياق قريب من بيانات المرضى.
- • إزالة ما يحدد هوية البيانات والامتثال لـ HIPAA / GDPR
- • التحقق باستخدام بيانات مؤسستك قبل الاستخدام
- • إشراك طبيب مرخّص في مراجعة كل مخرج
- • توثيق القيود والاستخدام المقصود للمدققين
اعتبارات مهمة
التحقق السريري مطلوب
Med-Flamingo نموذج بحثي. يجب أن يراجع مختصون مؤهلون في الرعاية الصحية مخرجاته قبل أي استخدام سريري.
الامتثال التنظيمي
النموذج ليس جهازًا طبيًا حاصلًا على إجازة أو موافقة من الجهات التنظيمية. تأكد من الامتثال للوائح الرعاية الصحية المحلية وقواعد حماية البيانات (مثل HIPAA وGDPR) قبل النشر.
هل لديك صورة لعَرَض ظاهر؟
النماذج الموصوفة في هذه الصفحة أدوات بحثية للتصوير الطبي السريري. أما إذا كانت لديك صورة عادية — طفح جلدي أو شامة أو ظفر أو جرح — فإن AI Doctor Scan يقرؤها ويعطيك مجانًا مستوى الاستعجال وملخصًا بلغة بسيطة خلال نحو 30 ثانية. لا يقدّم تشخيصًا، ولا يحتاج إلى حساب.
جرّب AI Doctor Scan مجانًاMed-Flamingo مقارنةً بالنماذج الطبية متعددة الوسائط الأخرى
ما الذي يغيّره التعلّم بأمثلة قليلة
Med-Flamingo
VQA طبي بأمثلة قليلة من Stanford
- ✓يتكيّف مع مهام صور جديدة من خلال بضعة أمثلة
- ✓موجّهات متداخلة من الصور والنصوص
- ✓إجابات توليدية بنص حر
- ✓أوزان بحثية مفتوحة
- ✓قدّم معيار Visual USMLE
- ✓تقييم يعتمد على تقديرات الأطباء
الأبحاث في التعلّم ضمن السياق وVQA الطبي التوليدي
نماذج الذكاء الاصطناعي الطبية الأخرى
أوجه المقارنة
- ×نماذج اللغة الكبيرة العامة (GPT-4، Gemini) أقوى في الاستدلال المفتوح لكنها مغلقة ومكلفة
- ×النماذج المفتوحة الأكبر (Meditron-70B، MedGemma-27B) تحتاج إلى ذاكرة GPU أكبر بكثير
- ×النماذج النصية فقط لا تستطيع التعامل مع الصور
- ×المصنِّفات المعتمدة على الصور فقط لا تستطيع شرح نتائجها باللغة
- ×المنتجات التجارية مُتحقَّق منها لكنها غير قابلة للفحص
- ×معظم البدائل تنشر عددًا أقل من المعايير المرجعية القابلة لإعادة الإنتاج
اختر حسب نوع البيانات (نص أم صورة)، والترخيص، والعتاد المتوفر لديك فعلًا
الأسئلة الشائعة
أسئلة شائعة حول Med-Flamingo
من طوّر Med-Flamingo؟
Michael Moor وزملاؤه في Stanford University بالتعاون مع شركاء آخرين (2023). وهو ليس نموذجًا من Google.
ماذا يعني "few-shot" (بأمثلة قليلة) هنا؟
تضع في الموجّه بضعة أمثلة ثلاثية من صورة وسؤال وإجابة؛ ثم يجيب النموذج عن صورة جديدة دون أي ضبط دقيق.
على أي أساس بُني Med-Flamingo؟
OpenFlamingo-9B، وهو إعادة تنفيذ مفتوحة لبنية Flamingo من DeepMind بعمود فقري لغوي LLaMA-7B.
هل Med-Flamingo آمن للاستخدام السريري؟
لا. يصفه المؤلفون بأنه نموذج بحثي أولي قد يُنتج معلومات غير صحيحة (هلوسة)؛ ويجب عدم استخدامه في رعاية المرضى.
هل يشغّل هذا العرض التوضيحي Med-Flamingo نفسه؟
يستخدم العرض التوضيحي المساعد الطبي متعدد الوسائط من Dr7.ai لعرض الإجابة عن أسئلة الصور. للحصول على النموذج نفسه، شغّل شيفرة المؤلفين.