الاختبار الأخير للبشرية

الاختبار الأخير للبشرية ( HLE ) هو معيار نموذجي للغة يتكون من 2500 سؤالاً في مجموعة واسعة من الموضوعات. أنشئ الاختبار مشاركةً بين مركز سلامة الذكاء الاصطناعي و شركة سكيل أيه آي .

 الإنشاء 
يشير تقرير مؤشر الذكاء الاصطناعي السنوي لعام 2025 الصادر عن معهد ستانفورد للذكاء الاصطناعي إلى الاختبار الأخير للبشرية باعتباره أحد "المعايير الأكثر تحديًا" التي طُوّرت استجابةً لمعايير الذكاء الاصطناعي الشائعة التي وصلت إلى "التشبّع".  وُصِف الاختبار بأنه من بنات أفكار دان هندريكس، وهو باحثٌ في مجال التعلّم الآلي ومدير مركز سلامة الذكاء الاصطناعي، والذي ذكر أنه استلهم فكرة إنشاء الاختبار بعد محادثة مع إيلون ماسك، الذي اعتقد أن معايير نموذج اللغة الحالية، مثل MMLU، كانت سهلة للغاية. عمل هندريكس مع Scale AI لتجميع الأسئلة.  جُمعت الأسئلة من خبراء الموضوع من مؤسسات مختلفة في جميع أنحاء العالم.  استخدمت نماذج الذكاء الاصطناعي الرائدة لتصفية الأسئلة أولاً؛ الأسئلة التي فشلت النماذج في الإجابة عنها وأسئلة الاختيار من متعدد التي كان أداء النماذج فيها أسوأ من التخمين العشوائي، فقد راجعها خبراء بشريين في جولتين وحازت الموافقة للتضمينها في مجموعة البيانات. مُنح أصحاب الأسئلة الأعلى تقييمًا جائزة مالية من مجموعة قدرها 500 ألف دولار أمريكي - 5000 دولار لكل من أفضل 50 سؤالًا و500 دولار للأسئلة الخمسمائة التالية. بعد الإصدار الأولي، أُطلق "برنامج مكافأة أخطاء تعليقات المجتمع" من أجل "تحديد الأخطاء الرئيسية وإزالتها في مجموعة البيانات". 

 التكوين 
يتكون المعيار من 2500 سؤالاً في المجموعة التي أصدرت للعامة. تصنّف الورقة الأسئلة إلى الموضوعات العامة التالية: الرياضيات (41٪)، الفيزياء (9٪)، الأحياء / الطب (11٪)، العلوم الإنسانية / العلوم الاجتماعية (9٪)، علوم الكمبيوتر / الذكاء الاصطناعي (10٪)، الهندسة (4٪)، الكيمياء (7٪)، وغيرها (9٪). حوالي 14% من الأسئلة تتطلب القدرة على فهم كل من النصوص والصور، أي تعلّم الوسائط المتعددة . 24% من الأسئلة هي أسئلة اختيار من متعدد، أما الباقي فهي أسئلة ذات إجابة قصيرة ومطابقة تمامًا. ثمة مجموعة خاصة لاختبار ملاءمة المعايير. Phan, Long; et al. (2025). "Humanity's Last Exam". arXiv:2501.14249 cs.LG.

مثال على الأسئلة: Roose, Kevin (23 January 2025). "When A.I. Passes This Test, Look Out". New York Times. Archived from the original on 29 January 2025. Retrieved 24 January 2025.

 النتائج 
+أداء النماذج المختلفة وفق المعيار منظمة نموذج الدقة (%) ↑ خطأ المعايرة (%) ↓ أوبن أيه آي o3 (عالي) 20.32 34 جوجل ديب مايند جيميني 2.5 برو تجريبي 18.16 71 أوبن أيه آي o3-mini (عالي) 13.37  80 ديب سيك ديب سيك-R1 8.54 [ أ ] 73 أنثروبي سونيت كلود 3.7 (16 كيلو بايت) 8.04 80 المصدر: مركز سلامة الذكاء الاصطناعي ونطاق الذكاء الاصطناعي . 17 أبريل 2025.

 ملحوظات 

 الحواشي 

 المراجع 

 روابط خارجية 

 الاختبار الأخير للبشرية في مركز سلامة الذكاء الاصطناعي .
 الاختبار الأخير للبشرية على نطاق الذكاء الاصطناعي .

تصنيف:نماذج لغوية كبيرة