Адамзаттың соңғы емтиханы

«Адамзаттың соңғы емтиханы» (ағылш. Humanity's Last Exam, HLE) — бұл үлкен тілдік модельдердің (LLM) мүмкіндіктерін бағалау үшін қолданылатын, 2500 күрделі академиялық сұрақтан тұратын бенчмарк.

 Жобаның мақсаты мен құрылымы 
Сұрақтар мазмұны: Тест математика, гуманитарлық және жаратылыстану ғылымдары бойынша 2500 нақты және тексерілетін сұрақтарды қамтиды.

Сарапшылар қатысуы: Бұл сұрақтарды жинауға 50 елдегі 500-ден астам мекеменің 1000-ға жуық маманы қатысқан.

Әзірлеушілер: Тестті CAIS және Scale AI компаниялары жасанды интеллект агенттерінің сарапшылық деңгейге қаншалықты жақындағанын бағалау үшін дайындаған.

 Сұрақтардың күрделілігі 
Бұл тесттегі тапсырмалар қарапайым емес, олар терең білімді қажет етеді. Мысалы:
 Тарихи және мәдени контексті білуді талап ететін римдік құлпытастағы жазуды аудару.
 Колибридің белгілі бір түрінің қаңқасын бекітетін сіңірлер саны туралы сұраққа жауап беру. Осындай күрделілігіне қарамастан, әр сұрақтың бір ғана нақты әрі дұрыс жауабы бар.

 Модельдердің нәтижелері 
2025 жылдың басында көптеген модельдер бұл сынақтан өтуде өте төмен (3-4%) нәтиже көрсеткен болатын. Алайда, 2025 жылдың соңына қарай (17 желтоқсандағы мәлімет бойынша) кейбір модельдер айтарлықтай ілгерілеушілік көрсетті:
ҰйымМодельДәлдігі (%)Google DeepMindGemini 3 Pro Preview37,52OpenAIGPT-5 Pro31,64AnthropicClaude Opus 4.525,20Meta AILlama 4 Maverick5,68
Бұл көрсеткіштер қазіргі ең озық жасанды интеллект жүйелерінің өзі адамзаттың жоғары деңгейлі академиялық білімімен салыстырғанда әлі де қиындықтарға тап болатынын көрсетеді.

 Сілтемелер 
 https://scale.com/leaderboard/humanitys_last_exam
 https://scale.com/leaderboard

Санат:Үлкен тілдік модельдер
Санат:Информатика
Санат:Жасанды интеллект