Kỳ thi cuối cùng của nhân loại

Kỳ thi cuối cùng của nhân loại (tiếng Anh: Humanity's Last Exam hay HLE) là một  bao gồm 2.500 câu hỏi thuộc nhiều lĩnh vực khác nhau, do  và Scale AI hợp tác xây dựng.

 Sự ra đời 
Báo cáo Thường niên Chỉ số AI 2025 của Stanford HAI trích dẫn Kỳ thi cuối cùng của nhân loại là một trong những "bài kiểm chuẩn thách thức hơn" được phát triển nhằm đối phó với việc các bài kiểm chuẩn AI phổ biến đã đạt đến "sự bão hoà". Bài kiểm tra này được mô tả là đứa con tinh thần của Dan Hendrycks, một nhà nghiên cứu học máy và là giám đốc của  (Center for AI Safety), người đã tuyên bố rằng ông được truyền cảm hứng cho việc tạo ra bài kiểm tra sau cuộc trò chuyện với Elon Musk, người cho rằng các  hiện có, chẳng hạn như MMLU, là quá dễ. Hendrycks đã làm việc với Scale AI để biên soạn các câu hỏi. Các câu hỏi được gây quỹ cộng đồng từ các chuyên gia trong ngành từ nhiều tổ chức khác nhau trên khắp thế giới. Đầu tiên, các câu hỏi các mô hình AI hàng đầu sàng lọc; nếu các mô hình không trả lời được câu hỏi hoặc trả lời kém hơn việc đoán ngẫu nhiên đối với các câu hỏi trắc nghiệm, chúng sẽ được các chuyên gia con người xem xét trong hai vòng rồi mới được chấp thuận đưa vào bộ dữ liệu. Những người gửi câu hỏi được đánh giá cao nhất sẽ nhận được tiền thưởng từ quỹ 500.000 đô la Mỹ – 5000 đô cho mỗi câu trong số 50 câu hỏi hàng đầu và 500 đô cho 500 câu hỏi tiếp theo. Sau bản phát hành đầu tiên, một "chương trình tiền thưởng báo lỗi từ phản hồi của cộng đồng" đã được mở ra để "xác định và loại bỏ các lỗi lớn trong bộ dữ liệu".

 Cấu trúc 
Bài kiểm chuẩn bao gồm 2500 câu hỏi trong tập (set) phát hành công khai. Bài báo phân loại các câu hỏi thành các chủ đề rộng sau: toán học (41%), vật lý (9%), sinh học/y học (11%), nhân văn/khoa học xã hội (9%), khoa học máy tính/trí tuệ nhân tạo (10%), kỹ thuật (4%), hoá học (7%) và khác (9%). Khoảng 14% câu hỏi đòi hỏi khả năng hiểu cả văn bản và hình ảnh, tức là . 24% câu hỏi là câu hỏi trắc nghiệm; phần còn lại là câu hỏi trả lời ngắn, yêu cầu khớp chính xác. Một tập riêng tư cũng được duy trì để kiểm tra sự quá khớp của bài kiểm chuẩn.

Một câu hỏi ví dụ:

Tạm dịch như sau:

Một cuộc điều tra độc lập của FutureHouse, được công bố vào tháng 7 năm 2025, cho thấy khoảng 30% câu trả lời của HLE cho các câu hỏi thuần văn bản về hoá học và sinh học có thể không chính xác; nhóm thực hiện bài kiểm chuẩn đã tái tạo một phần các phát hiện này và cho biết họ hy vọng sẽ thiết lập một quy trình sửa đổi liên tục.

 Kết quả 
+Hiệu suất của các mô hình khác nhau trên bài kiểm chuẩnTổ chứcMô hìnhĐộ chính xác (%) ↑Lỗi hiệu chuẩn (%) ↓Google DeepMindGemini 3 Pro Preview37,5257OpenAI31,6449Claude Opus 4.5 (Thinking)25,2055GLM 4.58,3279Llama 4 Maverick5,6883Mistral AIMistral Medium 34,5277Amazon Web ServicesNova Pro4,4080Nguồn: Scale AI. 26 tháng 11 năm 2025.
+Hiệu suất của các mô hình đơn phương thức khác nhau trên tập con chỉ có văn bản của bài kiểm chuẩnTổ chứcMô hìnhĐộ chính xác (%) ↑Lỗi hiệu chuẩn (%) ↓OpenAI15,4876Alibaba Cloud15,437814,04784,6882Amazon Web ServicesNova Micro4,4184Nguồn: Scale AI. 30 tháng 8 năm 2025.

 Tham khảo 

 Liên kết ngoài 

 Kỳ thi cuối cùng của nhân loại tại 
 Kỳ thi cuối cùng của nhân loại tại