인류의 마지막 시험

인류의 마지막 시험(Humanity's Last Exam, HLE)은 광범위한 주제에 걸쳐 2,500개의 질문으로 구성된 언어 모델 벤치마크이다. 이 시험은 AI 안전 센터와 스케일 AI가 공동으로 만들었다.

 생성 
스탠퍼드 HAI의 AI 지수 2025 연례 보고서는 인류의 마지막 시험을 인기 있는 AI 벤치마크가 "포화 상태"에 도달함에 따라 개발된 "더욱 도전적인 벤치마크" 중 하나로 언급했다. 이 시험은 기계 학습 연구원이자 AI 안전 센터의 이사인 댄 헨드릭스의 아이디어로 시작되었으며, 그는 일론 머스크와의 대화에서 영감을 받아 이 시험을 만들었다고 밝혔다. 일론 머스크는 MMLU와 같은 기존의 언어 모델 벤치마크가 너무 쉽다고 생각했다. 헨드릭스는 스케일 AI와 협력하여 질문을 편집했다. 질문은 전 세계 다양한 기관의 주제 전문가로부터 크라우드소싱되었다. 질문은 먼저 주요 AI 모델을 통해 필터링되었다. 모델이 질문에 답하지 못하거나 객관식 질문에서 무작위 추측보다 낮은 성능을 보이면 인간 전문가가 두 차례 검토하여 데이터 세트에 포함하도록 승인했다. 최고 등급 질문을 제출한 자에게는 500,000 미국 달러의 상금 풀에서 상금이 지급되었는데, 상위 50개 질문에는 각각 5000달러, 그 다음 500개 질문에는 500달러가 지급되었다. 초기 출시 후 "데이터 세트의 주요 오류를 식별하고 제거"하기 위한 "커뮤니티 피드백 버그 바운티 프로그램"이 시작되었다.

 구성 
이 벤치마크는 공개된 세트에 2,500개의 질문으로 구성된다. 논문은 질문을 수학 (41%), 물리학 (9%), 생물학/의학 (11%), 인문학/사회 과학 (9%), 컴퓨터 과학/인공지능 (10%), 공학 (4%), 화학 (7%), 기타 (9%)의 광범위한 주제로 분류한다. 약 14%의 질문은 텍스트와 이미지 모두를 이해하는 능력, 즉 다중 모드를 필요로 한다. 질문의 24%는 객관식이며, 나머지는 단답형, 정확 일치 질문이다. 벤치마크 과적합을 테스트하기 위해 비공개 세트도 유지된다.

질문 예시:

2025년 7월 FutureHouse가 발표한 독립적인 조사에 따르면, HLE의 텍스트 전용 화학 및 생물학 질문에 대한 답변 중 약 30%가 틀렸을 수 있다고 제안했다. 벤치마크 팀은 이 발견을 부분적으로 재현했으며, 지속적인 수정 과정을 도입하기를 희망한다고 밝혔다.

 결과 
+ 벤치마크에 대한 다양한 모델의 성능 기관 모델 정확도 (%) ↑ 보정 오차 (%) ↓ 오픈AI  GPT-5 프로  31.64  49 구글 딥마인드  제미나이 2.5 프로 프리뷰 (06-05)  21.64  72 앤트로픽  클로드 소네트 4.5 (사고)  13.72  65 즈푸 AI  GLM 4.5  8.32  79 메타 AI  LLaMA 4 매버릭  5.68 83 미스트랄 AI  미스트랄 미디엄 3  4.52  77 아마존 웹 서비스  노바 프로  4.40  80 출처: 스케일 AI. 2025년 10월 2일.

+ 벤치마크의 텍스트 전용 하위 집합에 대한 다양한 비멀티모달 모델의 성능 기관 모델 정확도 (%) ↑ 보정 오차 (%) ↓ 오픈AI  gpt-oss-120b  15.48  76 알리바바 클라우드  Qwen3-235B-A22B-사고-2507  15.43  78 딥시크  딥시크-R1-0528  14.04  78 문샷 AI  키미-K2-인스트럭트  4.68  82 아마존 웹 서비스  노바 마이크로  4.41  84 출처: 스케일 AI. 2025년 8월 30일.

 각주 

 외부 링크 
 인류의 마지막 시험 (AI 안전 센터)
 인류의 마지막 시험 (스케일 AI)

분류:대형 언어 모델