הבחינה האחרונה של האנושות

הבחינה האחרונה של האנושות (HLE) היא מבחן (benchmark) למודל שפה טבעית הכוללת 3000 שאלות אקדמיות ברמה גבוהה ביותר, ממגוון תחומים, פיזיקה, מתמטיקה, כימיה, מדעי הרוח ומדעי טבע נוספים שנתרמו על ידי כמעט 1000 מומחים ברחבי העולם, רובם פרופסורים, מלמעלה מ-500 מוסדות אקדמיים ב-50 מדינות (ישנם כ-5 חוקרים ישראלים (יבגני זילטונוזסקי, ניב כהן, אלי מריל, אורי פרס, דוד מניני)). הבחינה פותחה בשיתוף פעולה על ידי המרכז לבטיחות בינה מלאכותית.  

השאלות נבחרו בקפידה ועברו סינון ומיון מדוקדק, הושקעו חצי מיליון דולרים עבור הכותבים של השאלות המתוחכמות והחשיבתיות ביותר (עם צירוף פתרון מלא ומפורט), הפרסים חולקו רק על 500 השאלות הטובות ביותר.

 רֶקַע 
ככל שמודלי השפה, LLM, התפתחו במהירות, הם הצליחו להשיג דיוק של למעלה מ-90% במדדים פופולריים כמו המדד Massive Multitask Language Understanding (MMLU), מה שמגביל את היעילות של מבחנים אלה במדידת יכולות מתקדמות של מודלים חזקים יותר.

לכן, HLE הוצג כדי לספק כלי הערכה מאתגר ומקיף יותר אשר אמור להצליח להבדיל בין המודלים השונים וייקח זמן ארוך יחסית להצליח לפתור אותו באחוזים גבוהים.

עיקר הקושי במודלי השפה הגדולים, LLM, הוא לבחון האם המודל אכן יצירתי ומהי מסוגלתו "לחשוב" ולפתור בעיות מורכבות. מסיבה זו ענף המבחנים (benchmark) למודלי השפה הטבעית הגדולים נמצא כרגע בפיתוח מקיף על ידי מגוון עצום של חוקרים. ישנם מבחני בדיקה רבים מסוגים שונים שבודקים מגוון רחב של תכונות של מודלים אלו.

 הרכב מערך הנתונים 
מערך הנתונים הוא רב-מודאלי, כאשר כ-10% מהשאלות דורשות הבנת תמונה וטקסט כאחד, בעוד 90% הנותרים מבוססים על טקסט בלבד.

 תוצאות 
LLMs מתקדמים הוכיחו דיוק נמוך ב-HLE, והדגישו מקום משמעותי לשיפור. לדוגמה, מודלים כמו GPT-4o ו-Grok-2 השיגו דיוקים של 3.3% ו-3.8%, בהתאמה, בעוד ש־o3-mini (גבוה) (מוערך רק על פי טקסט) ו־Deep Research השיגו דיוקים של 13% ו-26.6%, בהתאמה.

הערות שוליים

 ראו גם
 רשימה של מדדי מודל שפה

 קישורים חיצוניים 

 הבחינה האחרונה של האנושות
 פוסט רשמי בבלוג המכריז על הפרויקט
 המאמר ב-arxiv

קטגוריה:בינה מלאכותית יוצרת