פרשנות מכניסטית

פרשנות מכניסטית (באנגלית: Mechanistic Interpretability) היא תחום מחקר בבינה מלאכותית המתמקד בהבנה שיטתית של רשתות נוירונים מלאכותיות באמצעות הנדסה לאחור של הפרמטרים הפנימיים שלהן – המשקולות, האקטיבציות והקשרים ביניהם.

מטרת התחום היא לחשוף את המבנים החישוביים הפנימיים (כגון מעגלים ותכונות) אשר קובעים את התנהגות המודל, מתוך הנחה כי רשתות נוירונים אינן "קופסה שחורה", אלא מממשות באופן בינארי ומדיד אלגוריתמים ממשיים שניתן למפות.

הפרשנות המכניסטית מהווה תת-תחום של בינה מלאכותית הסברתית ומשמשת כלי מרכזי במחקר בטיחות בינה מלאכותית ו-יישור ערכים (Alignment).

 רקע ומוטיבציה 
העלייה ביכולותיהם של מודלי שפה גדולים (LLMs) החריפה את בעיית השקיפות הידועה כ"קופסה שחורה" – מצב שבו קשה להבין כיצד ומדוע המודל מייצר את תשובותיו.

מתוך צורך להבטיח אמינות ובטיחות, הפרשנות המכניסטית מבקשת לספק הסברים סיבתיים ומבניים לפעולת המודל, במקום להסתפק בהסקות סטטיסטיות בלבד.

הבנה זו נחשבת חיונית כדי לזהות מקרים של יישור ערכים מטעה (Deceptive Alignment) – מצבים שבהם מודל לומד אסטרטגיות נסתרות שאינן תואמות את כוונת המתכנת.

 עקרונות ויחידות ניתוח 
בבסיס הגישה עומד עיקרון הפירוק למרכיבים מבניים ברורים:
 תכונות (Features) – הכיוונים הבסיסיים במרחב האקטיבציות של הרשת, המייצגים יחידות משמעות מופשטות, כגון מילים, תבניות תחביריות או התנהגויות לוגיות.
 מעגלים (Circuits) – תתי-גרפים של קשרים בין נוירונים, המממשים יחד משימה חישובית ספציפית, בדומה לשערים לוגיים במעגל אלקטרוני.

מחקרים חלוציים של אנת'רופיק הדגימו כיצד ניתן לזהות מעגלים האחראים לדפוסים מוגדרים (למשל, סוגריים תואמים או התאמת מילים בטקסט).

 מתודולוגיות מחקר 
התחום מתבסס על שני כיווני חקירה עיקריים:

גישה ניסויית (Bottom-Up)
 ניתוח רכיבים מקומיים במודל (כגון מנגנוני "ראשי אינדוקציה" – "Induction Heads"), תוך ניסוי שיטתי ברכיבים בודדים.

גישה סיבתית (Top-Down)
 שימוש בהתערבות מבוקרת במודל לשם בדיקת קשרי סיבה ותוצאה. טכניקת "מחיקה סיבתית" (Causal Scrubbing) מאפשרת לבחון אם שינוי מקומי בתכונה או קשר משפיע ישירות על הפלט.

 גבולות תחום וקריטריונים 
 נאמנות מתמטית למודל – הסבר נחשב "מכניסטי" רק אם הוא מבוסס על פרמטרים ממשיים של המודל; שיטות המבוססות על קורלציה קלט-פלט, כגון LIME או SHAP, אינן נכללות בתחום זה.
 שלילת האנשה – התחום נמנע מתיאורים מטפוריים כמו "המודל חושב" ומדורש הסברים ברמת מנגנון חישובי בלבד.

 אתגרים והתפתחויות 
הבעיה המרכזית היא "פער הפרשנות" (Interpretability Gap): הקושי להרחיב ניתוחים של מעגלים קטנים למודלים בקנה מידה של מאות מיליארדי פרמטרים.

פתרון חדשני הוא שימוש ב"קידודים אוטומטיים דלילים" (Sparse Autoencoders – SAE), המסוגלים לבודד מיליוני תכונות באופן אוטומטי, אם כי שיטות אלו עדיין בשלבי פיתוח מוקדמים.

 ראו גם 
 בינה מלאכותית
 למידה עמוקה
 בינה מלאכותית הסברתית
 בטיחות בינה מלאכותית

 הערות שוליים 

קטגוריה:בינה מלאכותית
קטגוריה:למידה עמוקה