הסברתיות בינה מלאכותית
היסטוריה ושיטות

בין שנות ה-70 וה-90 של המאה ה-20, מערכות בינה מלאכותית סימבוליות, כגון ה-MYCIN (אנ'), ה-GUIDON, ה-SOPHIE וה-PROTOS היו מסוגלות לייצג, לנמק ולהסביר את הנימוקים שלהם למטרות אבחון, הדרכה, או למטרות למידת מכונה. מערכת MYCIN, שפותחה בתחילת שנות ה-70 כאב טיפוס מחקרי לאבחון זיהומים במחזור הדם, יכלה להסביר אילו מהכללים שקודדו באופן ידני תרמו לאבחנה במקרה מסוים. מחקר בנושא מערכות חניכה חכמות (אנ') הביא לפיתוח מערכות כגון SOPHIE, אשר נתנה הסברים על אסטרטגיית פתרון בעיות ברמה שתלמיד יוכל להבין, כדי שיוכל להחליט באיזו פעולה לנקוט בהמשך. לדוגמה, SOPHIE יכלה להסביר את ההיגיון האיכותי מאחורי פתרון בעיות בתחום האלקטרוניקה. באופן דומה, המערכת GUIDON יצרה כללי הדרכה בשביל להסביר את אסטרטגיה לאבחון רפואי. גישות סימבוליות ללמידת מכונה אשר נשענות על למידה מבוססת הסברים, כגון PROTOS, עשו שימוש בייצוגים מפורשים של הסברים שהובעו בשפת הסבר ייעודית, הן כדי להסביר את פעולותיהן והן כדי לרכוש ידע חדש.
בין ה-80 וה-90 מערכות תחזוקת היגיון (TMS) הרחיבו את היכולות של מערכות הסקה סיבתיות. מערכות כאלה עוקבות אחר חלופות של הנמקה וסתירות אפשריות, כדי לאפשר בעתיד הסברים מניחים את הדעת, אשר נמנעים מסתירות כאלה.
בשנות ה-90 של המאה ה-20 החלו חוקרים לבחון האם ניתן לחלץ בצורה משמעותית כללים שאינם מקודדים באופן ידני אלא נוצרו על ידי רשתות עצביות מלאכותיות. חוקרים ביקשו לפתח הסברים דינמיים, אשר מאפשרים לטכנולוגיות אלו להיות מהימנות ואמינות יותר בפועל. בעשור השני של המאה ה-21 תשומת הלב הגוברת כלפי הטיות בשימוש בבינה מלאכותית לצורך החלטות בנושאי ענישה פלילית ורמת האשראי החלה להוביל לביקוש מוגבר להסברתיות בינה מלאכותית. כתוצאה מכך, אקדמאים וארגונים רבים החלו לפתח כלים שיעזרו לזהות הטיות במערכות כאלו.
מרווין מינסקי העלה עם שותפיו את הרעיון שבינה מלאכותית יכולה לתפקד כראוי למרות ההטיות הגלומות בה והציע את המושג "אינטליגנציה הומניסטית", כדרך ליצור בינה מלאכותית הוגנת ומאוזנת יותר וזאת בעזרת אדם בחוג.
טכניקות בינה מלאכותית מודרניות מורכבות, כגון למידה עמוקה ואלגוריתמים גנטיים, הן אינן שקופות מטבען. כדי לטפל בבעיה זו, פותחו שיטות להפיכת מודלים כאלו לניתנים להסבר ולפירוש. שיטה אחת כזו היא התפשטות רלוונטיות שכבתית (LRP), טכניקה אשר משמשת לקבוע אילו תכונות בקלט מסוים תורמות בצורה החזקה ביותר לפלט של רשת עצבית. שיטות אחרות מסבירות חיזוי מסוים שנעשה על ידי מודל קופסה שחורה, גישה אשר מכונה "פירושיות מקומית".
בשנים האחרונות קיימת פעילות לפיתוח מודלים שקופים יותר, אשר ניתנים לבדיקה. הפעילות כוללת עצי החלטה, רשתות בייסיאניות, מודלים ליניאריים ועוד. ועידת האגודה למכונות מחשוב בנושא הגינות, אחריות ושקיפות (ACM FAccT) נוסדה בשנת 2018 כדי ללמוד על שקיפות והסברתיות בהקשר של מערכות סוציו-טכניות, שרבות מהן כוללות בינה מלאכותית.
טכניקות מסוימות מאפשרות הדמיה של הקלט שאליו מגיבים נוירוני תוכנה בודדים בצורה החזקה ביותר. מספר קבוצות מצאו שניתן לצבור נוירונים למעגלים אשר מבצעים פונקציות הניתנות להבנה של האדם, שחלקם נוצרים באופן מהימן על פני רשתות שונות אשר מאומנות באופן עצמאי.
קיימות טכניקות שונות לחילוץ ייצוגים דחוסים של תכונות של קלט מסוים, אשר לאחר מכן ניתן לנתח על ידי שיטות ניתוח אשכולות. לחלופין, ניתן לאמן רשתות להפקת הסברים לשוניים על התנהגותן, אשר לאחר מכן ניתנים לפירוש אנושי באופן ישיר. ניתן להסביר התנהגות מודל גם בהתייחס לנתוני אימון - לדוגמה, על ידי הערכת אילו קלטי אימון השפיעו הכי הרבה על התנהגות נתונה.
נעשה שימוש בהסברתיות בינה מלאכותית בחקר כאב, במיוחד בהבנת תפקידה של פעילות מוליכות עורית לזיהוי כאב באופן אוטומטי. תכונות אשר מחולצות באופן ידני ומודלים של למידה עמוקה בזיהוי כאב מדגישים את התובנה שתכונות פשוטות אשר מופקות ידנית יכולות להיות שקולות למודלים של למידה עמוקה. הן גישות מסורתיות (ידניות) של הפקת תכונות והן גישות למידה עמוקה להפקת תכונות מסתמכות על מאפיינים פשוטים של נתוני הקלט של סדרות עתיות.
ההסברתיות עשויה להתמקד בהיבט צר ומסוים מתוך נתוני הקלט בתרחיש. הסברים כאלה נקראים הסברים מקומיים. לעומתם, הסברים שעוסקים בהיבטים של מדיניות האלגוריתם, אשר להם השלכות רוחביות על תוצרים רבים של המערכת, נקראים הסברים גלובליים.