הסברתיות בינה מלאכותית

מודל הקופסה השחורה בלמידת מכונה. המודל מתאר את חוסר ההבנה של מפתחי ומשתמשי הבינה המלאכותית בנוגע לאופן פעולתה, לסיבות להחלטותיה ולכוונותיה.
הַסְבָּרָתִיּוּת בינה מלאכותית (באנגלית: Explainable AI או בקיצור XAI) היא אוסף של שיטות שנועדו לאפשר למשתמש אנושי אשר מנטר מערכת שכוללת יכולות בינה מלאכותית לבצע את תפקידו באופן מושכל. ההתמקדות העיקרית בשיטות אלו היא על שיקוף ההיגיון מאחורי ההחלטות או התחזיות שנעשו על ידי הבינה המלאכותית, כדי שתהיינה מובנות ושקופות יותר. הסברתיות בינה מלאכותית עומדת אל מול דימוי "הקופסה השחורה" של למידת מכונה, שבה אפילו מתכנני הבינה המלאכותית אינם יכולים להסביר מדוע הגיעה להחלטה מסוימת.
מטרת גישה זו היא לעזור למשתמשים במערכות המופעלות על ידי בינה מלאכותית להגיע לביצועים יעילים יותר, על ידי שיפור ההבנה שלהם לגבי האופן שבו מערכות אלו מסיקות מסקנות. הסברתיות בינה מלאכותית עשויה לשמש כיישום של הזכות החברתית להסבר. גם אם אין זכות חוקית או דרישה רגולטורית כזו, הסברתיות בינה מלאכותית עשויה לשפר את חווית המשתמש של מוצר או שירות על ידי סיוע למשתמשי קצה לסמוך במידה המתאימה על כך שהבינה המלאכותית מחליטה החלטות טובות. הסברתיות בינה מלאכותית שואפת להסביר מה נעשה בעבר, מה נעשה כעת ומה ייעשה בהמשך, כמו גם לחשוף על איזה מידע פעולות אלו מבוססות. גישה זו מאפשרת לאשש ידע קיים, לערער על ידע קיים ולייצר הנחות חדשות.
אלגוריתמים של למידת מכונה אשר משמשים בבינה מלאכותית יכולים להיות מסווגים כ"קופסה לבנה" או "קופסה שחורה". אלגוריתמים מסוג מודל של קופסה לבנה מספקים תוצאות אשר מובנות למומחים בתחום. מודלים של קופסה שחורה, לעומת זאת, קשים מאוד להסבר ובקושי ניתנים להבנה אפילו על ידי מומחים בתחום. אלגוריתמי הסברתיות בינה מלאכותית עוקבים אחר שלושת העקרונות של שקיפות, פָּרְשַׁנָתִּיּוּת והסברתיות. מודל נחשב שקוף אם התהליכים שמחלצים את הפרמטרים שלו מנתוני האימון ומייצרים תוויות מנתוני הבדיקה יכולים להיות מתוארים על ידי המְפַתֵּחַ. פרשנתיות (באנגלית: Interpretability) מתארת את האפשרות להבין את מודל למידת המכונה ולהציג את הבסיס שלו להחלטות בצורה מובנת לבני אדם. הסברתיות הוא מושג שחשיבותו מוכרת, אך אין עבורו הגדרה מקובלת. אפשרות אחת היא "אוסף התכונות של התחום שניתן לפירוש שתרמו, למשל, להפקת החלטה (למשל, סיווג או רגרסיה)". אם אלגוריתם ממלא את העקרונות הללו, הוא מהווה בסיס להצדקת החלטותיו, לעקיבה אחריו ובכך לאמת אותו, לשיפור האלגוריתם ולחקר עובדות חדשות.
יש מקרים שבהם ניתן להגיע לתוצאה בעלת דיוק גבוה עם אלגוריתמי קופסה לבנה של למידת מכונה. לאלגוריתמים אלה יש מבנה שניתן לפרש ושהשימוש בו אפשרי כדי להסביר את תחזיותיו. מודלים מסוג צוואר בקבוק של מושג, אשר משתמשים בהפשטות ברמת המושג כדי להסביר חשיבה של מודל, הם דוגמאות לכך וניתן ליישם אותן במשימות חיזוי תמונה וטקסט. יכולת זו להסבר של מודלים חשובה במיוחד בתחומים כמו רפואה, ביטחון, כספים ומשפטים, שבהם יש חשיבות מכרעת להבנת החלטות ולבניית אמון באלגוריתמים.[8][דרושה הבהרה] חוקרים רבים טוענים שלפחות עבור למידת מכונה מפוקחת, הדרך להתקדם לעבר הסברתיות היא רגרסיה סימבולית, שבה האלגוריתם מחפש במרחב של ביטויים מתמטיים כדי למצוא את המודל המתאים ביותר למערך נתונים נתון.
מערכות בינה מלאכותית מייעלות את ההתנהגות כדי לספק מערכת יעדים מוגדרת מתמטית, שהוגדרה על ידי מתכנני המערכת, כגון הפקודה "שאף למרב הדיוק בהערכה של מידת החיוביות של ביקורות סרטים במערך הבדיקה". הבינה המלאכותית עשויה ללמוד כללים שימושיים ממערך הבדיקות, כגון "ביקורות אשר מכילות את המילה 'נורא' צפויות להיות שליליות." עם זאת, היא עשויה ללמוד כללים לא הולמים, כגון "ביקורות המכילות 'דניאל דיי לואיס' הן בדרך כלל חיוביות". חוקים כאלה עשויים להיות בלתי רצויים אם הם צפויים להיכשל בהכללה מחוץ למערך האימונים, או אם אנשים מחשיבים את הכלל כ"רמאות" או כ"לא הוגן". אדם יכול לבקר חוקי הסברתיות בינה מלאכותית כדי להבין את מידת הסיכוי שהמערכת תכליל ביחס לנתונים עתידיים בעולם האמיתי מחוץ לקבוצת הבדיקות.