בינה מלאכותית הסברתית

ממוזער|מודל הקופסה השחורה בלמידת מכונה. המודל מתאר את חוסר ההבנה של מפתחי ומשתמשי הבינה המלאכותית בנוגע לאופן פעולתה, לסיבות להחלטותיה ולכוונותיה.|330x330 פיקסלים
**בינה מלאכותית הסברתית** (באנגלית: **Explainable AI** או בקיצור **XAI**) היא אוסף של שיטות שנועדו לאפשר למשתמש אנושי המנטר מערכת שכוללת יכולות בינה מלאכותית לבצע את תפקידו באופן מושכל. שיטות אלו מתמקדות בשיקוף ההיגיון שמאחורי ההחלטות או התחזיות של הבינה המלאכותית כדי שתהיינה מובנות ושקופות יותר. בינה מלאכותית הסברתית עומדת אל מול דימוי "הקופסה השחורה" של למידת מכונה, שבה אפילו מתכנני הבינה המלאכותית אינם יכולים להסביר מדוע הגיעה להחלטה מסוימת.

מטרת גישה זו היא לעזור למשתמשים במערכות המופעלות על ידי בינה מלאכותית להגיע לביצועים יעילים יותר, על ידי שיפור ההבנה שלהם לגבי האופן שבו מערכות אלו מסיקות מסקנות. בינה מלאכותית הסברתית עשויה לשמש יישום של הזכות החברתית להסבר. גם אם אין זכות חוקית או דרישה רגולטורית כזו, בינה מלאכותית הסברתית עשויה לשפר את חוויית המשתמש של מוצר או שירות על ידי סיוע למשתמשי קצה לסמוך במידה המתאימה על כך שהבינה המלאכותית מחליטה החלטות טובות. בינה מלאכותית הסברתית שואפת להסביר מה נעשה בעבר, מה נעשה כעת ומה ייעשה בהמשך, כמו גם לחשוף על איזה מידע פעולות אלו מבוססות. גישה זו מאפשרת לאשש ידע קיים, לערער על ידע קיים ולייצר הנחות חדשות.

אלגוריתמים של למידת מכונה אשר משמשים בבינה מלאכותית יכולים להיות מסווגים כ"קופסה לבנה" או "קופסה שחורה". אלגוריתמים מסוג מודל של קופסה לבנה מספקים תוצאות אשר מובנות למומחים בתחום. לעומת זאת, מודלים של קופסה שחורה קשים מאוד להסבר ובקושי ניתנים להבנה אפילו על ידי מומחים בתחום. אלגוריתמים של בינה מלאכותית הסברתית עוקבים אחר שלושת העקרונות של **שקיפות**, **יכולת פרשנות** ו**הסברתיות**. מודל נחשב **שקוף** אם המפַתֵּח יכול לתאר את התהליכים שמחלצים את הפרמטרים מנתוני האימון ומייצרים תוויות מנתוני הבדיקה. **יכולת פרשנות** (באנגלית: Interpretability) מתארת את האפשרות להבין את מודל למידת המכונה ולהציג את הבסיס שלו להחלטות בצורה מובנת לבני אדם. **הסברתיות** היא מושג שחשיבותו מוכרת, אך אין לו הגדרה מקובלת.. אפשרות אחת היא "אוסף התכונות של התחום שניתן לפירוש שתרמו, למשל, להפקת החלטה (למשל, סיווג או רגרסיה)". אם אלגוריתם ממלא את העקרונות הללו, הוא מהווה בסיס להצדקת החלטותיו, לעקיבה אחריו ובכך לאימות שלו, לשיפור האלגוריתם ולחקר עובדות חדשות.

יש מקרים שבהם ניתן להגיע לתוצאה בעלת דיוק גבוה עם אלגוריתמי קופסה לבנה של למידת מכונה. לאלגוריתמים אלה יש מבנה שניתן לפרש, ושהשימוש בו אפשרי כדי להסביר את תחזיותיו.. מודלים מסוג צוואר בקבוק של מושג, אשר משתמשים בהפשטות ברמת המושג כדי להסביר חשיבה של מודל, הם דוגמאות לכך וניתן ליישם אותן במשימות חיזוי תמונה וטקסט. יכולת זו להסבר של מודלים חשובה במיוחד בתחומים כמו רפואה, ביטחון, כספים ומשפטים, שבהם יש חשיבות מכרעת להבנת החלטות ולבניית אמון באלגוריתמים.[8] חוקרים רבים טוענים שלפחות עבור למידת מכונה מפוקחת, הדרך להתקדם לעבר הסברתיות היא רגרסיה סימבולית, שבה האלגוריתם מחפש במרחב של ביטויים מתמטיים כדי למצוא את המודל המתאים ביותר למערך נתונים נתון.

מערכות בינה מלאכותית מייעלות את ההתנהגות כדי לספק מערכת יעדים מוגדרת מתמטית, שהוגדרה על ידי מתכנני המערכת, כגון הפקודה "שאף למרב הדיוק בהערכה של מידת החיוביות של ביקורות סרטים במערך הבדיקה". הבינה המלאכותית עשויה ללמוד כללים שימושיים ממערך הבדיקות, כגון "ביקורות אשר מכילות את המילה 'נורא' צפויות להיות שליליות." עם זאת, היא עשויה ללמוד כללים לא הולמים, כגון "ביקורות המכילות 'דניאל דיי לואיס' הן בדרך כלל חיוביות". חוקים כאלה עשויים להיות בלתי רצויים אם הם צפויים להיכשל בהכללה מחוץ למערך האימונים, או אם אנשים מחשיבים את הכלל כ"רמאות" או כ"לא הוגן". אדם יכול לבקר חוקי בינה מלאכותית הסברתית כדי להבין את מידת הסיכוי שהמערכת תכליל ביחס לנתונים עתידיים בעולם האמיתי מחוץ לקבוצת הבדיקות.

## מטרות
שיתוף פעולה בין סוכנים - במקרה זה, אלגוריתמים ובני אדם - תלוי באמון. כדי שבני אדם יקבלו את המלצת האלגוריתם, הם צריכים לסמוך עליו. שקיפות, פרשנתיות והסברתיות הן יעדי ביניים בדרך לקריטריון אמון מקיף יותר. האמון באלגוריתם רלוונטי במיוחד ברפואה, במיוחד כשמדובר במערכות תמיכה להחלטות קליניות , שבפעולה איתן אנשי מקצוע רפואיים צריכים להיות מסוגלים להבין כיצד ומדוע המערכת החליטה כפי שעשתה כדי לסמוך על ההחלטה.

מערכות בינה מלאכותית לומדות לפעמים רצפי פעולה לא רצויים אשר עומדים באופן אופטימלי ביעדים מפורשים מתוכנתים מראש בנתוני האימון, אך אינם משקפים את הרצונות המרומזים יותר של מתכנני המערכת או את המורכבות המלאה של כלל הנתונים בתחום. לדוגמה, מערכת משנת 2017 שנועדה לזיהוי תמונות למדה "לרמות" על ידי חיפוש אחר תווית של זכויות יוצרים שנקשרה במקרה לתמונות סוסים במקום ללמוד כיצד לזהות האם אכן מופיע סוס בתמונה. במערכת אחרת משנת 2017, בינה מלאכותית שמשימתה לאחוז פריטים בעולם וירטואלי למדה "לרמות" על ידי הצבת ה"יד" שלה בין הפריט לצופה בצורה כזו שנדמה שהיא תופסת את אותו פריט.

פרויקט השקיפות DARPA XAI שואף לייצר דגמי "קופסת זכוכית" אשר ניתנים להסבר לאדם שבחוג מבלי להקריב במידה רבה את ביצועי הבינה המלאכותית. משתמשים אנושיים של מערכת כזו יוכלו להבין את תהליכי החשיבה של הבינה המלאכותית (הן בזמן אמת והן לאחר מעשה) ויוכלו לקבוע אם לסמוך על הבינה המלאכותית. יישומים נוספים של בינה מלאכותית הסברתית הם מיצוי ידע  מדגמי קופסה שחורה והשוואות מודלים. בהקשר של אתיקה חברתית-משפטית, המונח "קופסת זכוכית" מתייחס לכלים שעוקבים אחר התשומות והתפוקות של המערכת המדוברת ואשר מספקים הסברים ערכיים להתנהגותם. כלים אלו נועדו להבטיח שהמערכת פועלת בהתאם לסטנדרטים אתיים ומשפטיים, ושתהליכי קבלת ההחלטות שלה יהיו שקופים ואחראיים. המונח "קופסת זכוכית" משמש לעיתים קרובות בניגוד למערכות "קופסה שחורה", שנעדרות שקיפות ויכולות להיות קשות יותר לניטור ולוויסות. המונח משמש גם ככינוי לעוזר קולי שמפיק הצהרות אשר נוגדות עובדות כהסברים.

## הסברתיות לעומת פרשנתיות
קיים הבדל בין המונחים **הסברתיות** ו**פָּרְשַׁנָתִּיּוּת** בהקשר של בינה מלאכותית.
* הסברתיות - מידת ההבנה כיצד פועלת הטכנולוגיה שבבסיס המערכת.
* פרשנתיות - מידת ההבנה כיצד מערכת מבוססת בינה מלאכותית הגיעה לתוצאה מסוימת.

## היסטוריה ושיטות
בין שנות ה-70 וה-90 של המאה ה-20 מערכות בינה מלאכותית סימבוליות, כגון ה-MYCIN , ה-GUIDON, ה-SOPHIE וה-PROTOS, היו מסוגלות לייצג, לנמק ולהסביר את הנימוקים שלהם למטרות אבחון, הדרכה, או למטרות למידת מכונה. מערכת MYCIN, שפותחה בתחילת שנות ה-70 כאב טיפוס מחקרי לאבחון זיהומים במחזור הדם, יכלה להסביר אילו מן הכללים שקודדו באופן ידני תרמו לאבחנה במקרה מסוים. מחקר בנושא מערכות חניכה חכמות  הביא לפיתוח מערכות כגון SOPHIE, אשר נתנה הסברים על אסטרטגיית פתרון בעיות ברמה שתלמיד יוכל להבין, כדי שיוכל להחליט באיזו פעולה לנקוט בהמשך. לדוגמה, SOPHIE יכלה להסביר את ההיגיון האיכותי מאחורי פתרון בעיות בתחום האלקטרוניקה. באופן דומה המערכת GUIDON יצרה כללי הדרכה בשביל להסביר אסטרטגיה לאבחון רפואי. גישות סימבוליות ללמידת מכונה אשר נשענות על למידה מבוססת הסברים, כגון PROTOS, עשו שימוש בייצוגים מפורשים של הסברים שהובעו בשפת הסבר ייעודית, הן כדי להסביר את פעולותיהן הן כדי לרכוש ידע חדש.

בין שנות ה-80 וה-90 מערכות תחזוקת היגיון  הרחיבו את היכולות של מערכות הסקה סיבתיות. מערכות כאלה עוקבות אחר חלופות של הנמקה וסתירות אפשריות כדי לאפשר בעתיד הסברים מניחים את הדעת, אשר נמנעים מסתירות כאלה.

בשנות ה-90 של המאה ה-20 החלו חוקרים לבחון אם ניתן לחלץ בצורה משמעותית כללים שאינם מקודדים באופן ידני אלא נוצרו על ידי רשתות עצביות מלאכותיות. חוקרים ביקשו לפתח הסברים דינמיים, אשר מאפשרים לטכנולוגיות אלו להיות מהימנות ואמינות יותר בפועל. בעשור השני של המאה ה-21 תשומת הלב הגוברת כלפי הטיות בשימוש בבינה מלאכותית לצורך החלטות בנושאי ענישה פלילית ורמת האשראי החלה להוביל לביקוש מוגבר לבינה מלאכותית הסברתית. כתוצאה מכך אקדמאים וארגונים רבים החלו לפתח כלים שיעזרו לזהות הטיות במערכות כאלו.

מרווין מינסקי העלה עם שותפיו את הרעיון שבינה מלאכותית יכולה לתפקד כראוי למרות ההטיות הגלומות בה והציע את המושג "אינטליגנציה הומניסטית" כדרך ליצור בינה מלאכותית הוגנת ומאוזנת יותר וזאת בעזרת אדם בחוג.

טכניקות בינה מלאכותית מודרניות מורכבות, כגון למידה עמוקה ואלגוריתמים גנטיים, הן אינן שקופות מטבען. כדי לטפל בבעיה זו פותחו שיטות להפיכת מודלים כאלו לניתנים להסבר ולפירוש. שיטה אחת כזו היא התפשטות רלוונטיות שכבתית (LRP), טכניקה אשר משמשת לקבוע אילו תכונות בקלט מסוים תורמות בצורה החזקה ביותר לפלט של רשת עצבית. שיטות אחרות מסבירות חיזוי מסוים שנעשה על ידי מודל קופסה שחורה, גישה אשר מכונה "פירושיות מקומית".

בשנים האחרונות קיימת פעילות לפיתוח מודלים שקופים יותר אשר ניתנים לבדיקה. הפעילות כוללת עצי החלטה, רשתות בייסיאניות, מודלים ליניאריים ועוד. ועידת האגודה למכונות מחשוב בנושא הגינות, אחריות ושקיפות  נוסדה בשנת 2018 כדי ללמוד על שקיפות והסברתיות בהקשר של מערכות סוציו-טכניות, שרבות מהן כוללות בינה מלאכותית.

טכניקות מסוימות מאפשרות הדמיה של הקלט שאליו מגיבים נוירוני תוכנה בודדים בצורה החזקה ביותר. מספר קבוצות מצאו שניתן לצבור נוירונים למעגלים אשר מבצעים פונקציות הניתנות להבנה של האדם, שחלקם נוצרים באופן מהימן על פני רשתות שונות אשר מאומנות באופן עצמאי.

קיימות טכניקות שונות לחילוץ ייצוגים דחוסים של תכונות של קלט מסוים, אשר לאחר מכן ניתן לנתח על ידי שיטות ניתוח אשכולות. לחלופין ניתן לאמן רשתות להפקת הסברים לשוניים על התנהגותן, אשר לאחר מכן ניתנים לפירוש אנושי באופן ישיר. ניתן להסביר התנהגות מודל גם בהתייחס לנתוני אימון – לדוגמה, על ידי הערכת אילו קלטי אימון השפיעו הכי הרבה על התנהגות נתונה.

נעשה שימוש בבינה מלאכותית הסברתית בחקר כאב, במיוחד בהבנת תפקידה של פעילות מוליכות עורית לזיהוי כאב באופן אוטומטי. תכונות אשר מחולצות באופן ידני ומודלים של למידה עמוקה בזיהוי כאב מדגישים את התובנה שתכונות פשוטות אשר מופקות ידנית יכולות להיות שקולות למודלים של למידה עמוקה. הן גישות מסורתיות (ידניות) של הפקת תכונות והן גישות למידה עמוקה להפקת תכונות מסתמכות על מאפיינים פשוטים של נתוני הקלט של סדרות עתיות.

ההסברתיות עשויה להתמקד בהיבט צר ומסוים מתוך נתוני הקלט בתרחיש. הסברים כאלה נקראים הסברים מקומיים. לעומתם, הסברים שעוסקים בהיבטים של מדיניות האלגוריתם, אשר להם השלכות רוחביות על תוצרים רבים של המערכת, נקראים הסברים גלובליים.

## ממשק למשתמש
כדי שמידע של הסברתיות יגיע אל המשתמש האנושי במערכת, נעשה שימוש בממשק המשתמש במערכת ובייחוד בתצוגות המערכת. לרוב, תצוגות שמיועדות לספק הסברתיות כוללות סוגי החזיית מידע (ויזואליזציה) שונים. עבור אלגוריתמי ראייה ממוחשבת שימושיים במיוחד מפות חום וגרפים מסוגים שונים. במערכות שעוסקות בעיקר בנתונים כמותיים לרוב נעשה שימוש בטבלאות כמו גם בגרפים, בעוד שבמערכות עיבוד שפה טבעית לרוב ננקטים הסברים מילוליים.

LIME ו־SHAP הם כלים כלליים, מוכנים מראש, אשר מיועדים לספק הסברתיות למשתמש ומתאימים בעיקר לצורכי מפתחי אלגוריתמי בינה מלאכותית. SHAP משמש בעיקר לשיקוף התרומה היחסית של כל רכיב לפלט הסופי ואילו LIME מתאים למודל המקורי מודל מקומי, פשוט יותר ואשר ניתן להסבירו בקלות.

## תקנות
מאחר שקובעי תקנות, גופים רשמיים ומשתמשים כלליים מתחילים להיות תלויים במערכות דינמיות מבוססות בינה מלאכותית, נדרשת שקיפות בתהליכי החלטות אוטומטיים  כדי לייצר אמון בהם במידה המתאימה. הוועידה העולמית הראשונה שהוקדשה בלעדית לתחום המתהווה הזה הייתה הכנס הבינלאומי המשותף לשנת 2017 בנושא בינה מלאכותית : סדנה בנושא בינה מלאכותית הסברתית.

האיחוד האירופי הציג את הזכות להסבר (GDPR) כדי לטפל בבעיות אפשריות שנובעות מהעלייה בחשיבותם של אלגוריתמים. יישום תקנות אלה החל בשנת 2018. עם זאת, הזכות להסבר ב-GDPR מכסה רק את ההיבט של פרשנות מקומית. בארצות הברית, חברות הביטוח נדרשות להיות מסוגלות להסביר את החלטות התעריף והכיסוי שלהן. בצרפת, חוק הרפובליקה הדיגיטלית  מעניק לנבדקים את הזכות לבקש ולקבל מידע הנוגע ליישום אלגוריתמים אשר מעבדים נתונים אודותיהם.

## מגבלות
למרות המאמצים לשפר את ההסברתיות של מודלים של בינה מלאכותית, הם כוללים מספר מגבלות מובנות.

### יריבויות
בתהליך הפיכת מערכת בינה מלאכותית לניתנת יותר להסבר, גוברת גם החשיפה של מנגנוני פעולתה הפנימיים. לדוגמה, בשיטת הסבר שמזהה את התכונות או המשתנים המרכזיים בקביעת הפלט של המודל, גורמים יריבים יכולים לנצל את המידע.

למשל, חברות מתחרות יכולות לשכפל היבטים של מערכת הבינה המלאכותית המקורית במוצר שלהן, ובכך להפחית את היתרון התחרותי. מערכת בינה מלאכותית שניתנת להסבר רגישה גם למניפולציות ומושפעת באופן שעלול לפגוע בייעודה. בדוגמה מתוך מחקר מתוארת מערכת שיטור חזוי. במקרה זה, מי שיכולים להונות את המערכת הם הפושעים אשר כפופים להחלטות המערכת. במחקר זה, מפתחי המערכת דנו בנושא של כנופיות עברייניות אשר מבקשות להשיג דרכונים באופן בלתי חוקי. הם הביעו חששות שאם ייוודע אילו גורמים עלולים להפעיל התרעה בתהליך בקשת הדרכון, כנופיות אלו יוכלו להשתמש ב"שפני ניסוי" כדי לבדוק את אותם גורמים ולבסוף למצוא פרצה שתאפשר להם "לקבל באופן מהימן דרכונים מתחת לאף של הרשויות".

### מורכבות טכנית
מחסום בסיסי בהפיכת מערכות בינה מלאכותית לניתנות להסבר הוא המורכבות הטכנית של מערכות כאלה. משתמשי קצה חסרים לעיתים קרובות ידע בתיכנות. השיטות הנוכחיות לבינה מלאכותית הסברתית הן בעיקר טכניות ומיועדות למהנדסי למידת מכונה למטרות תיקון תקלות תוכנה ולא עבור משתמשי הקצה, שמושפעים בסופו של דבר מהמערכת. זהו הגורם ל"פער בין יכולת ההסבר בפועל לבין מטרת השקיפות". הפתרונות אשר מוצעים לטיפול בסוגיית המורכבות הטכנית כוללים קידום חינוך של הציבור הרחב בתחום התיכנות, כך שהסברים טכניים יהיו נגישים יותר למשתמשי הקצה, או מתן הסברים במונחים של הדיוטות.

עם זאת, על הפתרונות להימנע מפישוט יתר. יש למצוא איזון בין דיוק - עד כמה ההסבר משקף נאמנה את התהליך של מערכת הבינה המלאכותית - לבין יכולת ההסבר - עד כמה משתמשי הקצה מבינים את התהליך. זהו איזון שקשה להגיע אליו, שכן המורכבות של למידת מכונה מקשה אפילו על מפתחיה להבין אותה היטב, קל וחומר מי שאינו מומחה.

### הבנה ואמון
יש החושבים שמטרת ההסבר למשתמשי הקצה של מערכות בינה מלאכותית היא להגביר את האמון במערכות ו"לתת מענה לחששות לגבי חוסר 'הוגנות' והשפעות מפלות". עם זאת, אפילו עם הבנה טובה של מערכת בינה מלאכותית, משתמשי קצה לא בהכרח סומכים על המערכת. במחקר מסוים הוצגו למשתתפים שילובים של הסברים סטטיים ואינטראקטיביים של מערכות בינה מלאכותית. בעוד שההסברים הללו שימשו להגביר הן את החוויה הסובייקטיבית של הבנה על ידי המשתתפים והן את ההבנה האובייקטיבית שלהם, לא הייתה לכך השפעה על רמת האמון שלהם והם נותרו ספקנים.

תוצאה זו נכונה במיוחד עבור החלטות אשר משפיעות על משתמש הקצה באופן משמעותי, כגון קבלה לבתי ספר לתארים מתקדמים. משתתפים במחקר העריכו את האלגוריתמים כבלתי גמישים מדי ולא סלחניים בהשוואה למכריעים אנושיים. במקום להקפיד על מערכת כללים "יבשים", בני אדם מסוגלים לשקול מקרים חריגים וכן לערער על החלטתם הראשונית. בהחלטות כאלה, הסברתיות לא בהכרח תגרום למשתמשי קצה לקבל את השימוש באלגוריתמי החלטה אוטומטיים.

עם זאת, יש המדגישים שמטרת ההסברתיות של בינה מלאכותית אינה הגברת אמון המשתמשים בהחלטות המערכת, אלא **כיול** רמת האמון של המשתמשים למידה הנכונה. על פי עיקרון זה, מידה רבה מדי או נמוכה מדי של אמון של המשתמשים במערכת הבינה המלאכותית תפגע בביצועים הכוללים של היחידה אדם-ומערכת. כאשר האמון מופרז, המשתמש אינו ביקורתי כלפי טעויות אפשריות של המערכת וכאשר למשתמש אין די אמון במערכת, הוא לא ימצה את היתרונות אשר גלומים בה.

## ביקורת
חוקרים מציעים כי יש להתייחס לבינה מלאכותית הסברתית כיעד משני ליעילות הבינה המלאכותית וכי עידוד הפיתוח של בינה מלאכותית הסברתית עשוי להגביל את הפונקציונליות שלה. הביקורות על בינה מלאכותית הסברתית מסתמכות על מושגים מפותחים של חשיבה מכניסטית ואמפירית מתחום הרפואה המבוססת ראיות וגורסים שניתן לאמת קלינית טכנולוגיות בינה מלאכותית גם כאשר המפעילים שלהן לא מסוגלים להבין את אופן תפקודן.

יתרה מכך, מערכות בינה מלאכותית הסברתית מתמקדות בעיקר בהפיכת מערכות בינה מלאכותית למובנות למפתחי בינה מלאכותית ולא למשתמשי קצה, כך שהתוצאות שלהן לגבי תפיסות המשתמשים של מערכות אלו אינן ברורות. חלק מהחוקרים דוגלים בשימוש במודלים של למידת מכונה אשר ניתנים לפירוש מטבעם, במקום להשתמש בהסברים בדיעבד, שבהם נוצר מודל שני כדי להסביר את הראשון. העדפה זו נובעת בחלקה משום שמודלים שבדיעבד מגבירים את המורכבות במסלול החלטה וחלקה משום שלעיתים קרובות לא ברור באיזו נאמנות הסבר בדיעבד יכול להתחקות אחר החישובים של מודל נפרד לחלוטין. עם זאת, דעה נוספת היא שמה שחשוב הוא שההסבר ישיג את המשימה הנתונה, ללא חשיבות להתרחשותו מראש או בדיעבד. אם שיטת הסבר בדיעבד עוזרת לרופא לאבחן טוב יותר את הסרטן, יש חשיבות משנית לדיוק ההסבר.

בינה מלאכותית הסברתית הופכת פחות יעילה ככל שהמודלים של הבינה המלאכותית כוללים יותר הפרמטרים.

## ראו גם
* בינה מלאכותית
*אמון
*אדם בחוג
*ממשק משתמש

## קישורים חיצוניים

## הערות שוליים

קטגוריה:בינה מלאכותית
קטגוריה:הנדסת אנוש
2024 01
קטגוריה:למידת מכונה