המכתב הפתוח על בינה מלאכותית (2015)

בינואר 2015, סטיבן הוקינג, אילון מאסק ועשרות מומחים לבינה מלאכותית נוספים חתמו על מכתב פתוח בשם **עדיפויות חוקרים לבינה מלאכותית גמישה ויעילה: מכתב פתוח** (**Research Priorities for Robust and Beneficial Artificial Intelligence: An Open Letter**) הקורא לחקור את ההשפעות החברתיות של בינה מלאכותית. המכתב אישר כי החברה יכולה לקצור יתרונות פוטנציאליים גדולים מבינה מלאכותית, אך קרא למחקר קונקרטי כיצד למנוע "מכשולים" פוטנציאליים מסוימים: לבינה מלאכותית יש פוטנציאל לחסל מחלות ועוני, אך החוקרים לא חייבים ליצור משהו שאינו בטוח או בלתי נשלט. המכתב בן ארבעת הפסקאות, שכותרתו "סדרי עדיפויות למחקר למען בינה מלאכותית חזקה ומועילה: מכתב פתוח", מפרט סדרי עדיפויות מחקריים מפורטים במסמך נלווה בן שנים עשר עמודים.

## רקע
עד שנת 2014, גם הפיזיקאי סטיבן הוקינג וגם היזם אילון מאסק הביעו בפומבי את הדעה שבינה מלאכותית על־אנושית יכולה לספק יתרונות עצומים, אך גם יכולה להביא את הקץ על המין האנושי אם תופעל בפזיזות. באותה תקופה, הוקינג ומאסק ישבו שניהם במועצה המדעית המייעצת של מכון עתיד החיים, ארגון הפועל "לצמצם סיכונים קיומיים העומדים בפני האנושות". המכון ניסח מכתב פתוח המופנה לקהילת המחקר הרחבה יותר של בינה מלאכותית, והפיץ אותו למשתתפי הכנס הראשון שלו בפוארטו ריקו במהלך סוף השבוע הראשון של 2015. המכתב פורסם לציבור ב-12 בינואר.

## מטרת המכתב
המכתב מדגיש הן את ההשפעות החיוביות והן את ההשפעות השליליות של בינה מלאכותית. לדברי בלומברג ביזנס, פרופסור מקס טגמרק מ-MIT הפיץ את המכתב במטרה למצוא מכנה משותף בין חותמים הרואים בבינה מלאכותית סופר-אינטליגנטית סיכון קיומי משמעותי, לבין חותמים כמו פרופסור אורן עציוני, המאמינים שתחום הבינה המלאכותית "מוכתם" על ידי התמקדות חד-צדדית של התקשורת בסיכונים לכאורה. המכתב טוען כי:

אחד החותמים, פרופסור בארט סלמן מאוניברסיטת קורנל, אמר שהמטרה היא לגרום לחוקרי ומפתחי בינה מלאכותית לשים לב יותר לבטיחות בבינה מלאכותית. בנוסף, עבור קובעי מדיניות והציבור הרחב, המכתב נועד להיות אינפורמטיבי אך לא לעורר דאגה. חותמת נוספת, פרופסור פרנצ'סקה רוסי, הצהירה כי "אני חושבת שזה מאוד חשוב שכולם ידעו שחוקרי בינה מלאכותית חושבים ברצינות על החששות והסוגיות האתיות הללו".

## החששות שהועלו במכתב
החותמים שואלים כיצד מהנדסים יכולים ליצור מערכות בינה מלאכותית מועילות לחברה שיהיו גם חזקות? בני אדם צריכים להישאר בשליטה על בינה מלאכותית; מערכות הבינה המלאכותית שלנו חייבות "לעשות את מה שאנחנו רוצים שהן יעשו". המחקר הנדרש הוא רב-תחומי, מכלכלה ומשפטים ועד לענפים שונים של מדעי המחשב, כגון אבטחת תוכנה ואימות תוכנה. האתגרים שעולים מתחלקים לאימות ("האם בניתי את המערכת נכון?"), תוקף ("האם בניתי את המערכת הנכונה?"), אבטחה ובקרה ("אוקיי, בניתי את המערכת לא נכון, האם אני יכול לתקן אותה?").

### דאגות בטווח הקצר
חלק מהחששות לטווח הקרוב קשורים לכלי רכב אוטונומיים, מרחפנים עד מכוניות אוטונומיות. לדוגמה, מכונית אוטונומית עשויה, במקרה חירום, להידרש לבחור בין סיכון קטן לתאונה גדולה לבין סבירות גבוהה לתאונה קטנה.

חששות אחרים נוגעים לנשק אוטונומי קטלני: האם יש לאסור עליהם? אם כן, כיצד יש להגדיר במדויק "אוטונומיה"? אם לא, כיצד יש לחלק את האחריות על שימוש לרעה או תקלה?

סוגיות נוספות כוללות חששות בנוגע לפרטיות ככל שבינה מלאכותית הופכת ליותר ויותר מסוגלת לפרש מערכי נתונים גדולים של מעקב, וכיצד לנהל בצורה הטובה ביותר את ההשפעה הכלכלית של מקומות עבודה שיאבדו עקב בינה מלאכותית.

### דאגות בטווח הארוך
המסמך מסתיים בהדהוד חששותיו של מנהל המחקר של מיקרוסופט, אריק הורביץ, כי:

כלים קיימים שנועדו לרתום בינה מלאכותית, כגון למידה באמצעות חיזוקים ופונקציות תועלת פשוטות, אינם מספיקים כדי לפתור זאת; לכן נדרש מחקר נוסף כדי למצוא ולתקף פתרון חזק ל"בעיית השליטה".

## חותמים
בין החותמים נמנים הפיזיקאי סטיבן הוקינג, היזם אילון מאסק, היזמים שמאחורי DeepMind ו-Vicarious, מנהל המחקר של גוגל פיטר נורוויג, פרופסור סטיוארט ראסל מאוניברסיטת ברקלי ומומחי בינה מלאכותית אחרים, יצרני רובוטים, מתכנתים ואתיקנים. מספר החותמים המקורי היה למעלה מ-150 איש, ביניהם אנשי אקדמיה מקיימברידג', אוקספורד, סטנפורד, הרווארד ו-MIT.

## קישורים חיצוניים
*Research Priorities for Robust and Beneficial Artificial Intelligence: An Open Letter

## הערות שוליים

קטגוריה:בינה מלאכותית
קטגוריה:מכתבים