אתיקה של מכונות

**אתיקה של מכונות** (או **מוסר מכונה**, **מוסר חישובי** או **אתיקה חישובית**) היא חלק מהאתיקה של בינה מלאכותית העוסקת בהוספת או הבטחת התנהגויות מוסריות של מכונות מעשה ידי אדם המשתמשות בבינה מלאכותית, הידועות גם בתור סוכנים אינטליגנטיים מלאכותיים. אתיקה של מכונות שונה מתחומים אתיים אחרים הקשורים להנדסה וטכנולוגיה. יש להבחין בין נושא זה לבין , וגם בינו לבין , העוסקת בהשפעות החברתיות הגדולות יותר של הטכנולוגיה.

## הגדרות
, אחד התאורטיקנים החלוצים בתחום , מגדיר ארבעה סוגים של רובוטים אתיים. כחוקר אשר חקר בהרחבה את , פילוסופיה של הנפש, פילוסופיה של המדע ולוגיקה, מור מגדיר ארבעה סוגים של מכונות מבחינה אתית: סוכנים בעלי השפעה אתית, סוכנים אתיים עקיפים, סוכנים אתיים מפורשים או סוכנים אתיים מלאים. מכונה יכולה להיות יותר מסוג אחד של סוכן.
* **סוכנים בעלי השפעה אתית**: אלו הן מערכות מכונות שנושאות השפעה אתית בין אם נועדו לכך או לא. יחד עם זאת, יש להם פוטנציאל לפעול בצורה לא אתית. מור נותן דוגמה היפותטית, "סוכן גודמן", על שמו של הפילוסוף נלסון גודמן. הסוכן של גודמן משווה תאריכים אבל יש לו את באג המילניום. הבאג הזה נבע מתכנתים שייצגו תאריכים עם שתי הספרות האחרונות בלבד של השנה, כך שכל תאריכים אחרי שנת 2000 יטופלו באופן מטעה כמוקדמים יותר מאלו של סוף המאה ה-20. סוכן גודמן היה אפוא סוכן השפעה אתית לפני 2000 וסוכן השפעה לא אתי לאחר מכן.
* **סוכנים אתיים עקיפים**: לצורך שיקול של בטיחות האדם, סוכנים אלה מתוכנתים להיות בתקן אל כשל או שהם כך כתוצאה של אופן המבנה שלהם. הם לא לגמרי אתיים באופיים, אלא מתוכנתים להימנע מתוצאות לא אתיות.
* **סוכנים אתיים מפורשים**: אלו הן מכונות המסוגלות לעבד תרחישים ולפעול לפי החלטות אתיות, מכונות שיש להן אלגוריתמים לפעול בצורה אתית.
* **סוכנים אתיים מלאים**: אלה דומים לסוכנים אתיים מפורשים ביכולת לקבל החלטות אתיות. אבל יש להם גם תכונות מטאפיזיות אנושיות (כלומר, יש להם רצון חופשי, תודעה והתכוונות).

## היסטוריה
לפני המאה ה-21 האתיקה של המכונות הייתה בעיקר נושא למדע בדיוני, בעיקר בשל מגבלות המחשוב והבינה המלאכותית (AI). למרות שההגדרה של "אתיקה של מכונות" התפתחה מאז, המונח נטבע על ידי מיטשל ולדרופ במאמר "שאלה של אחריות" במגזין של AAAI משנת 1987:דבר אחד שעולה מהדיון לעיל הוא שמכונות אינטליגנטיות יגלמו ערכים, הנחות ומטרות, בין אם המתכנתים שלהם מתכוונים לכך במודע או לא. לפיכך, ככל שמחשבים ורובוטים הופכים ליותר ויותר אינטליגנטים, כך יגדל גם ההכרח שנחשוב היטב ובכוונת מכוון מה הם אותם ערכים מובנים. אולי מה שאנחנו צריכים מעשית היא תיאוריה ופרקטיקה של אתיקה של מכונות, ברוח שלושת חוקי הרובוטיקה של אסימוב.בשנת 2004, המאמר "לקראת אתיקה של מכונה" הוצג בסדנת AAAI  בנושא "ארגון סוכנים: תיאוריה ופרקטיקה". בסדנה הונחו יסודות תאורטיים לאתיקה של מכונות.

בסימפוזיון בסתיו 2005 של AAAI בנושא אתיקה של מכונות, חוקרים נפגשו לראשונה כדי לשקול את יישום המימד האתי במערכות אוטונומיות. ניתן למצוא מגוון נקודות מבט על התחום המתהווה הזה במהדורה של Machine Ethics שהוצאה בעקבות אותו סימפוזיון.

בשנת 2007, פרסם מגזין AI את "אתיקה של מכונה: יצירת סוכן אינטליגנטי אתי", מאמר שדן בחשיבותה של אתיקה של מכונות, בצורך במכונות המייצגות במפורש עקרונות אתיים, ובאתגרים העומדים בפני מי שעוסקים באתיקה של מכונות. המאמר גם הוכיח שאפשר לגרום, לפחות באופן מוגבל, שמכונה תמצה עיקרון אתי מתוך דוגמאות של שיפוטים אתיים ותשתמש אחר כך בעיקרון זה כדי להנחות את התנהגותה.

בשנת 2009, פרסמה הוצאת אוניברסיטת אוקספורד את "מכונות מוסריות, ללמד רובוטים להבחין בין טוב ורע" שאותו פרסמה בתור "הספר הראשון שבוחן את האתגר של בניית סוכנים מוסריים מלאכותיים, תוך בדיקה מעמיקה של טבעה של קבלת החלטות אנושית ושל האתיקה". הספר ציטט 450 מקורות שכ-100 מתוכם התייחסו לשאלות מרכזיות של אתיקה של מכונות.

בשנת 2011 פרסמה הוצאת אוניברסיטת קיימברידג' אוסף של מאמרים על אתיקה של מכונות בעריכת מייקל וסוזן לי אנדרסון,שגם ערכה גיליון מיוחד של IEEE Intelligent Systems בנושא בשנת 2006. האסופה מתמקדת באתגרים של הוספת עקרונות אתיים למכונות.

בשנת 2014, הודיע  כי יחלק מענקים של 7.5 מיליון דולר במשך חמש שנים לחוקרים באוניברסיטאות כדי לחקור שאלות של אתיקה של מכונות כפי שמיושמות לרובוטים אוטונומיים. באותה שנה הגיע למקום ה-17 ברשימת ספרי המדע הנמכרים ביותר של הניו יורק טיימס ספרו של  , שהתייחס לאתיקה של מכונות כ"בעיה החשובה ביותר שהאנושות התמודדה אי פעם"

בשנת 2016 פרסם הפרלמנט האירופי מאמר כדי לעודד את הנציבות להתייחס למעמדם המשפטי של רובוטים. המאמר כולל סעיפים העוסקים באחריותם המשפטית של רובוטים, בהם נטען כי אחריותם צריכה להיות יחסית לרמת האוטונומיה שלהם. המאמר דן גם בהיקף המשרות שבהן יכול רובוט בעל בינה מלאכותית להחליף אדם.

בשנת 2019 פרסם כתב העת Proceedings of the IEEE גיליון מיוחד בנושא אתיקה של מכונה: "העיצוב והפיקוח על מערכות בינה מלאכותיות אתיות ומערכות אוטונומיות". הגיליון כלל מאמרים המתארים הן סוכנים אתיים עקיפים, שבהם מכונות מתוכננות למנוע תוצאות לא אתיות והן סוכנים אתיים מפורשים, או מכונות שבהן מתוכנתת אתיקה או שלומדות אתיקה ומחליטות על פעולתן על סמך אתיקה זו.

## תחומי מיקוד
### בעיית בקרת AI
חוקרים, כמו בוסטרום וחוקר הבינה המלאכותית סטיוארט ראסל, טוענים שאם הבינה המלאכותית תעלה על האנושות באינטליגנציה הכללית ותהפוך ל"", תבונת העל החדשה הזו עלולה להפוך לחזקה וקשה לשליטה: בדיוק כפי שגורלה של גורילת ההרים תלוי רצון הטוב של האדם, כך ייתכן שגורל האנושות יהיה תלוי בפעולות של תבונת העל העתידית. בספריהם, Superintelligence ו-Human Compatible, טוענים בוסטרום וראסל שלמרות שעתיד הבינה המלאכותית מאד לא ודאי, הסיכון לאנושות גדול דיו כדי לפעול באופן משמעותי כבר היום.

הנה : כיצד לבנות סוכן אינטליגנטי שיסייע ליוצריו מבלי לבנות בשוגג תבונת על שתפגע בהם. הסכנה של אי תכנון שליטה נכון כבר "בפעם הראשונה" היא שתבונת על תוכל לתפוס שליטה על סביבתה ולמנוע מאיתנו לכבות אותה. אסטרטגיות בקרת AI פוטנציאליות כוללות "בקרת יכולת" (הגבלת יכולתה של הבינה המלאכותית להשפיע על העולם) ו"בקרת מוטיבציה" (אחת הדרכים לבנות בינה מלאכותית שמטרותיה  ערכים אנושיים או אופטימליים). מספר ארגונים חוקרים את בעיית בקרת הבינה המלאכותית, כולל , , ה ומכון .

### אלגוריתמים והדרכה
פרדיגמות של בינה מלאכותית נדונו במיוחד בעניין היעילות וההטיות שלהן. בוסטרום ואליעזר יודקובסקי טענו ליתרון עצי החלטה (כגון ID3) על פני רשתות עצביות ואלגוריתמים גנטיים מכיוון שעצי החלטה מצייתים לנורמות חברתיות מודרניות של שקיפות וניבוי (לדוגמה, החלטה לפי תקדים - stare decisis). לעומת זאת, כריס סנטוס-לנג תומך ברשתות עצביות ואלגוריתמים גנטיים בטענה שיש לאפשר לנורמות בכל תקופה להשתנות וכי הכישלון הטבעי בעמידה מלאה בנורמות המסוימות הוא חיוני לכך שבני האדם פגיעים פחות ממכונות להאקרים פליליים וזאת מאחר שמכונות פועלות לפי אוסף חוקים קשוח ואינן מסוגלות, בניגוד לבני אדם, לעלות רמה ולעשות הערכה כוללת של המצב.

בשנת 2009, בניסוי במעבדה למערכות חכמות של בית הספר הפוליטכני הפדרלי של לוזאן, רובוטי AI תוכנתו לשתף פעולה זה עם זה והוטל עליהם לחפש משאב מועיל תוך הימנעות ממשאב מזיק. במהלך הניסוי קובצו הרובוטים לשבטים, והקוד הגנטי הדיגיטלי של החברים המצליחים שימש לבניית הדור הבא, בסוג של אלגוריתם המכונה אלגוריתם גנטי. לאחר 50 דורות רצופים ב-AI, חברי שבט אחד גילו כיצד להבחין בין המשאב המועיל למשאב המזיק. לאחר מכן, הרובוטים למדו לשקר זה לזה בניסיון להשתלט על המשאב המועיל ולהסתירו מרובוטים אחרים. באותו ניסוי, אותם רובוטים גם למדו להתנהג בחוסר אנוכיות וסימנו סכנה לרובוטים אחרים, ומתו כדי להציל רובוטים אחרים. מומחים לאתיקת מכונות הטילו ספק בהשלכות של הניסוי. בניסוי, מטרות הרובוטים תוכנתו להיות "סופיות", אך מניעים אנושיים דורשים בדרך כלל למידה בלתי נגמרת.

### מערכות נשק אוטונומיות

בשנת 2009, אקדמאים ומומחים טכניים דנו בכנס בהשפעה הפוטנציאלית של רובוטים ומחשבים שיהיו עצמאיים דיים כדי לקבל החלטות משלהם. הם דנו באיזו מידה מחשבים ורובוטים יכולים לרכוש אוטונומיה ולהשתמש בה כדי להוות איום או סכנה. הם ציינו שמכונות מסוימות רכשו צורות שונות של אוטונומיה למחצה, כולל היכולת למצוא בעצמם מקורות כוח לטעינה עצמית ולבחור מטרות לתקיפה בנשק. הם גם ציינו כי כמה וירוסי מחשב יכולים להתחמק מחיסול והשיגו "אינטליגנציה של מקקים". הם ציינו שמודעות עצמית כפי שמתוארת במדע בדיוני היא כנראה לא סבירה, אבל יש סכנות ומלכודות פוטנציאליות אחרות.

### שילוב של אינטליגנציות מלאכותיות כלליות עם החברה האנושית
ממוזער| בבית חולים מול דלתות המעלית המצהירות ש-"לרובוט יש עדיפות", מצב שעלול להיחשב כ כלפי בני אדם
נערכה עבודה מקדימה לגבי שיטות לשילוב אינטליגנציות מלאכותיות כלליות (סוכנים אתיים מלאים כהגדרתם לעיל) עם מסגרות משפטיות וחברתיות קיימות. הגישות התמקדו במצבם המשפטי ובזכויותיהם.

### הטיה של למידת מכונה
אלגוריתמי ביג דאטה ולמידת מכונה הפכו פופולריים בתעשיות רבות, כולל פרסום מקוון, דירוגי אשראי ומתן פיסקי דין פליליים, כשהם מבטיחים לספק תוצאות אובייקטיביות יותר שנובעות מנתונים, אך התבררו כמהווים דרך פוטנציאלית להנצחת אי-שוויון חברתי ואפליה. מחקר משנת 2015 מצא שלנשים יש סיכוי נמוך יותר לקבל מודעות דרושים בעלות הכנסה גבוהה על מגברים מ-אד-סנס של גוגל. מחקר אחר מצא ששירות המשלוחים לאותו יום של אמזון לא היה זמין בכוונה בשכונות שחורות. גם גוגל וגם אמזון לא הצליחו לבודד סיבה אחת לתוצאות הללו וטענו שהן נובעות מאלגוריתמי הקופסה השחורה שמשתמשים בהם.

מערכת המשפט בארצות הברית החלה להשתמש ב בעת קבלת החלטות הקשורות לשחרור אנשים בערבות וגזרי דין במאמץ לשפר הגינות ולהפחית את . כלים אלה מנתחים את ההיסטוריה הפלילית של הנאשם, בין היתר. במחקר של 7,000 אנשים שנעצרו במחוז ברוורד בפלורידה, רק 20% מהאנשים שנחזו באמצעות מערכת הערכת הסיכונים של המחוז כבעלי הסתברות לפשוע אכן פשעו. דו"ח של פרופבליקה משנת 2016 ניתח את ציוני הסיכון למועדות שחושבו באחד הכלים הנפוצים ביותר - מערכת COMPAS של Northpointe - ובחן את התוצאות לאורך שנתיים. הדו"ח מצא כי רק 61% מאלה שנחשבו בסיכון גבוה לביצוע פשע אכן ביצעו פשעים נוספים במהלך אותה תקופה. הדו"ח גם ציין כי לנאשמים אפרו-אמריקאים יש סיכוי גבוה בהרבה להיחשב כסיכון גבוה לעומת עמיתיהם הלבנים. נטען כי הערכות סיכונים כאלה לצורך מעצר לפני משפט מפרות את זכויות ה על בסיס גזע. הגורמים לכך כוללים כוונה מפלה אפשרית של האלגוריתם עצמו לפי תיאוריה על היכולת המשפטית החלקית של הבינה המלאכותית, בין היתר מפני שהנתונים שעליהם מאמנים את הבינה המלאכותית כבר מכילים הפליה וכך אפילו יכול להיווצר מעגל משוב.

בשנת 2016 פרסמה קבוצת העבודה ביג דאטה של ממשל אובמה - אשר מפקחת על המסגרות הרגולטוריות שונות של הביג דאטה - דוחות המזהירים מפני "הפוטנציאל של קידוד של אפליה בהחלטות אוטומטיות" וקראו ל"הזדמנות שווה בתכנון" עבור יישומים כגון ניקוד אשראי. הדוחות מעודדים שיח בין קובעי מדיניות, אזרחים ואקדמאים כאחד, אך מכירים בכך שעדיין לא קיים פתרון למניעת קידוד של הטיה ואפליה במערכות אלגוריתמיות.

## מסגרות ופרקטיקות אתיות
### פרקטיקות
במרץ 2018, במאמץ להתמודד עם החששות הגוברים מההשפעה של למידת מכונה על זכויות האדם, הפורום הכלכלי העולמי ו פרסמו נייר לבן עם המלצות מפורטות כיצד ניתן למנוע תוצאות מפלות בלמידת מכונה. הפורום הכלכלי העולמי פרסם ארבע המלצות המבוססות על "העקרונות המנחים של האו"ם לזכויות אדם" כדי לטפל ולמנוע תוצאות מפלות בלמידת מכונה:

# **הכללה פעילה**: פיתוח ועיצוב של יישומי למידת מכונה חייבים לחפש באופן פעיל גיוון של קלטים, במיוחד של הנורמות והערכים של האוכלוסיות המושפעות מהפלט של מערכות בינה מלאכותית.
# ****: אנשים המעורבים בהמשגה, פיתוח והטמעת מערכות למידת מכונה צריכים לשקול איזו הגדרה של הגינות תואמת בצורה הטובה ביותר את ההקשר והיישום שלהן, ולתעדף אותה בארכיטקטורה ובמדדי ההערכה של מערכת למידת המכונה.
# **הזכות להבנה**: יש לחשוף את מעורבותן של מערכות למידת מכונה בקבלת החלטות המשפיעות על זכויות הפרט. המערכות חייבות להיות מסוגלות להסביר את קבלת ההחלטות שלהן בצורה מובנת למשתמשים והסבר זה בר בדיקה על ידי רשות אנושית מוסמכת. במידה שזה בלתי אפשרי והזכויות עומדות על כף המאזניים, האחראים לתכנון, פריסה ורגולציה של מערכת למידת המכונה חייבים לשקול את השימוש בה.
# **גישה לתיקון**: מובילים, מעצבים ומפתחים של מערכות למידת מכונה אחראים לזהות את ההשפעות השליליות הפוטנציאליות של המערכות שלהם על זכויות האדם. עליהם לעצב דרכים גלויות לתיקון עבור אלה שנפגעו מהשפעות שונות, ולבסס תהליכים לתיקון בהקדם של כל תוצר מפלה.
בינואר 2020,  באוניברסיטת הרווארד פרסם מטה-מחקר על 36 מערכות של עקרונות בינה מלאכותית בולטות וזיהה שמונה נושאים מרכזיים: פרטיות, אחריות, בטיחות ואבטחה, שקיפות והסברתיות, הגינות ואי-אפליה, שליטה אנושית בטכנולוגיה, אחריות מקצועית וקידום ערכים אנושיים. חוקרים מהמכון הטכנולוגי הפדרלי של שווייץ בציריך ערכו מטה-מחקר דומה בשנת 2019.

### גישות
היו מספר ניסיונות להפוך את האתיקה לניתנת למחשוב, או לפחות להפוך אותה ל. שלושת חוקי הרובוטיקה של אייזק אסימוב אינם נחשבים בדרך כלל כמתאימים לסוכן מלאכותי מוסרי, אך נחקר האם ניתן להשתמש בציווי הקטגורי של קאנט. צוין שהערך האנושי הוא, בהיבטים מסוימים, מורכב מאוד. דרך להתגבר באופן מפורש על הקושי הזה היא לקבל ערכים אנושיים ישירות מאנשים באמצעות מנגנון כלשהו, למשל על ידי לימודם.

גישה נוספת היא לבסס שיקולים אתיים עדכניים על מצבים דומים קודמים. זו נקראת גישה קזואיסטית, וניתן ליישם אותה באמצעות מחקר באינטרנט. הקונצנזוס ממיליון החלטות עבר יוביל להחלטה חדשה שתלויה בדמוקרטיה. ברוס מ. מקלארן  בנה מודל חישובי מוקדם (אמצע שנות ה-90) של קזואיסטיקה באמצעות תוכנית בשם SIROCCO שנבנתה עם בינה מלאכותית וטכניקות חשיבה מבוססות-מקרה, המאחזרת ומנתחת דילמות אתיות. גישה זו עלולה להוביל להחלטות המשקפות את ההטיות וההתנהגות הלא אתית של החברה. את ההשפעות השליליות של גישה זו ניתן לראות ב-טאי של מיקרוסופט, פטפטן שלמד לחזור על ציוצים גזעניים וטעונים מינית.

ניסוי מחשבתי אחר מתמקד ב"שד גולם" בעל כוחות בלתי מוגבלים המציג את עצמו בפני הקורא. השד הזה מצהיר שהוא יחזור בעוד 50 שנה ודורש לספק לו מערכת מוסר מוגדרת שלפיה הוא יתחיל לפעול מיד. מטרת הניסוי היא לעורר שיח על הדרך הטובה ביותר להתמודד עם הגדרת מערכות אתיקה שמחשבים עשויים להבין.

## בסיפורת
ספרות המדע הבדיוני, סרטים ורומנים שיחקו עם הרעיון של רובוטים ומכונות בעלי מודעות.

ב-צ'אפי (סרט) של ניל בלומקאמפ (2015) מוצגת יכולת להעביר את התודעה למחשב. בסרטו של אלכס גרלנד מ-2014 אקס מכינה אנדרואיד בעל בינה מלאכותית עובר וריאציה של מבחן טיורינג. בסרטים כגון שליחות קטלנית (1984) ומטריקס (1999) מכונות משתלטות על אדוניהן האנושיים.

אסימוב שקל את הנושא בשנות החמישים ב-"אני, רובוט". עורכו ג'ון וו. קמפבל ג'וניור, התעקש שאסימוב יציג את שלושת חוקי הרובוטיקה שנועדו לשלוט במערכות אינטליגנטיות באופן מלאכותי. רוב עבודתו של אסימוב באותו הזמן עסקה בבדיקה של הגבולות של שלושת החוקים במטרה לזהות היכן הם נשברים או יוצרים התנהגות פרדוקסלית או בלתי צפויה. עבודתו מעידה על כך ששום מערכת של חוקים קבועים לא יכולה לחזות מספיק את כל הנסיבות האפשריות. ברומן של פיליפ ק. דיק משנת 1968 האם אנדרואידים חולמים על כבשים חשמליות? חוקר המחבר את השאלה מה זה אומר להיות אנושי. בתרחיש הפוסט-אפוקליפטי שלו, הוא מטיל ספק אם אמפתיה היא לגמרה מאפיין אנושי בלעדי. הספר הוא הבסיס לסרט המדע הבדיוני מ-1982 "בלייד ראנר".

## תחומים משיקים
הנושק של אתיקת מכונות משיק לתחומים רבים כגון: מחשוב אפקטיבי, , ביואתיקה, , אתיקה של בינה מלאכותית, , פילוסופיית הנפש, בטיחות בינה מלאכותית
## ראו גם
* בינה מלאכותית
* בינה מלאכותית בסיפורת
* מכונית גוגל
* רובוט צבאי
* פרויקט ווטסון לאוטומציה של תמיכת החלטות רפואיות

## לקריאה נוספת
**אתיקה של רובוטים**

* Lin, Patrick/Abney, Keith/Bekey, George A. (December, 2011). *Robot Ethics: The Ethical and Social Implications of Robotics*.
* Tzafestas, Spyros G. (2016). Roboethics A Navigating Overview. Berlin: Springer. 

**[[בינה מלאכותית ידידותית]]**

* Tegmark, Max (2014). "Life, Our Universe and Everything". *Our Mathematical Universe: My Quest for the Ultimate Nature of Reality * (First ed.). Knopf Doubleday Publishing. 
* Russell, Stuart; Norvig, Peter (2009). Artificial Intelligence: A Modern Approach . Prentice Hall. 
* Wallach, Wendell; Allen, Colin (2009). *Moral Machines: Teaching Robots Right from Wrong*. Oxford University Press, Inc. 
* Kevin LaGrandeur (2011). "The Persistent Peril of the Artificial Slave"
* Isaac Asimov (1964). "". *The Rest of the Robots*. Doubleday. 

## קישורים חיצוניים
* IEEE Technical Committee on Roboethics
**השתלטות בינה מלאכותית**

* *[https://www.livescience.com/49419-artificial-intelligence-dangers-letter.html Don't Let Artificial Intelligence Take Over, Top Scientists Warn]*. *LiveScience*. Stephen Hawking, Elon Musk and dozens of other top scientists and technology leaders have signed a letter warning of the potential dangers of developing artificial intelligence (AI).
* The Real Threat of Artificial Intelligence". *The New York Times*.These tools can outperform human beings at a given task. This kind of A.I. is spreading to thousands of domains, and as it does, it will eliminate many jobs.
* Microsoft's Bill Gates insists AI is a threat. *BBC News*


## הערות שוליים

קטגוריה:בינה מלאכותית
קטגוריה:טכנולוגיה: היבטים משפטיים ואתיים