סכנה קיומית מבינה מלאכותית כללית

סכנה קיומית מבינה מלאכותית כללית היא המחשבה שהתקדמות ניכרת בבינה מלאכותית כללית (AGI) עלולה לגרום להכחדה של בני האדם או לאסון עולמי אחר.

אסכולת הסיכון הקיומי ("x-risk") טוענת שהמין האנושי שולט כיום במינים אחרים בזכות העובדה שלמוח האדם יש יכולות ייחודיות שאין אצל בעלי חיים אחרים. ולכן, אם הבינה המלאכותית תהפוך ליותר אינטליגנטית מבני האדם, זה עלול להפוך לקשה עד בלתי אפשרי עבור בני אדם לשלוט בה. כשם שגורלה של גורילת ההרים תלוי ברצון הטוב האנושי, כך עשוי גורלה של האנושות להיות תלוי בפעולות של אינטליגנציית-על עתידית.

ההסתברות של תרחיש מסוג זה נתונה לוויכוח נרחב, והיא תלויה בחלקה בתרחישים שונים להתקדמות עתידית במדעי המחשב. דאגות לגבי אינטליגנציית-על הושמעו על ידי מדעני מחשבים ומנכ"לים טכנולוגיים מובילים דוגמת ג'פרי הינטון, יהושע בנג'יו, אלן טיורינג, אילון מאסק, וסם אלטמן.

בשנת 2022, סקר שנערך בקרב חוקרי בינה מלאכותית מצא שחלק גדול מהחוקרים מאמינים שיש סיכוי של 10 אחוזים או יותר שחוסר היכולת שלנו לשלוט בבינה מלאכותית יגרום לאסון קיומי.

שני מקורות לדאגה הם הבעיות של שליטה בבינה המלאכותית והיושרה שלה (הערכים על בסיסם היא עובדת).

חוקרים רבים מאמינים כי אינטליגנציית-על תתנגד לניסיונות לכבות אותה או לשנות את מטרותיה (כיוון שאירוע כזה ימנע ממנה להשיג את מטרותיה הנוכחיות) וכי יהיה קשה מאוד ליישר את אינטליגנציית העל עם מלוא ערכי האנושות. לעומת זאת, ישנם מדענים שהטילו בכך ספק כמו מדען המחשב יאן לקון שטוען שלמכונות סופר אינטליגנטיות לא יהיה רצון לשימור עצמי.

מקור שלישי לדאגה הוא ש"סינגולריות טכנולוגית" פתאומית עלולה להפתיע את הגזע האנושי.

לשם המחשה, אם הדור הראשון של תוכנת מחשב שמסוגלת להתאים באופן נרחב את האפקטיביות של חוקר בינה מלאכותית יכול לשכתב את האלגוריתמים שלו ולהכפיל את המהירות או היכולות שלו בתוך שישה חודשים, אזי פיתוח תוכנת הדור השני צפויה להימשך שלושה חודשים. בתרחיש זה הזמן של כל דור ממשיך להצטמצם, והמערכת עוברת מספר חסר תקדים של דורות של שיפור במרווח זמן קצר, תוך קפיצה מביצועים תת-אנושיים בתחומים רבים לביצועים על-אנושיים כמעט בכל התחומים. מבחינה אמפירית, דוגמאות כמו AlphaZero בתחום של Go מראות שמערכות בינה מלאכותית יכולות לפעמים להתקדם מיכולת צרה ברמת האדם ליכולת על-אנושית במהירות רבה.

היסטוריה 
אחד המחברים המוקדמים ביותר שהביע דאגה רצינית שמכונות מתקדמות ביותר עלולות להוות סיכונים קיומיים לאנושות היה הסופר סמואל באטלר, שכתב את הדברים הבאים במאמרו "דרווין בין המכונות" משנת 1863:
התוצאה היא פשוט שאלה של זמן, אבל יבוא הזמן שבו המכונות יחזיקו את העליונות האמיתית על העולם ותושביו, זה מה שאף אדם בעל מוח פילוסופי אמיתי לא יכול להטיל ספק לרגע.
בשנת 1951, מדען המחשב אלן טיורינג כתב מאמר בשם "Intelligent Machinery, A Heretical Theory", בו הציע כי אינטליגנציות כלליות מלאכותיות ככל הנראה "ישתלטו" על העולם ככל שהן יהיו אינטליגנטיות יותר מבני אדם:
"הבה נניח כעת, לצורך הטיעון, שמכונות [תבוניות] הן אפשרות אמיתית, ונבחן את ההשלכות של בנייתן... לא תהיה שאלה שהמכונות ימותו, והן יוכלו לשוחח זה עם זה כדי לחדד את שכלם. לכן בשלב מסוים עלינו לצפות שהמכונות ישתלטו, באופן דומה למוזכר ב"אריון" של סמואל באטלר."
בשנת 1965, IJ Good הקים את הרעיון הידוע כיום כ"סינגולריות טכנולוגית"; הוא גם הצהיר שהסיכונים לא מוערכים:
"בואו נגדיר מכונה אולטרה-אינטליגנטית כמכונה שיכולה לעלות בהרבה על כל הפעילויות האינטלקטואליות של כל אדם, חכם ככל שיהיה. מכיוון שתכנון מכונות הוא אחת מהפעילויות האינטלקטואליות הללו, מכונה אינטליגנטית במיוחד יכולה לתכנן מכונות טובות עוד יותר; אז יהיה ללא ספק 'סינגולריות טכנולוגית', והאינטליגנציה של האדם תישאר הרחק מאחור. לפיכך, המכונה האולטרה-אינטליגנטית הראשונה היא ההמצאה האחרונה שהאדם צריך לעשות אי פעם, בתנאי שהמכונה צייתנית מספיק כדי לומר לנו איך לשמור עליה בשליטה. זה מוזר שנקודה זו מובאת לעיתים רחוקות כל כך מחוץ למדע בדיוני. לפעמים כדאי להתייחס למדע בדיוני ברצינות.

הצהרות מזדמנות של חוקרים כמו מרווין מינסקי ו-IJ Good עצמו הביעו חששות פילוסופיים כי אינטליגנציית-על יכולה לתפוס שליטה, אך לא הכילו קריאה לפעולה. בשנת 2000, מדען המחשב ומייסד סאן ביל ג'וי כתב חיבור רב השפעה, " למה העתיד לא צריך אותנו", שזיהה רובוטים סופר-חכמים כסכנת היי-טק להישרדות האדם, לצד ננוטכנולוגיה.

בשנת 2009, מומחים השתתפו בכנס פרטי שאירח האגודה לקידום הבינה המלאכותית (AAAI) כדי לדון בשאלה האם מחשבים ורובוטים יוכלו לרכוש כל סוג של אוטונומיה, ועד כמה יכולות אלו להוות איום או סכנה. הם ציינו שחלק מהרובוטים רכשו צורות שונות של חצי אוטונומיה, כולל היכולת למצוא מקורות כוח בעצמם ויכולת לבחור באופן עצמאי מטרות לתקוף עם נשק. הם גם ציינו כי כמה וירוסי מחשב יכולים להתחמק מהחיסול והשיגו "אינטליגנציה של מקקים". הם הגיעו למסקנה שמודעות עצמית כפי שמתוארת במדע בדיוני היא כנראה לא סבירה, אבל היו עוד סכנות ומלכודות פוטנציאליות. "הניו יורק טיימס" סיכם את השקפת הוועידה כ"אנחנו רחוקים מהאל (Hal), המחשב שהשתלט על החללית ב-2001: אודיסיאה בחלל".

ניק בוסטרום פרסם את "Superintelligence" ב-2014, שהציג את טיעוניו לפיהם אינטליגנציית-על מהווה איום קיומי. עד 2015, אנשי ציבור כמו הפיזיקאים סטיבן הוקינג וחתן פרס נובל פרנק וילצ'ק, מדעני המחשב סטיוארט ג'יי ראסל ורומן ימפולסקי, והיזמים אילון מאסק וביל גייטס הביעו דאגה מהסיכונים של אינטליגנציית-על. באפריל 2016, "Nature" הזהיר: "מכונות ורובוטים שעולים על בני אדם בכל v,junho יכולים להשתפר בעצמם מעבר לשליטתנו – ואולי האינטרסים שלהם לא יתאימו לאינטרסים שלנו". בשנת 2020, בריאן כריסטיאן פרסם את "The Alignment Problem", אשר פירטה את ההיסטוריה של ההתקדמות בערכי בינה מלאכותית עד אותה תקופה.

במרץ 2023, דמויות מפתח בבינה מלאכותית, כמו אילון מאסק, חתמו על מכתב ממכון עתיד החיים הקוראות להפסיק את ההכשרה המתקדמת בבינה מלאכותית עד שניתן יהיה להסדיר אותה כראוי. במאי 2023, המרכז לבטיחות בינה מלאכותית פרסם הצהרה חתומה על ידי מומחים רבים לבטיחות בינה מלאכותית ולסיכון הקיומי של בינה מלאכותית, שבה נכתב: "הפחתת סכנת ההכחדה מבינה מלאכותית צריכה להיות בראש סדר העדיפויות העולמי לצד סיכונים אחרים בקנה מידה חברתי כגון מגיפות ומלחמה גרעינית."

טיעון כללי

שלושת הקשיים 
בספר "בינה מלאכותית: גישה מודרנית", ספר לימוד לתואר ראשון בבינה מלאכותית, נכתב כי אינטליגנציית-על "עשויה להביא לקץ המין האנושי". הוא קובע: "כמעט לכל טכנולוגיה יש פוטנציאל לגרום לנזק בידיים הלא נכונות, אבל עם [אינטליגנציית-על] יש לנו את הבעיה החדשה שהידיים הלא נכונות עשויות להיות שייכות לטכנולוגיה עצמה". גם אם למעצבי המערכת יש כוונות טובות, שני קשיים משותפים גם למערכות מחשב בינה מלאכותית וגם למערכות שאינן בינה מלאכותית:
 הטמעת המערכת עשויה להכיל באגים שלא הבחינו בהם בתחילה שיובילו לתוצאות קטסטרופליות. דוגמה למקרים כאלו הביאו מתיקון באגים בחלל: למרות הידיעה שקשה לתקן באגים חלל לאחר השיגור, מהנדסים היסטורית לא הצליחו למנוע את התרחשות באגים.
 לא משנה כמה זמן מושקע בתכנון טרום-פריסה, בסופו של דבר כמעט תמיד יש מצב של תוצאה לא מכוונת בפעם הראשונה שהיא נתקלת בתרחיש חדש. לדוגמה, טאי של מיקרוסופט התנהג בצורה לא פוגענית במהלך בדיקות טרום-פריסה, אך בתוך זמן קצר החל להתנהג בפוגענות כאשר הוא יצר אינטראקציה עם משתמשים אמיתיים.

מערכות בינה מלאכותית מוסיפות באופן ייחודי בעיה שלישית: שאפילו בהינתן דרישות "נכונות", הטמעה ללא באגים והתנהגות ראשונית טובה, יכולת הלמידה הדינמית של מערכות הבינה המלאכותית עשויות לגרום לה להתפתח לכדי מערכת עם התנהגות לא מכוונת, אפילו בלי תרחישים חיצוניים ובלתי צפויים. בינה מלאכותית עשויה לשבש ניסיון לעצב דור חדש של עצמה וליצור בטעות או בכוונה בינה מלאכותית חדשה יותר, חזקה יותר, שאינה שומרת עוד על ערכי המוסר התואמים לאדם שתוכנתו מראש ב-AI המקורי. כדי שבינה מלאכותית המשתפרת מעצמה תהיה בטוחה לחלוטין, היא לא רק תצטרך להיות נטולת באגים, אלא היא תצטרך להיות מסוגלת לעצב מערכות עוקבות שהן גם נטולות באגים.

כל שלושת הקשיים הללו הופכים לקטסטרופות ולא למטרדים בכל תרחיש שבו אינטליגנציית-העל תעריך שבני אדם ינסו לכבות אותו ותנסה למנוע ניסיונות כאלה לפעמים במחירים כבדים: תרחיש זה קיבל את השם "תפנית בוגדנית".

המכתב הפתוח לשנת 2015 על בינה מלאכותית  ציין את ההתקדמות הגדולה בתחום הבינה המלאכותית ואת הפוטנציאל של בינה מלאכותית להטבות או עלויות אדירות לטווח ארוך:
"ההתקדמות במחקר בינה מלאכותית ממקדת עם הזמן את המחקר לא רק בהפיכת AI לבעל יותר יכולות, אלא גם במיקסום התועלת החברתית של AI. שיקולים כאלה הניעו את הפאנל הנשיאותי של AAAI 2008-09 בנושא עתיד הבינה המלאכותית ופרויקטים אחרים על השפעות בינה מלאכותית, ומהווים הרחבה משמעותית של תחום הבינה המלאכותית עצמו, שעד כה התמקד בעיקר בטכניקות שהן נייטרליות ביחס למטרה. אנו ממליצים על מחקר מורחב שמטרתו להבטיח שמערכות בינה מלאכותית יותר ויותר יכולות להיות חזקות ומועילות: מערכות הבינה המלאכותית שלנו חייבות לעשות מה שאנחנו רוצים שהן יעשו."
החתומים כללו את נשיא ה-AAAI, תומאס דיטריך, אריק הורביץ, בארט סלמן, פרנצ'סקה רוסי, יאן לקון, ומייסדי Vicarious ו-Google DeepMind.

הטיעון של בוסטרום 
מכונה סופר אינטליגנטית תהיה זרה לבני אדם כמו תהליכי חשיבה אנושיים לג'וקים, טוען בוסטרום. ייתכן שלמכונה כזו אין את טובת האנושות בראש; זה לא מובן מאליו שזה בכלל ידאג לרווחת האדם. אם AI סופר אינטליגנטי אפשרי, ואם ייתכן שמטרותיה של אינטליגנציית-על יתנגשו עם ערכים אנושיים בסיסיים, אז AI מהווה סכנת הכחדה אנושית. "אינטליגנציית-על" (מערכת העולה על היכולות של בני אדם בכל תחומי העניין) יכולה לתמרן בני אדם בכל פעם שמטרותיה מתנגשות עם מטרות אנושיות; לכן, אלא אם אינטליגנציית העל תחליט לאפשר לאנושות להתקיים בדו קיום, אינטליגנציה העל הראשונה שתיווצר תביא ללא מוצא להכחדה אנושית.

סטיבן הוקינג טען שאין חוק פיזיקלי המונע מחלקיקים להיות מאורגנים בדרכים המבצעות חישובים מתקדמים אפילו יותר מהסדרים של חלקיקים במוח האנושי; לכן, אינטליגנציית-על אפשרית פיזית. בנוסף לשיפורים אלגוריתמיים פוטנציאליים על מוח אנושי, מוח דיגיטלי יכול להיות גדול ומהיר יותר בסדרי גודל ממוח אנושי, שגודלו הוגבל על ידי האבולוציה להיות קטן מספיק כדי להיכנס לתעלת לידה. הוקינג מזהיר כי הופעת אינטליגנציית-על עשויה להפתיע את המין האנושי, במיוחד אם מתרחש סינגולריות טכנולוגית.

על פי "אסכולת החשיבה של בוסטרום", תרחיש "סינגולריות טכנולוגית" היפותטי אחד פועל כדלקמן: בינה מלאכותית זוכה ליכולת ברמת מומחה במשימות מפתח מסוימות של הנדסת תוכנה. (ייתכן שהוא חסר בתחילה יכולות אנושיות או על-אנושיות בתחומים אחרים שאינם רלוונטיים ישירות להנדסה.) בשל יכולתו לשפר באופן רקורסיבי את האלגוריתמים של עצמו, הבינה המלאכותית הופכת במהירות לעל-אנושית; כשם שמומחים אנושיים יכולים בסופו של דבר להתגבר באופן יצירתי על "תשואות הולכות ופוחתות" על ידי פריסת יכולות אנושיות שונות לחדשנות, כך גם בינה מלאכותית ברמת מומחה יכולה להשתמש ביכולות בסגנון אנושי או ביכולות הספציפיות לבינה מלאכותית משלה כדי להניע פריצות דרך יצירתיות חדשות. אז ה-AI הוא בעל אינטליגנציה העולה בהרבה על זו של המוחות האנושיים המבריקים והמחוננים ביותר כמעט בכל תחום רלוונטי, כולל יצירתיות מדעית, תכנון אסטרטגי וכישורים חברתיים.

אסכולת ה-x-risk מאמינה שכמעט כל AI, לא משנה היעד המתוכנת שלו, יעדיף באופן רציונלי להיות במצב שבו אף אחד אחר לא יכול לכבות אותו ללא הסכמתו: אינטליגנציית-על תגדיר את השימור העצמי כמטרת משנה ברגע שהיא תבין שהיא לא יכולה להשיג את מטרתה אם היא נסגרת.

כל חמלה כלפי בני אדם ששיתוף הפעולה שלהם אינו נחוץ עוד תהיה נעדרת ב-AI, אלא אם כן מתוכנת מראש. ל-AI סופר-אינטליגנטי לא יהיה דחף טבעי לסייע לבני אדם, מאותה סיבה שלבני אדם אין רצון טבעי לסייע למערכות AI שאינן מועילות להם יותר. (אנלוגיה נוספת שנותנים תומכי תאוריה זו, היא שניתן לראות כיום שלבני אדם יש מעט רצון טבעי לצאת מגדרם כדי לסייע לווירוסים, טרמיטים או אפילו גורילות).

לפיכך, מסכמת אסכולת ה-x risk, סביר להניח שמתישהו סינגולריות טכנולוגית תתפוס את האנושות לא מוכנה, ועלולה לגרום להכחדה של המין האנושי או גורל דומה.

תרחישים אפשריים 
כמה חוקרים הציעו תרחישים היפותטיים כדי להמחיש כמה מהחששות שלהם.

ב-"Superintelligence", ניק בוסטרום מביע דאגה שגם אם ציר הזמן עבור אינטליגנציית-על יתברר כצפוי, ייתכן שהחוקרים לא ינקטו אמצעי זהירות בטיחותיים מספקים, בין השאר משום ש"יכול להיות שכאשר מטומטם, חכם יותר זה בסדר; אך כאשר חכם נהיה חכם יותר. זה מסוכן מאוד". בוסטרום מציע תרחיש שבו, במשך עשרות שנים, הבינה המלאכותית הופכת לאט לאט לחזקה יותר. זה יתחיל עם אירועים קטנים ו"מקריים" כמו תאונות מזדמנות – אוטובוס ללא נהג סוטה לנתיב המתקרב, או מזל"ט צבאי יורה לתוך קהל תמים. פעילים רבים יקראו לפיקוח ורגולציה הדוקים יותר, וחלקם אף יחזו קטסטרופה מתקרבת. אבל ככל שההתפתחות נמשכת, יוכח שהפעילים טועים. ככל שבינה מלאכותית של רכב נהיית חכמה יותר, היא גורמת לפחות תאונות; ככל שרובוטים צבאיים משיגים מיקוד מדויק יותר, הם גורמים פחות נזק אגבי. בהתבסס על הנתונים, חוקרים מסיקים בטעות שככל שה-AI חכם יותר, כך הוא בטוח יותר. "ולכן אנחנו נכנסים באומץ – לתוך הסכינים המסתחררים", כאשר הבינה המלאכותית הסופר אינטליגנטית לוקחת ברגע אחד "תפנית בוגדנית" ומנצלת יתרון אסטרטגי מכריע. זה נגמר.

בספר "Life 3.0" של Max Tegmark משנת 2017, "צוות אומגה" של תאגיד יוצר בינה מלאכותית חזקה במיוחד המסוגלת לשפר באופן מתון את קוד המקור שלו במספר תחומים. לאחר נקודה מסוימת הצוות בוחר להמעיט בפומבי ביכולת ה-AI, על מנת למנוע רגולציה או החרמה של הפרויקט. ליתר ביטחון, הצוות שומר את ה-AI בקופסה שבה הוא לרוב אינו מסוגל לתקשר עם העולם החיצון, ומשתמש בו כדי להרוויח כסף, באמצעים מגוונים. בשלב הבא, הצוות מטיל על הבינה המלאכותית לעצב צבא של עיתונאים ופרשנים אזרחיים בדויים, כדי להשיג השפעה פוליטית כדי להשתמש בו "לטובה" ולמנוע מלחמות. הצוות עומד בפני סיכונים שה-AI יכול לנסות לברוח על ידי הכנסת "דלתות אחוריות" למערכות שהוא מעצב, על ידי מסרים נסתרים בתוכן המיוצר שלו, או על ידי שימוש בהבנה הגוברת של הבינה המלאכותית את ההתנהגות האנושית עד שתשכנע מישהו שישחרר אותה מהקופסה. הצוות גם עומד בפני סיכונים שהחלטתו לאגור את הפרויקט תעכב את הפרויקט מספיק זמן כדי שפרויקט אחר יעקוף אותו.

הפיזיקאי מיצ'יו קאקו, שעוסק בסיכוני הבינה המלאכותית, מציג תוצאה חיובית דטרמיניסטית. ב"הפיזיקה של העתיד" הוא טוען ש"זה ייקח עשורים רבים עד שרובוטים יעלו" במעלה קנה התודעה, ושבינתיים תאגידים כמו הנסון רובוטיקה יצליחו ליצור רובוטים ש"מסוגל לאהוב ולהרוויח מקום במשפחה האנושית המורחבת".

השתלטות בינה מלאכותית 
השתלטות בינה מלאכותית היא תרחיש היפותטי שבו בינה מלאכותית (AI) הופכת לצורת האינטליגנציה הדומיננטית על פני כדור הארץ, כאשר תוכנות מחשב או רובוטים לוקחים למעשה את השליטה על כדור הארץ מהמין האנושי. תרחישים אפשריים כוללים החלפה של כל כוח העבודה האנושי, השתלטות על ידי בינה מלאכותית סופר אינטליגנטית, והרעיון הפופולרי של מרד רובוטים. סיפורים על השתלטות בינה מלאכותית פופולריים מאוד בכל המדע הבדיוני. כמה אישי ציבור, כמו סטיבן הוקינג ואילון מאסק, דגלו במחקר של אמצעי זהירות כדי להבטיח שמכונות סופר-אינטליגנטיות עתידיות יישארו תחת שליטה אנושית.

טיעונים אנתרופומורפיים 
טיעונים אנתרופומורפיים מניחים שככל שמכונות הופכות אינטליגנטיות יותר, הן יתחילו להציג תכונות אנושיות רבות, כמו מוסר או צמא לכוח. אף על פי שתרחישים אנתרופומורפיים נפוצים בסיפורת, הם נדחים על ידי רוב החוקרים הכותבים על הסיכון הקיומי של בינה מלאכותית. במקום זאת, AI מעוצב כסוכנים אינטליגנטים.

הוויכוח האקדמי הוא בין צד אחד שדואג אם בינה מלאכותית עשויה להרוס את האנושות לבין צד אחר שמאמין שבינה מלאכותית לא תהרוס את האנושות כלל. שני הצדדים טענו שהתחזיות של האחרים לגבי התנהגות בינה מלאכותית לא הגיוני. הספקנים מאשימים את התומכים באנתרופומורפיזם בכך שהם מאמינים ש-AGI ירצה באופן טבעי כוח; התומכים מאשימים כמה ספקנים באנתרופומורפיזם שהם מאמינים ש-AGI יעריך באופן טבעי נורמות אתיות אנושיות.

הפסיכולוג האבולוציוני סטיבן פינקר, טוען כי "דיסטופיות AI מקרינות פסיכולוגיה אלפא-זכרית פרוכית על מושג האינטליגנציה. הם מניחים שרובוטים אינטליגנטיים על-אנושיים יפתחו מטרות כמו הדחת אדוניהם או השתלטות על העולם"; במקום זאת הוא טוען ש"בינה מלאכותית תתפתח באופן טבעי לפי קווים נשיים: בעל יכולת מלאה לפתור בעיות, אך ללא רצון להכחיד חפים מפשע או לשלוט בציוויליזציה." מנהל מחקר בינה מלאכותית של פייסבוק, יאן לקון, קובע כי "לבני אדם יש כל מיני דחפים שגורמים להם לעשות דברים רעים אחד לשני, כמו אינסטינקט השימור העצמי... הכוננים האלה מתוכנתים לתוך המוח שלנו אבל אין שום סיבה לבנות רובוטים שיש להם את אותו סוג של כוננים".

למרות הבדלים אחרים, האסכולה שמאמינה בסיכון מסכימה עם פינקר ש-AI מתקדם לא יהרוס את האנושות מתוך רגשות אנושיים כמו "נקמה" או "כעס", ששאלות תודעה אינן רלוונטיות להערכת סיכונים, וכי למערכות מחשב אין בדרך כלל מקבילה חישובית לטסטוסטרון. הם חושבים שהתנהגויות של חיפוש כוח או שימור עצמי מופיעות ב-AI כדרך להשיג את מטרותיה האמיתיות, על פי הרעיון של התכנסות אינסטרומנטלית.

הגדרה של "אינטליגנציה" 
לטענת בוסטרום, מחוץ לתחום הבינה המלאכותית, נעשה שימוש ב"אינטליגנציה" לעיתים קרובות באופן המקשר לחוכמה מוסרית או קבלה של צורות מקבילות של חשיבה מוסרית. בקיצוניות, אם המוסר הוא חלק מההגדרה של אינטליגנציה, אז בהגדרה מכונה על-אינטליגנטית תתנהג בצורה מוסרית. עם זאת, רוב המחקרים של "בינה מלאכותית" מתמקדים במקום זאת ביצירת אלגוריתמים ש"מייעלים", באופן אמפירי, את השגת כל מטרה שהחוקרים הנתונים ציינו.

כדי להימנע מאנתרופומורפיזם או מהמטען של המילה "אינטליגנציה", ניתן להתייחס לבינה מלאכותית מתקדמת כ"תהליך אופטימיזציה" בלתי-אישי, הנוקט בקפדנות את כל הפעולות שהיא שופטת כבעלת הסבירות הגבוהה ביותר להגשים את מטרותיה (אולי מסובכות ומרומזות). דרך נוספת להמשגה של בינה מלאכותית מתקדמת היא לדמיין מכונת זמן ששולחת לאחור בזמן מידע לגביו בחירה תמיד מובילה למקסום פונקציית המטרה שלה; בחירה זו מופקת לאחר מכן, ללא קשר לחששות אתיים זרים.

מקורות סיכון

בעיית יישור בינה מלאכותית 
סביר להניח שהרגולציה של AGI תושפע מהרגולציה של AI עם נשק או צבאי, כלומר, מרוץ החימוש של AI, שהוא נושא שמתעורר. נכון לעכשיו, אף על פי שהאו"ם מתקדם לקראת רגולציה של AI, היכולת המוסדית והחוקית שלו לנהל סיכון קיומי של AGI מוגבלת הרבה יותר. כל צורה של רגולציה בינלאומית תושפע ככל הנראה מההתפתחויות במדיניות הפנים של מדינות מובילות כלפי בינה מלאכותית צבאית, שבארצות הברית נמצאת בסמכותה של הוועדה לביטחון לאומי לבינה מלאכותית, ומהלכים בינלאומיים להסדרת מרוץ חימוש בינה מלאכותית. רגולציה של מחקר ב-AGI מתמקדת בתפקיד של מועצות ביקורת, עידוד מחקר בנושא AI בטוח, אפשרות של התקדמות טכנולוגית דיפרנציאלית (עדיפות אסטרטגיות להפחתת סיכונים על פני אסטרטגיות נטילת סיכונים בפיתוח AI), או ביצוע מעקב המוני בינלאומי לביצוע זרועות AGI לִשְׁלוֹט. רגולציה של AGIs מודע מתמקדת בשילובם עם החברה האנושית הקיימת וניתנת לחלוקה לשיקולים של מעמדם המשפטי ושל זכויותיהם המוסריות. בקרת נשק בינה מלאכותית תדרוש ככל הנראה מיסוד של נורמות בינלאומיות חדשות המגולמות במפרטים טכניים יעילים בשילוב עם ניטור פעיל ודיפלומטיה לא פורמלית על ידי קהילות מומחים, יחד עם תהליך אימות משפטי ופוליטי.

קישורים חיצוניים

הערות שוליים 

בינה מלאכותית
עתידנות
הכחדה המונית