סכנה קיומית מבינה מלאכותית כללית
היסטוריה

אחד המחברים המוקדמים ביותר שהביע דאגה רצינית שמכונות מתקדמות ביותר עלולות להוות סיכונים קיומיים לאנושות היה הסופר סמואל באטלר, שכתב את הדברים הבאים במאמרו "דרווין בין המכונות" משנת 1863:
התוצאה היא פשוט שאלה של זמן, אבל יבוא הזמן שבו המכונות יחזיקו את העליונות האמיתית על העולם ותושביו, זה מה שאף אדם בעל מוח פילוסופי אמיתי לא יכול להטיל ספק לרגע.
בשנת 1951, מדען המחשב אלן טיורינג כתב מאמר בשם "Intelligent Machinery, A Heretical Theory", בו הציע כי אינטליגנציות כלליות מלאכותיות ככל הנראה "ישתלטו" על העולם ככל שהן יהיו אינטליגנטיות יותר מבני אדם:
"הבה נניח כעת, לצורך הטיעון, שמכונות [תבוניות] הן אפשרות אמיתית, ונבחן את ההשלכות של בנייתן... לא תהיה שאלה שהמכונות ימותו, והן יוכלו לשוחח זה עם זה כדי לחדד את שכלם. לכן בשלב מסוים עלינו לצפות שהמכונות ישתלטו, באופן דומה למוזכר ב"אריון" של סמואל באטלר."
בשנת 1965, IJ Good הקים את הרעיון הידוע כיום כ"סינגולריות טכנולוגית"; הוא גם הצהיר שהסיכונים לא מוערכים:
"בואו נגדיר מכונה אולטרה-אינטליגנטית כמכונה שיכולה לעלות בהרבה על כל הפעילויות האינטלקטואליות של כל אדם, חכם ככל שיהיה. מכיוון שתכנון מכונות הוא אחת מהפעילויות האינטלקטואליות הללו, מכונה אינטליגנטית במיוחד יכולה לתכנן מכונות טובות עוד יותר; אז יהיה ללא ספק 'סינגולריות טכנולוגית', והאינטליגנציה של האדם תישאר הרחק מאחור. לפיכך, המכונה האולטרה-אינטליגנטית הראשונה היא ההמצאה האחרונה שהאדם צריך לעשות אי פעם, בתנאי שהמכונה צייתנית מספיק כדי לומר לנו איך לשמור עליה בשליטה. זה מוזר שנקודה זו מובאת לעיתים רחוקות כל כך מחוץ למדע בדיוני. לפעמים כדאי להתייחס למדע בדיוני ברצינות.
הצהרות מזדמנות של חוקרים כמו מרווין מינסקי ו-IJ Good עצמו הביעו חששות פילוסופיים כי אינטליגנציית-על יכולה לתפוס שליטה, אך לא הכילו קריאה לפעולה. בשנת 2000, מדען המחשב ומייסד סאן ביל ג'וי כתב חיבור רב השפעה, " למה העתיד לא צריך אותנו", שזיהה רובוטים סופר-חכמים כסכנת היי-טק להישרדות האדם, לצד ננוטכנולוגיה.
בשנת 2009, מומחים השתתפו בכנס פרטי שאירח האגודה לקידום הבינה המלאכותית (AAAI) כדי לדון בשאלה האם מחשבים ורובוטים יוכלו לרכוש כל סוג של אוטונומיה, ועד כמה יכולות אלו להוות איום או סכנה. הם ציינו שחלק מהרובוטים רכשו צורות שונות של חצי אוטונומיה, כולל היכולת למצוא מקורות כוח בעצמם ויכולת לבחור באופן עצמאי מטרות לתקוף עם נשק. הם גם ציינו כי כמה וירוסי מחשב יכולים להתחמק מהחיסול והשיגו "אינטליגנציה של מקקים". הם הגיעו למסקנה שמודעות עצמית כפי שמתוארת במדע בדיוני היא כנראה לא סבירה, אבל היו עוד סכנות ומלכודות פוטנציאליות. "הניו יורק טיימס" סיכם את השקפת הוועידה כ"אנחנו רחוקים מהאל (Hal), המחשב שהשתלט על החללית ב-2001: אודיסיאה בחלל".
ניק בוסטרום פרסם את "Superintelligence" ב-2014, שהציג את טיעוניו לפיהם אינטליגנציית-על מהווה איום קיומי. עד 2015, אנשי ציבור כמו הפיזיקאים סטיבן הוקינג וחתן פרס נובל פרנק וילצ'ק, מדעני המחשב סטיוארט ג'יי ראסל ורומן ימפולסקי, והיזמים אילון מאסק וביל גייטס הביעו דאגה מהסיכונים של אינטליגנציית-על. באפריל 2016, "Nature" הזהיר: "מכונות ורובוטים שעולים על בני אדם בכל v,junho יכולים להשתפר בעצמם מעבר לשליטתנו – ואולי האינטרסים שלהם לא יתאימו לאינטרסים שלנו". בשנת 2020, בריאן כריסטיאן פרסם את "The Alignment Problem", אשר פירטה את ההיסטוריה של ההתקדמות בערכי בינה מלאכותית עד אותה תקופה.
במרץ 2023, דמויות מפתח בבינה מלאכותית, כמו אילון מאסק, חתמו על מכתב ממכון עתיד החיים הקוראות להפסיק את ההכשרה המתקדמת בבינה מלאכותית עד שניתן יהיה להסדיר אותה כראוי. במאי 2023, המרכז לבטיחות בינה מלאכותית פרסם הצהרה חתומה על ידי מומחים רבים לבטיחות בינה מלאכותית ולסיכון הקיומי של בינה מלאכותית, שבה נכתב: "הפחתת סכנת ההכחדה מבינה מלאכותית צריכה להיות בראש סדר העדיפויות העולמי לצד סיכונים אחרים בקנה מידה חברתי כגון מגפות ומלחמה גרעינית."
בראיון לתחנת הרדיו BBC 4 מדצמבר 2024, הזהיר חוקר הבינה המלאכותית וזוכה פרס נובל ג'פרי הינטון כי קצב התפתחות הטכנולוגיה של הבינה המלאכותית הוא מהיר בהרבה מהמצופה, וטען שיש סיכוי של 10%-20% שבינה מלאכותית תשמיד את האנושות בבמהלך שלושת העשורים הבאים, בעוד שבעבר אמר הינטון כי הסיכוי לכך הוא 10%.