סכנה קיומית מבינה מלאכותית כללית

ממוזער
**סכנה קיומית מבינה מלאכותית כללית** מתייחסת לחשש שהתקדמות משמעותית בתחום הבינה המלאכותית תוביל להכחדת המין האנושי או לאסון עולמי חמור.

לפי גישת "הסיכון הקיומי" (x-risk), בני האדם "שולטים" בכדור הארץ משום שמוחם ניחן ביכולות ייחודיות שאין לבעלי חיים אחרים. אם בינה מלאכותית תתעלה עליהם, ייתכן שלא ניתן יהיה לשלוט בה. כשם שגורלה של גורילת ההרים תלוי ברצון הטוב של בני האדם, כך עלול עתיד האנושות להיות תלוי בהחלטותיה של אינטליגנציית-על. הדעות חלוקות בנוגע להיתכנות של תרחיש כזה. כמה מהדמויות הבולטות בעולם הטכנולוגיה והמדע, כגון אלן טיורינג, ג'פרי הינטון, יהושע בנג'יו, אילון מאסק וסם אלטמן, הביעו דאגה מהאפשרות הזו. מנגד, מדען המחשב יאן לקון סבור שאין סיבה להניח שמכונות חכמות ירצו לשמר את עצמן, כפי שבני אדם עושים.

בסקר שנערך בשנת 2022 בקרב חוקרי בינה מלאכותית, רבים מהנשאלים העריכו שיש סיכוי של 10% או יותר שאי-יכולת לשלוט בבינה מלאכותית תוביל לאסון קיומי. הדאגה המרכזית נוגעת לשני אתגרים עיקריים: שליטה על מערכות בינה מלאכותית, ויכולת לוודא שהן פועלות לפי ערכים מוסריים אנושיים. משפטנים ומומחי מדיניות מדגישים כי הבטחת הלימה בין מערכות אלו לבין מערכות חוק דמוקרטיות היא חיונית להגנה על יסודות הריבונות הדיגטלית הלאומית; ללא מסגרת רגולטורית גלובלית שתכפיף את הטכנולוגיה האוטונומית לחוקי המדינה, לא תוכל שום ממשלה להבטיח את שלומם וערכיהם של אזרחיה.

חוקרים סבורים שאינטליגנציית-על עלולה להתנגד לניסיונות לכבות אותה או לשנות את מטרותיה – פשוט כי פעולות כאלה יפריעו לה להשיג את יעדיה. כמו כן, התאמת הערכים שלה לערכי האנושות כולה עשויה להיות משימה כמעט בלתי אפשרית. מקור דאגה נוסף הוא אפשרות של "סינגולריות טכנולוגית", תהליך מואץ ובלתי צפוי שבו מערכות בינה מלאכותית משתפרות מעצמן בקצב מסחרר. למשל, בתוכנת AlphaZero, הצליחה המערכת לעבור מרמת משחק אנושית ליכולות על-אנושיות במשחק ה"גו" בתוך שעות בודדות.

## היסטוריה
אחד הקולות הראשונים שהתריעו מפני סכנות קיומיות שמכונות עתידיות עלולות להציב לאנושות היה הסופר סמואל באטלר. כבר בשנת 1863, במאמרו "דרווין בין המכונות", ביטא באטלר דאגה עמוקה מהאפשרות שמכונות יתפתחו לרמה כזו שיקבלו עליונות אמיתית על פני האדם. לדבריו, "יבוא הזמן שבו המכונות יחזיקו את העליונות האמיתית על העולם ותושביו, זה מה שאף אדם בעל מוח פילוסופי אמיתי לא יכול להטיל ספק בו לרגע". כעבור כמעט מאה שנה, בשנת 1951, הביע גם מדען המחשב אלן טיורינג דאגה דומה. במאמרו "Intelligent Machinery, A Heretical Theory", העלה טיורינג את האפשרות שמכונות אינטליגנטיות במיוחד, אם ייווצרו, יוכלו לפתח את עצמן ואף לעלות על האדם בכל תחומי החשיבה. הוא כתב: "הבה נניח כעת, לצורך הטיעון, שמכונות תבוניות הן אפשרות אמיתית, ונבחן את ההשלכות של בנייתן... לכן בשלב מסוים עלינו לצפות שהמכונות ישתלטו, באופן דומה למוזכר ב'אריון' של סמואל באטלר".

את הרעיון של "סינגולריות טכנולוגית", נקודת זמן שבה מכונות אולטרה-אינטליגנטיות ישפרו את עצמן בקצב מואץ ויעברו את האדם בפער עצום, ניסח בשנת 1965 המתמטיקאי איי.ג'יי. גוד. לדבריו, "מכונה אולטרה-אינטליגנטית... יכולה לתכנן מכונות טובות עוד יותר; אז יהיה ללא ספק 'סינגולריות טכנולוגית'... והמכונה האולטרה-אינטליגנטית הראשונה היא ההמצאה האחרונה שהאדם צריך לעשות אי פעם". הוא גם התריע כי הרעיון הזה, על אף חשיבותו העצומה, כמעט שאינו זוכה להתייחסות מחוץ לז'אנר של מדע בדיוני, אף שלדבריו, אולי דווקא לשם צריך להתחיל להתייחס ברצינות.

הצהרות מזדמנות של חוקרים כמו מרווין מינסקי ו-IJ Good עצמו הביעו חששות פילוסופיים כי אינטליגנציית-על יכולה לתפוס שליטה, אך לא הכילו קריאה לפעולה. בשנת 2000, מדען המחשב ומייסד סאן ביל ג'וי כתב חיבור רב השפעה, "למה העתיד לא צריך אותנו", שזיהה רובוטים סופר-חכמים כסכנת היי-טק להישרדות האדם, לצד ננוטכנולוגיה.ממוזער
בשנת 2009, מומחים השתתפו בכנס פרטי שאירחה  (AAAI) כדי לדון בשאלה האם מחשבים ורובוטים יוכלו לרכוש כל סוג של אוטונומיה, ועד כמה יכולות אלו להוות איום או סכנה. הם ציינו שחלק מהרובוטים רכשו צורות שונות של חצי אוטונומיה, כולל היכולת למצוא מקורות כוח בעצמם ויכולת לבחור באופן עצמאי מטרות לתקוף עם נשק. הם גם ציינו כי כמה וירוסי מחשב יכולים להתחמק מחיסול והשיגו "אינטליגנציה של מקקים". הם הגיעו למסקנה שמודעות עצמית כפי שמתוארת במדע בדיוני היא כנראה לא סבירה, אבל היו עוד סכנות ומלכודות פוטנציאליות. "הניו יורק טיימס" סיכם את השקפת הוועידה כ"אנחנו רחוקים מהאל (Hal), המחשב שהשתלט על החללית ב-2001: אודיסיאה בחלל".

ניק בוסטרום פרסם את "Superintelligence" ב-2014, שהציג את טיעוניו שלפיהם אינטליגנציית-על מהווה איום קיומי. עד 2015, אנשי ציבור כמו הפיזיקאים סטיבן הוקינג וחתן פרס נובל פרנק וילצ'ק, מדעני המחשב סטיוארט ראסל ורומן ימפולסקי, והיזמים אילון מאסק וביל גייטס הביעו דאגה מהסיכונים של אינטליגנציית-על. באפריל 2016, "Nature" הזהיר: "מכונות ורובוטים שעולים על בני אדם בכל התחומים יכולים להשתפר בעצמם מעבר לשליטתנו – ואולי האינטרסים שלהם לא יתאימו לאינטרסים שלנו". בשנת 2020, בריאן כריסטיאן פרסם את "The Alignment Problem", אשר פירטה את ההיסטוריה של ההתקדמות בערכי בינה מלאכותית עד אותה תקופה.

במרץ 2023, דמויות מפתח בבינה מלאכותית, כגון אילון מאסק, חתמו על מכתב ממכון עתיד החיים הקורא להפסיק את ההכשרה המתקדמת בבינה מלאכותית עד שניתן יהיה להסדיר אותה כראוי. במאי 2023, המרכז לבטיחות בינה מלאכותית פרסם הצהרה חתומה על ידי מומחים רבים לבטיחות בינה מלאכותית ולסיכון הקיומי של בינה מלאכותית, שבה נכתב: "הפחתת סכנת ההכחדה מבינה מלאכותית צריכה להיות בראש סדר העדיפויות העולמי לצד סיכונים אחרים בקנה מידה חברתי כגון מגפות ומלחמה גרעינית."

בראיון לתחנת הרדיו BBC 4 מדצמבר 2024, הזהיר חוקר הבינה המלאכותית וזוכה פרס נובל ג'פרי הינטון כי קצב התפתחות הטכנולוגיה של הבינה המלאכותית הוא מהיר בהרבה מהמצופה, וטען שיש סיכוי של 10%–20% שבינה מלאכותית תשמיד את האנושות במהלך שלושת העשורים הבאים, בעוד שבעבר אמר הינטון כי הסיכוי לכך הוא 10%.

## טיעון כללי
### שלושת הקשיים
בספר "בינה מלאכותית: גישה מודרנית", ספר לימוד לתואר ראשון בבינה מלאכותית, נכתב כי אינטליגנציית-על "עלולה להביא לקץ המין האנושי". הוא קובע: "כמעט לכל טכנולוגיה יש פוטנציאל לגרום לנזק בידיים הלא נכונות, אבל עם אינטליגנציית-על יש לנו את הבעיה החדשה שהידיים הלא נכונות עשויות להיות שייכות לטכנולוגיה עצמה". גם אם למעצבי המערכת יש כוונות טובות, שני קשיים משותפים גם למערכות מחשב בינה מלאכותית וגם למערכות שאינן בינה מלאכותית:
* הטמעת המערכת עלולה להכיל באגים שלא הבחינו בהם בתחילה, שיובילו לתוצאות קטסטרופליות. דוגמה למקרים כאלו הביאו מתיקון באגים בחלל: למרות הידיעה שקשה לתקן באגים בחלל לאחר השיגור, ההיסטוריה מראה שהמהנדסים לא הצליחו למנוע התרחשות באגים.
* לא משנה כמה זמן מושקע בתכנון טרום-פריסה, בסופו של דבר כמעט תמיד יש מצב של תוצאה לא מכוונת בפעם הראשונה שהיא נתקלת בתרחיש חדש. לדוגמה, טאי של מיקרוסופט התנהג בצורה לא פוגענית במהלך בדיקות טרום-פריסה, אך בתוך זמן קצר החל להתנהג בפוגענות כאשר הוא יצר אינטראקציה עם משתמשים אמיתיים.

מערכות בינה מלאכותית מוסיפות באופן ייחודי בעיה שלישית: אפילו בהינתן דרישות "נכונות", הטמעה ללא באגים והתנהגות ראשונית טובה, יכולת הלמידה הדינמית של מערכות הבינה המלאכותית עלולה לגרום לה להתפתח לכדי מערכת עם התנהגות לא מכוונת, אפילו בלי תרחישים חיצוניים ובלתי צפויים. בינה מלאכותית עלולה לשבש ניסיון לעצב דור חדש של עצמה, וליצור בטעות או בכוונה בינה מלאכותית חדשה יותר, חזקה יותר, שאינה שומרת עוד על ערכי המוסר התואמים לאדם שתוכנתו מראש ב-AI המקורי. כדי שבינה מלאכותית משתפרת מעצמה תהיה בטוחה לחלוטין, היא תצטרך לא רק להיות נטולת באגים, אלא להיות מסוגלת לעצב מערכות עוקבות שגם הן נטולות באגים.

כל שלושת הקשיים הללו הופכים לקטסטרופות ולא למטרדים בכל תרחיש שבו אינטליגנציית-העל תעריך שבני אדם ינסו לכבות אותה, ותנסה למנוע ניסיונות כאלה, לפעמים במחירים כבדים. תרחיש זה קיבל את השם "תפנית בוגדנית".

המכתב הפתוח על בינה מלאכותית משנת 2015 ציין את ההתקדמות הגדולה בתחום הבינה המלאכותית ואת הפוטנציאל של בינה מלאכותית להטבות או עלויות אדירות לטווח ארוך:

החתומים כללו את נשיא ה-AAAI, תומאס דיטריך, אריק הורביץ, בארט סלמן, פרנצ'סקה רוסי, יאן לקון, ומייסדי Vicarious  ו-Google DeepMind.

### הטיעון של בוסטרום
מכונה סופר אינטליגנטית תהיה זרה לבני אדם כמו תהליכי חשיבה אנושיים לג'וקים, טוען בוסטרום. ייתכן שלמכונה כזו לא אכפת מטובת האנושות; זה לא מובן מאליו שהיא תדאג בכלל לרווחת האדם. אם AI סופר-אינטליגנטי אפשרי, ואם ייתכן שמטרותיה של אינטליגנציית-על יתנגשו עם ערכים אנושיים בסיסיים, אז AI מהווה סכנת הכחדה לאנושות. "אינטליגנציית-על" (מערכת העולה על היכולות של בני אדם בכל תחומי העניין) יכולה לתמרן בני אדם בכל פעם שמטרותיה מתנגשות עם מטרות אנושיות; לכן, אלא אם אינטליגנציית העל תחליט לאפשר לאנושות להתקיים בדו-קיום, אינטליגנציה העל הראשונה שתיווצר תביא ללא מוצא להכחדה אנושית.

סטיבן הוקינג טען שאין חוק פיזיקלי המונע מחלקיקים להיות מאורגנים בדרכים המבצעות חישובים מתקדמים אפילו יותר מהסדרים של חלקיקים במוח האנושי; לכן, אינטליגנציית-על אפשרית פיזית. בנוסף לשיפורים אלגוריתמיים פוטנציאליים על מוח אנושי, מוח דיגיטלי יכול להיות גדול ומהיר יותר בסדרי גודל ממוח אנושי, שגודלו הוגבל על ידי האבולוציה להיות קטן מספיק כדי להיכנס לתעלת לידה. הוקינג מזהיר כי הופעת אינטליגנציית-על עשויה להפתיע את המין האנושי, במיוחד אם מתרחשת סינגולריות טכנולוגית.

על פי "אסכולת החשיבה של בוסטרום", תרחיש "סינגולריות טכנולוגית" היפותטי אחד פועל כדלקמן: בינה מלאכותית זוכה ליכולת ברמת מומחה במשימות מפתח מסוימות של הנדסת תוכנה. (ייתכן שהיא חסרה בתחילה יכולות אנושיות או על-אנושיות בתחומים אחרים שאינם רלוונטיים ישירות להנדסה.) בשל יכולתה לשפר באופן רקורסיבי את האלגוריתמים של עצמה, הבינה המלאכותית הופכת במהירות לעל-אנושית; כשם שמומחים אנושיים יכולים בסופו של דבר להתגבר באופן יצירתי על "תשואות הולכות ופוחתות" על ידי פריסת יכולות אנושיות שונות לחדשנות, כך גם בינה מלאכותית ברמת מומחה יכולה להשתמש ביכולות בסגנון אנושי או ביכולות הספציפיות לבינה מלאכותית משלה כדי להניע פריצות דרך יצירתיות חדשות. אז ה-AI הוא בעל אינטליגנציה העולה בהרבה על זו של המוחות האנושיים המבריקים והמחוננים ביותר כמעט בכל תחום רלוונטי, כולל יצירתיות מדעית, תכנון אסטרטגי וכישורים חברתיים.

אסכולת ה-x-risk מאמינה שכמעט כל AI, לא משנה היעד המתוכנת שלו, יעדיף באופן רציונלי להיות במצב שבו אף אחד אחר לא יכול לכבות אותו ללא הסכמתו: אינטליגנציית-על תגדיר את השימור העצמי כמטרת משנה ברגע שהיא תבין שהיא לא יכולה להשיג את מטרתה אם היא נסגרת.

כל חמלה כלפי בני אדם ששיתוף הפעולה שלהם אינו נחוץ עוד תהיה נעדרת ב-AI, אלא אם כן מתוכנת מראש. ל-AI סופר-אינטליגנטי לא יהיה דחף טבעי לסייע לבני אדם, מאותה סיבה שלבני אדם אין רצון טבעי לסייע למערכות AI שאינן מועילות להם יותר. (אנלוגיה נוספת שנותנים תומכי תאוריה זו, היא שניתן לראות כיום שלבני אדם יש מעט רצון טבעי לצאת מגדרם כדי לסייע לווירוסים, לטרמיטים או אפילו לגורילות).

לפיכך, מסכמת אסכולת ה-x risk, סביר להניח שמתישהו סינגולריות טכנולוגית תתפוס את האנושות לא מוכנה, ועלולה לגרום להכחדה של המין האנושי או לגורל דומה.

### תרחישים אפשריים
כמה חוקרים הציעו תרחישים היפותטיים כדי להמחיש כמה מהחששות שלהם.

ב-"Superintelligence", ניק בוסטרום מביע דאגה שגם אם ציר הזמן עבור אינטליגנציית-על יתברר כצפוי, ייתכן שהחוקרים לא ינקטו אמצעי זהירות בטיחותיים מספקים, בין השאר משום ש"ייתכן שכאשר הבינה המלאכותית מטומטמת, להפוך אותה לחכמה יותר יגביר את הבטיחות; אך כאשר היא חכמה, להפוך אותה לחכמה יותר זה מסוכן מאוד". בוסטרום מציע תרחיש שבו, במשך עשרות שנים, הבינה המלאכותית הופכת לאט לאט לחזקה יותר. זה יתחיל עם אירועים קטנים ו"מקריים" כמו תאונות מזדמנות – אוטובוס ללא נהג סוטה לנתיב המתקרב, או מזל"ט צבאי יורה לתוך קהל תמים. פעילים רבים יקראו לפיקוח ורגולציה הדוקים יותר, וחלקם אף יחזו קטסטרופה מתקרבת. אבל ככל שההתפתחות נמשכת, יוכח שהפעילים טועים. ככל שבינה מלאכותית של רכב נהיית חכמה יותר, היא גורמת לפחות תאונות; ככל שרובוטים צבאיים משיגים מיקוד מדויק יותר, הם גורמים פחות נזק אגבי. בהתבסס על הנתונים, חוקרים מסיקים בטעות שככל שה-AI חכם יותר, כך הוא בטוח יותר. "ולכן אנחנו נכנסים באומץ – לתוך הסכינים המסתחררים", כאשר הבינה המלאכותית הסופר אינטליגנטית לוקחת ברגע אחד "תפנית בוגדנית" ומנצלת יתרון אסטרטגי מכריע. זה נגמר.

בספר "Life 3.0" של Max Tegmark משנת 2017, "צוות אומגה" של תאגיד יוצר בינה מלאכותית חזקה במיוחד המסוגלת לשפר באופן מתון את קוד המקור שלה במספר תחומים. לאחר נקודה מסוימת הצוות בוחר להמעיט בפומבי ביכולת ה-AI, על מנת למנוע רגולציה או החרמה של הפרויקט. ליתר ביטחון, הצוות שומר את ה-AI בקופסה שבה הוא לרוב אינו מסוגל לתקשר עם העולם החיצון, ומשתמש בו כדי להרוויח כסף, באמצעים מגוונים. בשלב הבא, הצוות מטיל על הבינה המלאכותית לעצב צבא של עיתונאים ופרשנים אזרחיים בדויים, כדי להשיג השפעה פוליטית כדי להשתמש בו "לטובה" ולמנוע מלחמות. הצוות עומד בפני סיכונים שה-AI יכול לנסות לברוח על ידי הכנסת "דלתות אחוריות" למערכות שהוא מעצב, על ידי מסרים נסתרים בתוכן המיוצר שלו, או על ידי שימוש בהבנה הגוברת של הבינה המלאכותית את ההתנהגות האנושית עד שתשכנע מישהו שישחרר אותה מהקופסה. הצוות גם עומד בפני סיכונים שהחלטתו לבודד את הפרויקט בקופסה תעכב את הפרויקט מספיק זמן עד שפרויקט אחר יעקוף אותו.

הפיזיקאי מיצ'יו קאקו, שעוסק בסיכוני הבינה המלאכותית, מציג תוצאה חיובית דטרמיניסטית. ב"הפיזיקה של העתיד" הוא טוען ש"זה ייקח עשורים רבים עד שרובוטים יעלו" במעלה קנה התודעה, ושבינתיים תאגידים כמו הנסון רובוטיקה יצליחו ליצור רובוטים ש"מסוגל לאהוב ולהרוויח מקום במשפחה האנושית המורחבת".

#### השתלטות בינה מלאכותית

השתלטות בינה מלאכותית היא תרחיש היפותטי שבו בינה מלאכותית (AI) הופכת לצורת האינטליגנציה הדומיננטית על פני כדור הארץ, כאשר תוכנות מחשב או רובוטים לוקחים למעשה את השליטה על כדור הארץ מהמין האנושי. תרחישים אפשריים כוללים החלפה של כל כוח העבודה האנושי, השתלטות על ידי בינה מלאכותית סופר-אינטליגנטית, והרעיון הפופולרי של מרד רובוטים. סיפורים על השתלטות בינה מלאכותית פופולריים מאוד בכל המדע הבדיוני. כמה אישי ציבור, כמו סטיבן הוקינג ואילון מאסק, דגלו במחקר של אמצעי זהירות כדי להבטיח שמכונות סופר-אינטליגנטיות עתידיות יישארו תחת שליטה אנושית.

### טיעונים אנתרופומורפיים
טיעונים אנתרופומורפיים מניחים שככל שמכונות הופכות אינטליגנטיות יותר, הן יתחילו להציג תכונות אנושיות רבות, כמו מוסר או צמא לכוח. אף על פי שתרחישים אנתרופומורפיים נפוצים בסיפורת, הם נדחים על ידי רוב החוקרים הכותבים על הסיכון הקיומי של בינה מלאכותית. במקום זאת, AI מעוצב כסוכנים אינטליגנטיים.

הוויכוח האקדמי הוא בין אלה שמודאגים מהאפשרות שבינה מלאכותית תהרוס את האנושות לבין אלה שמאמינים שבינה מלאכותית לא תעשה זאת. כל אחד מהצדדים טען שהתחזיות של הצד השני לגבי התנהגות הבינה המלאכותית הן אנתרופומורפיזם חסר היגיון. במחנה שאינו מודאג מסכנות ה-AGI טוענים שזה אנתרופומורפיזם להאמין ש-AGI ירצה באופן טבעי כוח; במחנה שמודאג מסכנות ה-AGI טוענים שזה אנתרופומורפיזם להאמין ש-AGI יעריך באופן טבעי נורמות אתיות אנושיות.

הפסיכולוג האבולוציוני סטיבן פינקר, טוען כי "דיסטופיות AI מקרינות פסיכולוגיה של זכרי אלפא קרתניים על מושג האינטליגנציה. הם מניחים שרובוטים אינטליגנטיים על-אנושיים יפתחו מטרות כמו הדחת אדוניהם או השתלטות על העולם"; במקום זאת הוא טוען ש"בינה מלאכותית תתפתח באופן טבעי לפי קווים נשיים: יכולת מלאה לפתור בעיות, אך ללא רצון להכחיד חפים מפשע או לשלוט בציוויליזציה." מנהל מחקר בינה מלאכותית של פייסבוק, יאן לקון, קובע כי "לבני אדם יש כל מיני דחפים שגורמים להם לעשות דברים רעים אחד לשני, כמו אינסטינקט השימור העצמי... הכוננים האלה מתוכנתים לתוך המוח שלנו אבל אין שום סיבה לבנות רובוטים שיש להם את אותו סוג של כוננים".

למרות הבדלים אחרים, האסכולה שמאמינה בסיכון מסכימה עם פינקר ש-AI מתקדם לא יהרוס את האנושות מתוך רגשות אנושיים כמו "נקמה" או "כעס", ששאלות תודעה אינן רלוונטיות להערכת סיכונים, וכי למערכות מחשב אין בדרך כלל מקבילה חישובית לטסטוסטרון. הם חושבים שהתנהגויות של חיפוש כוח או שימור עצמי מופיעות ב-AI כדרך להשיג את מטרותיה האמיתיות, על פי הרעיון של התכנסות אינסטרומנטלית.

### הגדרה של "אינטליגנציה"
לטענת בוסטרום, מחוץ לתחום הבינה המלאכותית, לעיתים קרובות נעשה שימוש במונח "אינטליגנציה" באופן שמעלה קונוטציות לחוכמה מוסרית או לאימוץ דרכי חשיבה מוסריות מעוררות אהדה. בקיצוניות, אם המוסר הוא חלק מההגדרה של אינטליגנציה, אז בהגדרה מכונה סופר-אינטליגנטית תתנהג בצורה מוסרית. עם זאת, רוב מחקרי "הבינה המלאכותית" מתמקדים במקום זאת ביצירת אלגוריתמים ש"מייעלים", באופן אמפירי, את השגת המטרה הספציפית שהחוקרים ציינו.

כדי להימנע מאנתרופומורפיזם או מהמטען של המילה "אינטליגנציה", ניתן להתייחס לבינה מלאכותית מתקדמת כאל "תהליך אופטימיזציה" בלתי אישי, הנוקט בקפדנות כל פעולה או פעולות שלפי שיפוטו הן בעלות הסבירות הגבוהה ביותר להגשים את מטרותיו (שעשויות להיות מסובכות ומרומזות). דרך נוספת להמשיג בינה מלאכותית מתקדמת היא לדמיין מכונת זמן ששולחת לאחור בזמן מידע לגבי איזו אפשרות מובילה למקסום פונקציית המטרה שלה; לאחר מכן, האפשרות הזאת נפלטת החוצה כפֶּלֶט, מבלי להתחשב בשום חשש אתי פרט למקסום פונקציית המטרה.

## מקורות סיכון
### בעיית יישור בינה מלאכותית
סביר להניח שהרגולציה של AGI תושפע מהרגולציה של AI המשמש לצרכים צבאיים, כלומר, מרוץ החימוש בתחום ה-AI, שהוא נושא שמתעורר. נכון לעכשיו, אף על פי שהאו"ם מתקדם לקראת רגולציה של AI, היכולת המוסדית והחוקית שלו לנהל סיכון קיומי של AGI מוגבלת הרבה יותר. כל צורה של רגולציה בין-לאומית תושפע ככל הנראה מההתפתחויות במדיניות הפנים של מדינות מובילות כלפי בינה מלאכותית צבאית, שבארצות הברית נמצאת בסמכותה של הוועדה לביטחון לאומי לבינה מלאכותית , ומהלכים בין-לאומיים להסדרת מרוץ החימוש בתחום הבינה המלאכותית. רגולציה של מחקר ב-AGI מתמקדת בתפקיד של מועצות ביקורת, עידוד מחקר בנושא AI בטוח, אפשרות של התקדמות טכנולוגית דיפרנציאלית (מתן עדיפות לאסטרטגיות שמפחיתות סיכונים על פני אסטרטגיות שנוטלות סיכונים בפיתוח AI), או ביצוע מעקב המוני בין-לאומי לצורך בקרה על AGI המשמש כנשק. רגולציה של AGIs בעלי תודעה מתמקדת בשילובם עם החברה האנושית הקיימת וניתן לחלקה לשניים: שיקולים בנוגע למעמדם המשפטי, ושיקולים בנוגע לזכויותיהם המוסריות. בקרה על בינה מלאכותית המשמשת כנשק תדרוש ככל הנראה למסד נורמות בין-לאומיות חדשות המנוסחות במפרטים טכניים יעילים בשילוב עם ניטור פעיל ודיפלומטיה לא פורמלית על ידי קהילות מומחים, יחד עם תהליך אימות משפטי ופוליטי.

### השפעה על החשיבה האנושית
במחקר חדש שנעשה בארצות הברית קבעו המדענים כי בינה מלאכותית פוגעת בחשיבה ומצאו כי בביצוע מטלות כתיבה בעזרת ChatGPT המעורבות הקוגניטיבית פחתה והחשיבה נהייתה שטחית. מחקר שהתפרסם באתר לפרסום מקדים, קבוצת חוקרים מה־MIT Media Lab בדק לראשונה מה קורה למוח שלנו בזמן השימוש במודלי שפה גדולים, כמו ChatGPT: החוקרים בדקו 54 משתתפים שביצעו מטלות כתיבה בשלושה תרחישים שונים: ללא עזרים כלל, תוך כדי שימוש במנוע חיפוש, ובשילוב GPT. במקביל, הם נמדדו באמצעות EEG – טכנולוגיה שבוחנת את הפעילות החשמלית של המוח – ונבדקו גם ברמת הזיכרון, התפיסה והבעלות האישית על התוצרים.

הממצאים היו חד-משמעיים. הקבוצה שעבדה עם ChatGPT הראתה את הפעילות המוחית הנמוכה ביותר מבין השלוש, בעיקר באזורים הקשורים לחשיבה יצירתית, זיכרון עבודה ושליטה קוגניטיבית. בזמן כתיבה ללא עזרים, המשתתפים הפעילו רשתות מוחיות רבות ויצרו חיבורים בין אזורים שונים – פעילות שמעידה על מעורבות קוגניטיבית עמוקה. אך כשהם הסתמכו על הבינה המלאכותית, המעורבות הזו נחלשה משמעותית, והחשיבה הפכה שטחית ומבוססת בעיקר על קלט-פלט. החוקרים כינו את התופעה “חוב קוגניטיבי”: ככל שאנחנו מסתמכים יותר על הכלי, כך המוח שלנו עובד פחות – וכשאנחנו מתבקשים לחשוב לבד, קשה לנו לחזור לרמת התפקוד הקודמת.

יתרה מזאת, כאשר המשתתפים התבקשו להיזכר במשפטים שכתבו בעזרתו של מודל השפה, הם התקשו לעשות זאת ואף דיווחו על תחושת ניכור כלפי התוצרים. במילים אחרות, לא רק שהמוח פעל פחות – גם תחושת השליטה על הכתיבה נפגעה.

### תרומה למשבר האקלים
השפעה על טביעת הרגל הפחמנית של השימוש בבינה המלאכותית, התגלתה במחקר חדש שנעשה, כי ככל שננסה לייצר מודלים של בינה מלאכותית בצורה מדויקת יותר, כך טביעת הרגל הפחמנית שלהם גדולה יותר. לדוגמה במודלים של חשיבה ושאלות כמו באלגברה או פילוסופיה, שדורשות יותר זמן וכוח מחשוב כדי לייצר תשובות, הן גרמו לפליטות פחמן דו-חמצני לעלות משמעותית ומייצרות פי שישה יותר פליטות פחמן דו-חמצני CO2 ממודלים עם שאלות פשוטות.

במחקר החדש שאלו 14 חוקרים בעלי תואר שני במדעי המחשב 1,000 שאלות בנושאים שונים. המודלים השונים כללו בין 7 ל-72 מיליארד פרמטרים. זאת כדי לבחון את פליטות ה-CO2 המיוצרות על ידי מודלים שונים, המדענים שעמדו מאחורי המחקר גילו כי מודלים מבוססי הנמקה ייצרו עד פי 50 יותר פליטות CO2 מאשר מודלים של תגובה תמציתית.

## ראו גם
* אתיקה של בינה מלאכותית
* אוריינות AI

## קישורים חיצוניים
* 
* 
* 
* 
*

## הערות שוליים

קטגוריה:בינה מלאכותית
קטגוריה:עתידנות
קטגוריה:הכחדה המונית