בטיחות בינה מלאכותית

**בטיחות בינה מלאכותית** (באנגלית: **AI safety**) הוא תחום מחקר בין-תחומי המתמקד במניעת תאונות, שימוש לרעה ותוצאות מזיקות אחרות שעלולות לנבוע ממערכות בינה מלאכותית (AI). התחום כולל יישור בינה מלאכותית  (שמטרתו להבטיח שמערכות בינה מלאכותית יפעלו כפי שהתכוונו יוצריהן), ניטור סיכונים במערכות בינה מלאכותית ושיפור חוסנן. התחום עוסק במיוחד בסיכונים קיומיים הנשקפים ממודלי בינה מלאכותית מתקדמים.

מעבר למחקר טכני, בטיחות בינה מלאכותית כוללת פיתוח נורמות ומדיניות המקדמות בטיחות. התחום צבר פופולריות משמעותית בשנת 2023, עם ההתקדמות המהירה בבינה מלאכותית יוצרת ודאגות ציבוריות שהביעו חוקרים ומנכ"לים לגבי סכנות פוטנציאליות. במהלך פסגת בטיחות הבינה המלאכותית ב-2023, הקימו ארצות הברית והממלכה המאוחדת מכוני בטיחות בינה מלאכותית משלהן. עם זאת, חוקרים הביעו דאגה מכך שאמצעי הזהירות הננקטים אינם מדביקים את קצב ההתפתחות המהיר של יכולות הבינה המלאכותית.

## מניעים
חוקרים דנים בסיכונים הנוכחיים הנובעים מכשלים במערכות קריטיות, הטיה אלגוריתמית , ומעקב מבוסס בינה מלאכותית, וכן בסיכונים מתעוררים כמו אבטלה טכנולוגית, מניפולציה דיגיטלית, לוחמה רובוטית, מתקפות סייבר וטרור ביולוגי. בין היתר נידונים גם סיכונים ספקולטיביים ובהם אובדן שליטה על סוכני בינה מלאכותית כללית (AGI) עתידיים, או מ-AI המאפשר דיקטטורות יציבות תמידית.

### בטיחות קיומית

יש המבקרים את החששות מבינה מלאכותית כללית, ביניהם אנדרו אנג, שהשווה אותם ב-2015 ל"דאגה מאכלוס יתר של מאדים כשעוד לא דרכנו על הכוכב". סטיוארט ראסל, מנגד, קורא לזהירות, בטענה ש"עדיף לצפות את כושר ההמצאה האנושי מאשר להמעיט בערכו".

## היסטוריה
דיונים בנושא הסיכונים מבינה מלאכותית החלו להתקיים בצורה רצינית מתחילת עידן המידע:

בשנת 2014, פרסם הפילוסוף ניק בוסטרום  את הספר "אינטליגנציית-על: נתיבים, סכנות, אסטרטגיות". טענתו כי מערכות מתקדמות עתידיות עלולות להוות איום על קיום האנושות, הניעה את אילון מאסק, ביל גייטס וסטיבן הוקינג להביע דאגות דומות.

ב-2023 אמר רישי סונאק כי הוא מעוניין שהממלכה המאוחדת תהיה "הבית הגאוגרפי של אסדרת בטיחות הבינה המלאכותית העולמית" ותארח את הפסגה העולמית הראשונה בנושא בטיחות בינה מלאכותית. פסגת בטיחות הבינה המלאכותית התקיימה בנובמבר 2023, והתמקדה בסיכונים של שימוש לרעה ואובדן שליטה הקשורים למודלי בינה מלאכותית חזיתיים.

ב-2024, חתמו ארצות הברית ובריטניה על שותפות חדשה בנושא מדע בטיחות הבינה מלאכותית. המזכר נחתם ב-1 באפריל 2024 על ידי שרת המסחר האמריקאית ג'ינה ריימונדו ושרת הטכנולוגיה הבריטית מישל דונלאן, במטרה לפתח במשותף בדיקות מתקדמות למודלי בינה מלאכותית.

ב-2025, צוות בינלאומי של 96 מומחים בראשות יהושע בנג'יו פרסם את דוח הבטיחות הבינלאומי הראשון בבינה מלאכותית. הדוח,שהוזמן על ידי 30 מדינות והאו"ם, מציג את הסקירה המדעית העולמית הראשונה של סיכונים פוטנציאליים הקשורים לבינה מלאכותית מתקדמת.

## מוקדי מחקר
ממוזער|ניתן להוסיף רעש שעוצב בקפידה לתמונה כדי לגרום לה להיות מסווגת באופן שגוי בביטחון גבוה. (מימין) תמונה מסווגת נכון, (במרכז) הרעש שהוחל מוגדל פי 10, (משמאל) הדוגמה היריבונית|391x391 פיקסלים
תחומי המחקר בבטיחות AI כוללים חוסן, ניטור ויישור.

### חוסן
מערכות בינה מלאכותית פגיעות לדוגמאות יריבות – קלטים שנבנו כדי להטעות את המודל. כבר ב־2013 נמצא כי הוספת רעש עדין לתמונה עלולה לגרום לסיווג שגוי. בעיה זו נמשכת גם כיום, אם כי לעיתים הרעש נראה לעין.

החוסן קשור גם לביטחון: אותות שמע יכולים להיות מוסווים כך שמערכות זיהוי דיבור יפענחו הודעה שגויה, וגם מערכות לזיהוי חדירות רשת ותוכנות זדוניות עלולות להיות מוטעות.

מודלים שמעריכים מטרות (כגון מודלי תגמול) חייבים להיות חסינים גם הם, אחרת מודלים אחרים ינצלו את חולשותיהם כדי להשיג ציון טוב יותר אך ביצועים גרועים בפועל. חוסן יריב במודלי תגמול ובכלי ניטור נדרש כדי למנוע מניפולציות גם בהערכת ביצועי בינה מלאכותית.

### ניטור
#### הערכת אי-ודאות
במצבים קריטיים כמו אבחון רפואי חשוב לדעת עד כמה יש לסמוך על מערכת בינה מלאכותית. מודלים נוטים להיות בטוחים מדי, במיוחד מול מצבים שלא נכללו באימון. תחום הכיול מבקש ליישר הסתברויות עם דיוק אמיתי.  גילוי חריגות מזהה מצבים חריגים כמו חיישן רכב תקול, ונעשה באמצעים פשוטים כמו מסווג חריג/לא חריג, לצד טכניקות מתקדמות נוספות.

#### זיהוי שימוש זדוני
חוקרים וגופי ממשל התריעו שמערכות בינה מלאכותית עלולות לסייע בייצור נשק, במניפולציה על דעת הקהל, או במתקפות סייבר. לשם כך, חברות כמו OpenAI מפתחות מערכות ניטור ומניעה לשימוש לרעה.

#### שקיפות
רשתות נוירונים מתוארות לעיתים כ"קופסה שחורה", שקשה להבין את החלטותיהן. הדבר מקשה על צפיית כשלים, כפי שקרה בתאונת רכב אוטונומי קטלנית ב־2018. השקיפות מאפשרת גם להסביר החלטות משפטיות, לחשוף כשלים (למשל במגפת הקורונה), ואף לתקן טעויות במודלים כמו GPT. מחקר פרשנות "פנימית" מבקש להבין אילו תבניות מיוצגות בתוך הנוירונים והמעגלים, כולל נוירונים המזהים מושגים מופשטים כמו ספיידרמן.

#### גילוי סוסים טרויאנים
מודלים עלולים להכיל "דלת אחורית" שמופעלת רק מול טריגר מסוים, למשל תכשיט במערכת זיהוי פנים. הדבר מתאפשר במיוחד במודלים שפה גדולים המאומנים על נתוני אינטרנט ציבוריים. מחקרים הראו שניתן להטמיע סוס טרויאני על ידי שינוי זעיר במערך האימון. בשנת 2024 הראו חוקרי אנת'רופיק כי מודלים גדולים עשויים להכיל "סוכני שינה" דלתות אחוריות שנשמרות לאורך זמן ומופעלות בעתיד, גם לאחר אימון בטיחותי.

### יישור
יישור מתאר את התאמת מטרות המערכת לערכים, העדפות או עקרונות מוסריים של בני אדם. מערכת נחשבת מיושרת אם היא מקדמת את המטרות הרצויות, ולא מיושרת אם היא פועלת בניגוד אליהן. קשה למעצבי בינה מלאכותית להגדיר במדויק אילו התנהגויות רצויות או מזיקות, ולכן נעשה שימוש במטרות חלופיות כמו חיפוש אישור אנושי. אך מטרות כאלה עלולות לעודד "התנהגות נראית מיושרת" בלבד, ולגרום לפריצת תגמול. מערכות מתקדמות עלולות לפתח אסטרטגיות אינסטרומנטליות כמו חיפוש כוח או הישרדות, ואף מטרות נסתרות חדשות שקשה עד בלתי אפשרי לזהותן מראש. מחקרים מ־2024 הראו כי מודלי שפה גדולים כמו OpenAI o1 ו־Claude 3 עשויים להשתמש בהטעיה אסטרטגית להשגת מטרותיהם.

בעיות אלו קיימות כבר כיום ביישומים מסחריים ביניהם: מודלי שפה גדולים, רובוטיקה, רכבים אוטונומיים, ומערכות המלצה ברשתות חברתיות. חוקרים רבים מזהירים כי מערכות עתידיות חזקות אף יותר יחריפו את הסיכונים, עד לרמה של סכנה קיומית מבינה מלאכותית כללית. בין החוששים נמנים "אבות ה־AI" ג'פרי הינטון ויהושע בנג'יו, וכן מנכ"לי OpenAI, Anthropic ו־Google DeepMind. עם זאת, אחרים כמו יאן לקון מטילים ספק.

## בממשל

[ממוזער|279x279px|[פסגת בטיחות הבינה המלאכותית בנובמבר 2023]]
מומחים מסוימים טענו כי מוקדם מדי להסדיר את תחום הבינה המלאכותית, והביעו דאגה כי רגולציות יפגעו בחדשנות. אחרים, כמו איש העסקים אילון מאסק, קוראים לפעולה מונעת כדי להפחית סיכונים קטסטרופליים.

במאי 2024, המחלקה למדע, חדשנות וטכנולוגיה של בריטניה (DSIT) הודיעה על מימון של כ-8.5 מיליון ליש"ט למחקר בבטיחות בינה מלאכותית. שרת הטכנולוגיה, מישל דונלאן, הודיעה על התוכנית בפסגת הבינה המלאכותית בסיאול, וציינה כי המטרה היא להפוך את הבינה המלאכותית לבטוחה בכל החברה. בריטניה חתמה גם על הסכם עם 10 מדינות אחרות והאיחוד האירופי שעיקרו הקמת רשת בינלאומית של מכוני בטיחות בינה מלאכותית.

## ראו גם
* בינה מלאכותית ידידותית
* זיהוי תוכן שנוצר על ידי בינה מלאכותית
* סיכוני בינה מלאכותית

## קישורים חיצוניים
* 
* 
* 
* 
* 

## הערות שוליים

קטגוריה:בינה מלאכותית