זיהוי תוכן שנוצר על ידי בינה מלאכותית

**זיהוי תוכן שנוצר על ידי בינה מלאכותית** היא תוכנה שנועדה לקבוע אם תוכן כלשהו (טקסט, תמונה, וידאו או אודיו) נוצר באמצעות בינה מלאכותית (AI).

האמינות של תוכנות כאלה נתונה לוויכוח, ויש חששות בנוגע לשימוש אפשרי לרעה בתוכנות זיהוי בינה מלאכותית על ידי מחנכים.

## בעיות דיוק
מספר כלי זיהוי בינה מלאכותית הוכחו כבלתי מהימנים בכל הנוגע לזיהוי מדויק ומקיף של טקסט שנוצר על ידי בינה מלאכותית. במחקר שנערך על ידי ובר-וולף ועמיתיה ופורסם בשנת 2023, החוקרים העריכו 14 כלי זיהוי, כולל Turnitin  ו-GPT Zero , וגילו כי "כולם קיבלו ציון נמוך מ-80% דיוק, ורק חמישה עברו את ה-70%.

## זיהוי טקסט
במקרה של טקסט, זיהוי זה מתבצע לרוב כדי למנוע חשד להעתקה וגנבה ספרותית, בדרך כלל על ידי איתור חזרות של מילים כסימנים מובהקים לכך שהטקסט נוצר על ידי בינה מלאכותית (כולל הזיות של הבינה המלאכותית). הכלים אלו משמשים לעיתים קרובות מורים בעת בדיקת עבודות תלמידיהם, בדרך כלל באופן נקודתי. בעקבות השקת ChatGPT ותוכנות דומות ליצירת טקסטים באמצעות בינה מלאכותית, מוסדות חינוך רבים פרסמו מדיניות האוסרת על תלמידים להשתמש בבינה מלאכותית. תוכנות לזיהוי טקסט שנוצר על ידי בינה מלאכותית משמשות גם להערכת מועמדים לעבודה וכן על ידי מנועי חיפוש מקוונים.

אמצעי הגילוי הנוכחיים עשויים לעיתים להיות בלתי מהימנים ולסווג בטעות עבודה של בני אדם ככזו שנוצרה על ידי בינה מלאכותית תוך כישלון בזיהוי תוכן שנוצר על ידי בינה מלאכותית במקרים אחרים. מגזין *MIT* Technology Review  ציין כי הטכנולוגיה "התקשתה לזהות טקסט שנוצר על ידי ChatGPT לאחר שעבר סידור קל מחדש על ידי בני אדם והוסתר באמצעות כלי פרפרזה". כמו כן, נמצא כי תוכנות לזיהוי טקסטי בינה מלאכותית מפלות אנשים שאינם דוברי אנגלית כשפת אם.

שני סטודנטים מאוניברסיטת קליפורניה בדייוויס, הופנו למשרד להצלחת סטודנטים וענייני משפט (OSSJA) של האוניברסיטה לאחר שמוריהם סרקו את חיבוריהם וקיבלו תוצאות חיוביות באמצעות גלאי בינה מלאכותית; הראשון באמצעות כלי הזיהוי GPTZero, והשני באמצעות כלי זיהוי משולב ב-Turnitin. עם זאת, בעקבות סיקור תקשורתי ובדיקה מעמיקה, הסטודנטים נוקו מכל חשד לעבירה.

באפריל 2023 החליטו באוניברסיטת קיימברידג' ואוניברסיטאות נוספות מקבוצת ראסל שלא להשתמש בכלי זיהוי הטקסט של Turnitin, לאחר שהובעו חששות בנוגע לאמינותו. אוניברסיטת טקסס באוסטין בחרה לוותר על המערכת שישה חודשים לאחר מכן.

במאי 2023 השתמש פרופסור מאוניברסיטת East Texas A&M  ב-ChatGPT כדי לבדוק אם עבודות שהגישו תלמידיו נכתבו על ידו, ו-ChatGPT קבע כי כך היה. בעקבות זאת, הפרופסור איים לפסול את עבודותיהם של כל תלמידי הכיתה, למרות ש-ChatGPT אינו מסוגל לזהות כתיבה שנוצרה על ידי בינה מלאכותית. התלמידים נוקו מהאשמות (למעט אחד שהודה בשימוש בתוכנה).

מאמר שפורסם באתר Gizmodo  ביוני 2024, דיווח על אובדן משרות בקרב כותבי מאמרים ועיתונאים עצמאיים, בעקבות סיווג שגוי של עבודותיהם ככאלה שנוצרו על ידי בינה מלאכותית על ידי תוכנות זיהוי טקסטים מבוססות AI.

כדי לשפר את מהימנות זיהוי הטקסטים שנוצרו על ידי בינה מלאכותית, חוקרים בחנו טכניקות סימון מים דיגיטלי . מאמר משנת 2023 שכותרתו "A Watermark for Large Language Models" מציג שיטה להטמעת סימוני מים בלתי נראים בטקסטים שנוצרו על ידי מודלי שפה גדולים (LLMs). גישה זו מאפשרת לסמן תוכן ככזה שנוצר על ידי בינה מלאכותית ברמת דיוק גבוהה, אפילו כאשר הטקסט עבר פרפרזה או שינויים קלים. הטכניקה תוכננה להיות עדינה וקשה לזיהוי עבור קוראים רגילים, תוך שמירה על קריאות הטקסט, אך בו זמנית היא מספקת אות שניתן לזהות באמצעות כלים מיוחדים. עם זאת, למרות הפוטנציאל שלה, שיטת סימון המים מתמודדת עם אתגרים, כגון שמירה על עמידות בפני שינויים עוינים והבטחת התאמה בין מודלים שונים של בינה מלאכותית.

## זיהוי טקסט נגדי
קיימת תוכנה שנועדה לעקוף מערכות לזיהוי טקסט שנוצר על ידי בינה מלאכותית.

מחקר שפורסם באוגוסט 2023 ניתח 20 תקצירים ממאמרים שפורסמו ב-Eye Journal , אשר עברו לאחר מכן פרפרזה באמצעות GPT-4. התקצירים שעברו פרפרזה נבדקו לזיהוי גנבה ספרותית באמצעות QueText ולזיהוי תוכן שנוצר על ידי בינה מלאכותית באמצעות Originality.AI. לאחר מכן, הטקסטים עובדו מחדש באמצעות תוכנת למידת מכונה נגדית  בשם Undetectable.ai  במטרה להפחית את ציון הזיהוי של בינה מלאכותית. המחקר מצא כי Originality.AI זיהה טקסט שנוצר על ידי GPT-4 ברמת דיוק ממוצעת של 91.3%. עם זאת, לאחר עיבוד מחדש על ידי *Undetectable.ai*, דיוק הזיהוי של *Originality.AI* ירד לממוצע של 27.8%.

חלק מהחוקרים מאמינים גם שטכניקות כמו סימון מים דיגיטלי אינן יעילות, כיוון שניתן להסיר או להוסיף אותן כדי לגרום לזיהוי שגוי של תוכן ככזה שנוצר על ידי בינה מלאכותית.

## זיהוי טקסט בשפות שונות
החיסרון של רוב תוכנות זיהוי התוכן שנוצר על ידי בינה מלאכותית הוא חוסר היכולת שלהן לזהות טקסטים שנוצרו על ידי בינה מלאכותית בשפות שונות. מודלי שפה גדולים (LLMs) כמו ChatGPT, קלוד וג'מיני יכולים לכתוב בשפות שונות, אך כלים מסורתיים לזיהוי טקסט שנוצר על ידי בינה מלאכותית אומנו בעיקר באנגלית ובכמה שפות אחרות המדוברות באופן נרחב, כמו צרפתית וספרדית. פתרונות פחותים לזיהוי בינה מלאכותית יכולים לזהות טקסט שנוצר על ידי בינה מלאכותית בשפות כמו פרסית, ערבית או הינדי.

## זיהוי תמונה, וידאו ואודיו
קיימות מספר תוכנות לזיהוי תמונות שנוצרו על ידי בינה מלאכותית, לדוגמה כאלה שנוצרו באמצעות Midjourney או DALL-E. עם זאת, הן אינן מהימנות לחלוטין.

ישנם אחרים שטוענים כי הם יכולים לזהות דיפ-פייק בווידאו ואודיו, אך גם טכנולוגיה זו עדיין אינה מהימנה לחלוטין.

למרות הוויכוח סביב היעילות של סימון מים דיגיטלי, Google DeepMind מפתחת באופן פעיל תוכנה לזיהוי בשם SynthID, שפועלת על ידי הוספת סימן מים דיגיטלי שלא נראה לעין האנושית לתוך פיקסלים בתמונה.

## ראו גם
* הזיה (בינה מלאכותית)
* עיבוד שפה טבעית
* מדריך לזיהוי דיפ-פייק מאת מערך הסייבר הלאומי 

## הערות שוליים

קטגוריה:בעיות פתוחות במדעי המחשב
קטגוריה:בלשנות חישובית
קטגוריה:בינה מלאכותית