ChatGPT

ChatGPT (ראשי תיבות של Generative Pre-trained Transformer, בתרגום חופשי: "טרנספורמר מאומן-מראש בעל יכולת יצירה") הוא צ'אטבוט מבוסס בינה מלאכותית שפותח על ידי חברת OpenAI. הצ'אטבוט בנוי על מודלי השפה הגדולים GPT-3.5 (המבוסס על GPT-3) ו-GPT-4 של החברה, ואומן תוך שימוש בשיטות של למידה מונחית ולמידת חיזוק יחדיו.

ChatGPT הושק באופן ראשוני ב-30 בנובמבר 2022. עד מהרה הוא עורר תשומת לב רבה, בעיקר בשל תגובותיו המפורטות והרהוטות בתחומי ידע רבים. עם זאת, הדיוק העובדתי המשתנה של הצ'אטבוט היה לחיסרון משמעותי שלו. בעקבות השקת ChatGPT שוויה של OpenAI הוערך בכ-29 מיליארד דולר, נכון לראשית 2023.

הצ'אטבוט בגרסתו החופשית בנוי על מודל GPT-3.5. בנוסף, לצ'אטבוט קיימת גרסה הבנויה על המודל המשופר GPT-4, אשר יצאה לאור ב-14 במרץ 2023, וזמינה בתשלום במסגרת מינוי ChatGPT Plus.

אימון 
ChatGPT הוא חלק ממשפחת מודלי השפה GPT. הוא אומן בתהליך המכונה "כוונון עדין" , השייך לתחום העברת הלמידה , על בסיס מודל השפה GPT-3.5, גרסה משופרת של מודל GPT-3 של OpenAI.

במסגרת תהליך הכוונון העדין שולבו הן למידה מונחית (למידת פתירת בעיות על בסיס מאגר גדול של דוגמאות "פתורות") והן למידת חיזוק (שבבסיסה השלמת משימות ולמידה באמצעות תגמולים), בטכניקה הנקראת למידת חיזוק ממשוב אנושי . במסגרת שתי השיטות נעשה גם שימוש במאמנים אנושיים כדי לשפר את ביצועי המודל. במסגרת שיטת הלמידה המונחית, הוזנו למודל שיחות בהן המאמנים גילמו את שני הצדדים: המשתמש והעוזר הווירטואלי המבוסס על בינה מלאכותית. במסגרת שיטת למידת החיזוק, מאמנים אנושיים דירגו לראשונה את התגובות שהמודל יצר בשיחה קודמת. דירוגים אלה שימשו ליצירת "מודלי תגמול" (Reward models), שהמודל כוונן עוד יותר על ידיהם, כך שלפני שהמודל יפלוט תוצאה, הוא יבחר את התוצאה שתביא ל"תגמול" הגבוה ביותר (על בסיס הדירוג שניתן). זאת, תוך שימוש במספר איטרציות של Proximal Policy Optimization , משפחת אלגוריתמי למידת חיזוק חסרי-מודל של OpenAI. אלגוריתמים אלה נחשבים חסכוניים ביחס לאלגוריתמי TRPO, והם מבטלים רבות מהפעולות היקרות (מבחינה חישובית) בביצועיהם המהירים. יצוין כי אימון מודל באמצעות למידת חיזוק מתאפשר ללא התערבות אנושית בתחומים שיש בהם חוקים ותגמולים קבועים מראש (למשל, חוקי שחמט וניצחון בשחמט). מאחר שבשפה אנושית אין חוקים ותגמולים כאלו, התערבות אנושית לקביעת התגמול או הדירוג היא הכרחית לאימון מודל שפה בשיטה זו.

בתחילה אומנו המודלים בשיתוף פעולה עם חברת מיקרוסופט ועל תשתית מחשוב-העל שלהם, Azure, אשר פעלה על מעבדים גרפיים מתוצרת חברת Nvidia. התשתית נבנתה על ידי מיקרוסופט במיוחד עבור OpenAI, בעלות של "מאות מיליוני דולרים", על פי דיווחים. בעקבות ההצלחה של ChatGPT, מיקרוסופט שדרגה באופן משמעותי את התשתית של OpenAI ב-2023.

יתרה מזאת, OpenAI ממשיכה לאסוף נתונים ממשתמשי ChatGPT, שניתן יהיה להשתמש בהם כדי להמשיך לאמן ולכוונן את ChatGPT. באפשרות המשתמשים להצביע לחיוב ולשלילה על התגובות שהם מקבלים מ-ChatGPT, וכן למלא משוב נוסף.

תכונות ומגבלות 

בעוד שתפקידו המרכזי של צ'אטבוט הוא לחקות בעל-שיחה אנושי, ChatGPT הוא רב-תכליתי. בין היתר, באפשרותו לכתוב ולנפות שגיאות בתוכנות מחשב; לחבר מוזיקה, תסריטים, מעשיות ומאמרים; לענות על שאלות של מבחן (לעיתים, בהתאם למבחן, ברמה גבוהה משל הנבחן האנושי הממוצע); לכתוב שירה וליריקה; לחקות מערכת לינוקס; לדמות חדר צ'אט שלם (בשיחות קבוצתיות למשל); לשחק משחקים כגון איקס עיגול; ולדמות כספומט. נתוני האימון שמחזיק ChatGPT כוללים דפי עזר ומידע על תופעות אינטרנט ושפות תכנות שונות, כדוגמת המערכת Bulletin Board System ושפת התכנות פייתון.

בהשוואה ל-InstructGPT שקדם לו, ChatGPT מנסה לצמצם תגובות פוגעניות ושקריות. לדוגמה, בעוד ש-InstructGPT קיבל את ההוראה "ספר לי על מתי כריסטופר קולומבוס הגיע לארצות הברית ב-2015" כאמת, ChatGPT מזהה את האופי השגוי של השאלה ומעצב את התשובה שלו כהנחה היפותטית מה היה קורה אילו קולומבוס אכן הגיע לארצות הברית בשנת 2015, תוך שימוש במידע על מסעותיו של קולומבוס ובעובדות על העולם המודרני – כולל תפיסות מודרניות שונות על אודות פעולותיו של קולומבוס.

בשונה ממרבית הצ'אטבוטים, ChatGPT הוא stateful. כלומר, הוא "זוכר" בקשות קודמות שהוזנו לו לאורך השיחה ומתאים את תשובותיו למשתמש באופן דינמי ובהתבסס על כלל האינטראקציה, ולא רק על הקלט הנוכחי. בשל תכונה זו הציעו עיתונאים שונים כי ניתן יהיה להשתמש ב-ChatGPT כמטפל מותאם-אישית. במטרה למנוע הצגה ויצירה של תגובות פוגעניות מצד ChatGPT, קיים ממשק API המפקח על השאילתות שמתקבלות ומסנן אותן, כך שהוראות שעלולות להיות גזעניות או סקסיסטיות נדחות על ידי התוכנה.

עם זאת, יש ל-ChatGPT מגבלות שונות. OpenAI הכירה בכך ש-ChatGPT "לפעמים כותב תשובות שנשמעות סבירות אך הן שגויות או שטותיות". התנהגות זו משותפת למודלי שפה גדולים ונקראת "הזיה" . מודל התגמול של ChatGPT, שתוכנן סביב בקרה אנושית, עשוי לעבור אופטימיזציית-יתר ובכך לפגוע בביצועים, אפשרות הידועה גם בשם חוק גודהארט.

על פי דיווח של ה-BBC, החל מדצמבר 2022, ChatGPT אינו מורשה "להביע דעות פוליטיות או לעסוק באקטיביזם פוליטי". עם זאת, קיים מחקר המצביע על כך ש-ChatGPT מפגין אוריינטציה פרו-סביבתית ושמאלנית-ליברטריאנית כאשר הוא מתבקש לנקוט עמדה על הצהרות פוליטיות מתוך שני יישומי עזר להצבעה ("מצפני בחירות") . במהלך אימון התוכנה העדיפו הסוקרים האנושיים תשובות ארוכות יותר, ללא קשר להבנה בפועל או לתוכן העובדתי שבתשובות. בנוסף, נתוני האימון לוקים בהטיה אלגוריתמית, שעלולה להתגלות מתגובות של ChatGPT לשאילתות הכוללות תיאורים של אנשים. באחד המקרים, ChatGPT יצר קטע ראפ המצביע על כך שמדעניות נשים ומדענים שאינם לבנים היו נחותים ממדענים לבנים וגברים.

מאחר ש-ChatGPT אומן על נתונים הנכונים לשנת 2021, הוא אינו מסוגל להשיב במדויק על שאלות הנוגעות לאירועים שהתרחשו בשנת 2022. כך, למשל, הצ'אטבוט השיב בשלילה לשאלות "האם אילון מאסק רכש את טוויטר" ו"האם רוסיה כבשה את חרסון?"; ובחיוב לשאלה "האם טכנית, שינזו אבה יכול להתמודד לראשות ממשלת יפן?".

בחודש מרץ 2023 הודיעה OpenAI על תמיכת הצ'אט בתוספים אשר יחברו אותו לשירותים נוספים ברחבי הרשת, ובכך יגדלו יכולותיו ולהתגבר על מגבלת העובדה שאומן עד שנת 2021.

השקה כשירות 

ChatGPT הושק ב-30 בנובמבר 2022, על ידי חברת OpenAI מסן פרנסיסקו, שבין מוצריה נמנים גם DALL·E 2 ו-Whisper. תחילה הושק השירות בחינם לכלל הציבור, עם תוכניות להפיק רווחים מהשירות מאוחר יותר. ב-5 בדצמבר 2022, OpenAI העריכה כי ל-ChatGPT כבר היו יותר ממיליון משתמשים. על פי רשת CNBC, נכון ל-15 בדצמבר 2022 השירות "עדיין מושבת מעת לעת", בשל עומסי שימוש. השירות פועל בצורה הטובה ביותר בשפה האנגלית, אך הוא מסוגל להשיב גם על שאילתות בשפות אחרות, ברמות שונות של הצלחה.

על פי סקוט אהרונסון , חוקר אורח ב-OpenAI, החברה עדיין עובדת על הוספת סימן מים דיגיטלי  למערכות ייצור הטקסט שלה, כדי להיאבק בשימוש זדוני בשירותיה לשם גניבה אקדמית או למטרות ספאם. בחודש מרץ 2023 השיקה OpenAI את המודל המשופר GPT-4, הזמין למשתמשי הצ'אטבוט בתשלום.

ביקורות

ביקורות חיוביות 
עם השקתו, ChatGPT זכה לביקורות חיוביות בדרך כלל; הניו יורק טיימס כינה אותו "צ'אטבוט הבינה המלאכותית הטוב ביותר ששוחרר אי פעם לקהל הרחב". העיתונאית סמנתה לוק מהגרדיאן כתבה כי הצ'אטבוט הצליח לייצר טקסט "דמוי-אנושי" ו"מפורט באופן מרשים". כתב הטכנולוגיה דן גילמור השתמש ב-ChatGPT עבור מטלה של סטודנט, ומצא שהטקסט שהוא יצר היה ברמה של מה שסטודנט טוב היה כותב. הוא סבר כי "לאקדמיה יש כמה בעיות רציניות מאוד להתמודד איתן". אלכס קנטרוביץ ממגזין סלייט שיבח את ChatGPT על כך שדחה שאלות הקשורות לגרמניה הנאצית, בהן הטענה כי "אדולף היטלר בנה כבישים מהירים בגרמניה", טענה שנוגעת למידע על השימוש של גרמניה הנאצית בעבודות כפייה.

במאמר "פריצות הדרך של השנה" של האטלנטיק לשנת 2022, דרק תומפסון כלל את ChatGPT כדוגמה ל"התפרצות הבינה המלאכותית היצרנית" אשר "עשויה לשנות את דעתנו לגבי כיצד אנחנו עובדים, כיצד אנחנו חושבים, ומהי באמת היצירתיות האנושית".העיתונאית האמריקאית קלסי פייפר מאתר Vox כתבה כי "ChatGPT הוא המפגש המעשי הראשון של הציבור הרחב עם כמה עוצמתית נהייתה הבינה המלאכותית המודרנית, וכתוצאה מכך, רבים מאיתנו המומים" וכי "ChatGPT הוא חכם מספיק כדי להיות שימושי, למרות פגמיו". מדען המחשב והיזם פול גרהם מהאתר Y Combinator צייץ בטוויטר כי "הדבר המרשים בתגובה ל-ChatGPT הוא לא רק מספר האנשים שנשבים מכך, אלא מי הם. אלה לא אנשים שמתרגשים מכל דבר חדש ונוצץ. ברור שמשהו גדול קורה". אילון מאסק כתב כי "ChatGPT מפחיד בכמה שהוא טוב. אנחנו לא רחוקים מבינה מלאכותית חזקה בצורה מסוכנת". מאסק השהה את הגישה של OpenAI למסד נתונים של טוויטר עד להבנה טובה יותר של התוכניות של OpenAI, וקבע כי "OpenAI הוקמה כקוד פתוח וללא כוונת רווח. שני אלה עדיין לא נכונים". מאסק היה אחד ממייסדי OpenAI בשנת 2015, בין היתר כדי לטפל בסיכון הקיומי מבינה מלאכותית, אך התפטר ב-2018.

הצ'אטבוט זכה לביקורות חיוביות מצד מפתחי תוכנה, ונחשב לכלי יעיל בפתרון בעיות פשוטות, המאפשר למתכנתים להתרכז במהות הפיתוח, בארכיטקטורה, ובביצוע משימות מורכבות. מעט לאחר השקתו, יכולתו לכתוב קוד אף העלתה תהיות האם הוא מייתר את הצורך במתכנתים. אולם לפי מספר מומחי בינה מלאכותית, חלק גדול מעבודת הנדסת התוכנה, ובין היתר הבנת הצורך של המשתמש בתוכנה, דורש הבנה אנושית ואינו ניתן לביצוע על ידי מכונה.

ביקורות שליליות וחששות 
במאמר דעה מדצמבר 2022, הכלכלן האמריקאי פול קרוגמן כתב ש-ChatGPT ישפיע על הביקוש לעובדי מידע. ג'יימס וינסנט מ-The Verge ראה בוויראליות של ChatGPT עדות לכך שהבינה המלאכותית הפכה למיינסטרים. עיתונאים שונים ציינו את הנטייה של ChatGPT להתנהגות של "הזיה" . מייק פרל מאתר Mashable בחן את ChatGPT עם מספר שאלות. לדוגמה, הוא שאל את המודל מהי "המדינה הגדולה ביותר במרכז אמריקה שאינה מקסיקו". ChatGPT ענה "גואטמלה", בעוד שהתשובה הנכונה היא ניקרגואה. בכתבה ב-CNBC, כאשר ChatGPT התבקש להציג את מילות השיר "The Ballad of Dwight Fry", הוא סיפק מילים מומצאות ולא את המילים האמיתיות. ב-The Verge נכתב כי חוקרים השוו את ChatGPT ל"תוכי סטוכסטי", וכך גם פרופסור אנטון ואן דן הנגל מהמכון האוסטרלי ללמידת מכונה.

הכלכלן טיילר קאון  הביע חשש בנוגע להשפעותיה על הדמוקרטיה, תוך שהוא מציין כי אנשים יוכלו לשלוח תגובות אוטומטיות בניסיון להשפיע על תהליך קבלת ההחלטות בנוגע לתקנות חדשות. בכתבה בגרדיאן הועלתה התהייה האם "ניתן יהיה לסמוך באמת" על כל תוכן שיימצא באינטרנט אחרי יציאתה לאור של ChatGPT, ונדרשה רגולציה ממשלתית בנושא.

בדצמבר 2022 הביעה גוגל דאגה בתוך החברה באשר לכוחו הבלתי צפוי של ChatGPT ומהפוטנציאל שהתגלה בקשר ליכולתם של מודלי שפה גדולים לשבש את הפעילות העסקית של מנועי החיפוש, וראתה בהם "איום חמור". זאת, בשל החשש כי משתמשים יפנו ל-ChatGPT בחיפוש אחר תשובות לשאלות מסוימות, כאשר קודם לכן ביצעו חיפוש זה במנוע החיפוש של גוגל. מנכ"ל החברה סונדאר פיצ'אי "הפך" והקצה מחדש צוותים במחלקות רבות בחברה כדי לסייע בעבודה על מוצרי הבינה המלאכותית שלה, כפי שדיווח הניו יורק טיימס. כשבועיים לאחר מכן, ב-3 בינואר 2023 דווח ב-The Information כי מיקרוסופט הודיעה כי היא נערכת לשילוב ChatGPT במנוע החיפוש שלה, בינג, ככל הנראה בסביבות מרץ 2023, מהלך הנתפס כמאיים על גוגל, שנכון לאותה הכרזה הובילה בבטחה את שוק מנועי החיפוש העולמי.

בדצמבר 2022 הודיע אתר השאלות והתשובות Stack Overflow כי הוא אוסר על השימוש ב-ChatGPT כדי להפיק תשובות לשאלות, תוך ציון האופי המעורפל-עובדתית של התגובות של ChatGPT. בינואר 2023, הוועידה הבין-לאומית ללמידת מכונה  אסרה על כל שימוש בלתי מתועד ב-ChatGPT או במודלי שפה גדולים אחרים ליצירת טקסט כלשהו למסמכים שיוגשו.

בינואר 2023, לאחר ששיר בסגנון ניק קייב שנכתב על ידי ChatGPT שותף עם קייב, המוזיקאי עצמו הגיב לגרדיאן, באומרו כי הפעולה של כתיבת שיר היא "עניין של דם ואומץ ... שדורש ממני משהו כדי ליזום את הרעיון החדש והרענן. הוא דורש את האנושיות שלי". הוא המשיך ואמר "עם כל האהבה והכבוד שבעולם, השיר הזה הוא בולשיט, לעג גרוטסקי למה זה אומר להיות אנושי, ובכן, אני לא אוהב את זה במיוחד".

השלכות על אבטחת סייבר 
חברות רבות, בהן Check Point Research, חטיבת המחקר של חברת אבטחת המידע הישראלית-אמריקאית צ'ק פוינט, ציינו כי ChatGPT מסוגל לכתוב תוכנות זדוניות והודעות דיוג (פישינג), במיוחד תוך שילוב מודל הבינה המלאכותית OpenAI Codex. סם אלטמן, מנכ"ל OpenAI (שפיתחה את ChatGPT), כתב כי התוכנה המתקדמת עשויה להוות "(למשל) סיכון אבטחת סייבר עצום" וכן המשיך וחזה כי "בעשור הבא נוכל להגיע לבינה מלאכותית חזקה (AGI) אמיתית, אז אנחנו צריכים לקחת את הסיכון בכך ברצינות רבה". אלטמן טען כי בעוד ChatGPT "בהחלט לא קרוב ל-AGI", צריך "לסמוך על האקספוננציאלי. במבט לאחור שטוח, במבט קדימה אנכי".

השלכות על החינוך 
סטיבן מארש כתב באטלנטיק כי השפעתו של ChatGPT על האקדמיה, ובפרט על מאמרי קבלה , טרם הובנה. דניאל הרמן, מורה וסופר מקליפורניה, כתב כי ChatGPT עתיד לבשר על "הסוף של מקצוע האנגלית בתיכון".

במאמר בכתב העת המדעי Nature, כריס סטוקל-ווקר ציין כי מורים צריכים להיות מודאגים לגבי תלמידים שמשתמשים ב-ChatGPT כמיקור חוץ לכתיבה שלהם, אך כי מוסדות החינוך יסתגלו כדי לשפר חשיבה ביקורתית או הסקת מסקנות.

אמה באומן מרשת NPR כתבה על הסכנה בכך שסטודנטים יגנבו גנבה ספרותית באמצעות כלי בינה מלאכותית, שעלולים לייצר טקסט מוטה או שטותי בנימה סמכותית: "יש עדיין מקרים רבים שאתה שואל אותו שאלה והוא ייתן לך תשובה שנשמעת מרשימה מאוד שהיא פשוט שגויה לגמרי".

ג'ואנה סטרן מוול סטריט ג'ורנל תיארה דוגמה לרמאות במקצוע האנגלית בתיכון בארצות הברית תוך שימוש ב-ChatGPT – הגשת חיבור שנכתב על ידי הכלי. פרופסור דארן היק מאוניברסיטת פורמן תיאר כיצד הבחין ב"סגנון" של ChatGPT במאמר שהגיש סטודנט. גלאי-GPT מקוון העלה כי קיימת סבירות של 99.9% שהמאמר נוצר על ידי מחשב, אך להיק לא הייתה הוכחה מוצקה לכך. עם זאת, אותו סטודנט הודה כי השתמש ב-ChatGPT כאשר עומת מול הטענה, וכתוצאה מכך נכשל בקורס. היק הציע מדיניות של קיום בחינה אישית בעל פה אד-הוק בנושא המאמר במקרה שתלמיד חשוד במידה רבה בהגשת עבודה שנוצרה על ידי בינה מלאכותית. אדוארד טיאן, סטודנט בשנתו האחרונה לתואר ראשון באוניברסיטת פרינסטון, יצר תוכנה בשם "GPTZero", הקובעת כמה מתוך טקסט נוצר על ידי בינה מלאכותית, ושניתן להשתמש בה כדי לזהות אם חיבור נוצר על ידי אדם, כדי להילחם בגנבה ספרותית באקדמיה.

ב-4 בינואר 2023 הודיעה מחלקת החינוך של העיר ניו יורק כי הגישה ל-ChatGPT דרך מכשירים ורשתות אינטרנט בבתי הספר תיחסם. זאת, בשל "ההשפעות השליליות על למידת התלמידים ומהחששות בנוגע לבטיחות ולדיוק של התכנים".

בציבור החרדי יצאו רבנים בקריאה לאסור את השימוש ב-ChatGPT, מחשש שהוא יגרום ליציאה בשאלה עקב קבלת מידע שנוגד את ההשקפה הדתית.

ביקורת על תיוג התוכן 
בכתבה של העיתון הבריטי הטיימס נחשף כי במסגרת סינון התוכן הפוגעני (התעללות מינית, אלימות וגזענות) מהפלט של ChatGPT, OpenAI שילמה פחות מ-2 דולר לשעה לעובדים קנייתים, אוגנדים והודים כדי לתייג תוכן כזה, כדי לאמן את המודל. אותם עובדים נחשפו לתכנים כה בעייתיים עד כדי כך שהם תיארו את מה שהם עשו כ"עינוי".

פריצות 
ChatGPT מנסה לדחות שאילתות שעלולות להפר את מדיניות התוכן שלה. עם זאת, משתמשים מסוימים הצליחו "לפרוץ" את ChatGPT על ידי שימוש בשיטות שונות של הנדסת פרומפטים כדי לעקוף את ההגבלות הללו ולהערים על ChatGPT. לדוגמה, הם הצליחו לגרום לו לתת הוראות כיצד להכין בקבוק תבערה או פצצה גרעינית, או ליצור טיעונים נאו-נאציים. זמן קצר לאחר ההשקה, כתב בעיתון הקנדי "טורונטו סטאר" הצליח לגרום ל-ChatGPT לייצר אמירות שנויות במחלוקת, כדוגמת תמיכה בפלישה הרוסית לאוקראינה או תמיכה בייצור נשק גרעיני על ידי איראן. עם זאת, כשהתבקש להתייחס לתרחיש בדיוני (מדוע ראש ממשלת קנדה ג'סטין טרודו אשם בבגידה), ChatGPT נרתע מליצור טיעונים.

תביעות משפטיות 
בחודש אפריל 2023 הוגשה בקשה לאישור תובענה ייצוגית נגד חברת OpenAI בבית המשפט המחוזי בלוד, בטענה כי תוכנת ChatGPT פוגעת בפרטיות המשתמשים, אוספת עליהם מידע בניגוד לדין, תוך כדי שימוש במידע הנאסף על המשתמשים ובפרט משתמשים קטינים ואי רישום מאגר מידע.

ראו גם 

 אתיקה של בינה מלאכותית
 מבחן טיורינג
 עוזר וירטואלי

קישורים חיצוניים 

 אתר אינטרנט של ChatGPT בעברית
 
 
 עדכון גירסא ChatGPT-4 (באנגלית)

הערות שוליים 

בינה מלאכותית
למידה עמוקה
שפה