GPT-3

GPT-3 (ראשי תיבות של: Generative Pre-trained Transformer 3, מילולית בעברית, טרנספורמר מאומן מראש בעל יכולת יצירה הוא מודל שפה אוטורגרסיבי, המשתמש בלמידה עמוקה כדי לייצר טקסט דמוי אנושי (כפי שאדם מוכשר היה מייצר).

GPT-3 הוא מודל חיזוי השפה מהדור השלישי בסדרת GPT-n (והיורש ל-GPT-2) שנוצר על ידי OpenAI, מעבדת מחקר לבינה מלאכותית בסן פרנסיסקו שנוסדה על ידי אילון מאסק וסם אלטמן. Four preprints were released between May 28 and July 22, 2020. לגרסה המלאה של GPT-3 קיבולת של 175 מיליארד פרמטרים של למידת מכונה. GPT-3, שהוצג במאי 2020, והיה בבדיקת בטא החל מיולי 2020, הוא חלק ממגמה במערכות עיבוד שפות טבעיות (NLP) של ייצוגי שפה שהוכשרו מראש. לפני שחרורו של GPT-3, מודל השפה הגדול ביותר היה Turing NLG של מיקרוסופט, שהוצג בפברואר 2020, עם קיבולת של 17 מיליארד פרמטרים, פחות מעשירית מאשר של GPT-3.

איכות הטקסט שנוצר על ידי GPT-3 כה גבוהה עד שקשה להבדילה מזו שכתב אדם אמיתי. שלושים ואחד חוקרי ומהנדסי OpenAI הציגו את המאמר המקורי ב-28 במאי 2020 שחשף את GPT-3. במאמרם הם הזהירו מפני הסכנות הפוטנציאליות של GPT-3 וקראו למחקר כדי להפחית את הסיכון. דייוויד צ'אלמרס, פילוסוף אוסטרלי, תיאר את GPT-3 כ"אחת ממערכות ה-AI המעניינות והחשובות ביותר שיוצרו אי פעם."

מיקרוסופט הודיעה ב-22 בספטמבר 2020 כי היא רכשה זכויות שימוש בלעדיות בקוד של GPT-3; אחרים עדיין יכולים להשתמש ב-API הציבורי לקבלת פלט, אך רק למיקרוסופט יש גישה לקוד הבסיסי של GPT-3.

בשנת 2022 שוחררה גרסה מתקדמת "GPT-3.5". יש לה תכונות מתקדמות. מנוע חיפוש Perplexity מבוסס על גרסה זו.

 ביקורות 
 בסקירה שנערכה ביולי 2020 בניו יורק טיימס, פרהאד מנג'ו אמר כי יכולתו יוצאת הדופן של GPT-3 לייצר קוד מחשב, שירה ופרוזה אינה רק "מדהימה", "מוזרה" ו"משפילה", אלא גם "די מפחידה".
 ג'רום פסנטי, ראש מעבדת ה-AI של פייסבוק, אמר כי GPT-3 אינו "בטוח", ומצביע על השפה המינית, הגזענית ומוטה ושלילית שנוצרה על ידי המערכת כאשר התבקשה לדון ביהודים, נשים, אנשים שחורים והשואה.
 נועם חומסקי הביע את ספקנותו לגבי הערך המדעי של GPT-3: "זה לא מודל שפה. זה עובד באותה מידה עבור שפות בלתי אפשריות כמו עבור שפות בפועל. לכן הוא מופרך, אם הוא נועד כמודל שפה, בקריטריונים מדעיים נורמליים ... אולי זה שימושי למטרה כלשהי, אבל נראה שזה לא אומר לנו כלום על שפה או הכרה באופן כללי."

 ראו גם
 Github Copilot
 OpenAI

קישורים חיצוניים

 הערות שוליים 

קטגוריה:ערכים שבהם תבנית אתר רשמי אינה מתאימה להוספה אוטומטית
קטגוריה:בינה מלאכותית יוצרת

קטגוריה:תוכנות שהושקו ב-2020
קטגוריה:ChatGPT