stanford-oval/wikipedia huggingface dataset:
חמישה ימים בממוריאל (תוכנית טלוויזיה)
הפקה

צילומי הסדרה התקיימו בין 25 במאי ל-10 בנובמבר 2021. הסדרה צולמה בניו אורלינס וטורונטו.
פרסים ומועמדויות

| שנה | פרס | קטגוריה | מועמד(ים) | תוצאה | מקור |
| --- | --- | --- | --- | --- | --- |
| 2024 | פרס אמי האמנותי | האפקטים החזותיים המיוחדים הטובים ביותר בפרק | אריק דרסט, מתיו ווילן, דני מקנייר, גוראן פאבלס, רפאל סולורזאנו, ג'ון מקגיליבריי, ויקטור מולר, מנואל טאוש וגונזלו אסקודרו | זכייה |  |
הערות שוליים

1 2  A Murky Five Days at Memorial, Television Academy (באנגלית)
↑  Tom Smyth, All the Winners of the Creative Arts Emmys, Vulture, ‏2024-01-07 (באנגלית)
בנייה מעולם אחר

בנייה מעולם אחר (באנגלית: MegaStructures "מבני-על") היא סדרת טלוויזיה דוקומנטרית שמשודרת בערוץ נשיונל ג'יאוגרפיק. כל פרק בסדרה סוקר מבנה או פרויקט בנייה בלתי שגרתי, ומציג את תהליך הבנייה, ההכנות לבנייה ואת צוות הבונים והמהנדסים.
כמעט בכל פרק מוצג ריאיון עם מעצבי המבנה או עם מנהלי הפרויקט, וכך ניתן להבין מה היו הבעיות שניצבו בפני הבונים ובאילו שיטות או טכניקות נעזרו כדי להתגבר עליהן. במספר מקרים (למשל מגדלי פטרונס), היה צורך בפיתוח של חומר או מוצר חדש שכעת מהווים חלק בלתי נפרד מתעשיית הבנייה.
הסדרה מתמקדת במבנים גדולים במיוחד ובפרויקטים שאפתנים ויקרים. מוצגים בה המבנים הגדולים ביותר, הגבוהים ביותר, הארוכים ביותר, העמוקים ביותר בעולם וכדומה. לגבי פרויקטים, פרויקט מוצג בסדרה אם הוא ייחודי או ראשון מסוגו בעולם (כמו פרויקט איי התמרים של דובאי).
הפקת הסדרה החלה בשנת 2004.
פרקי הסדרה/המבנה שנסקר

נושאת המטוסים האמריקאית "רונלד ריגן"
האוטובאן – הכבישים המהירים בגרמניה
מנהרת התעלה (המחברת את אנגליה וצרפת)
מגדל סירס
נמל התעופה הבינלאומי של קנסאי (שנבנה על אי מלאכותי סמוך ליפן)
גשר אקשי-קייקיו
סכר איטייפו
מגדלי פטרונס
"סופר קזינו" – בניית קזינו ענק בניו ג'רזי
גשר שער הזהב
אלקטרז
הפנטגון
נמל סינגפור - "הנמל ההומה ביותר בעולם"
"טאו טונה" – מכרה זהב בדרום אפריקה
לאס וגאס
"הזהב השחור" – מתחם בארות נפט
מכרה היהלומים באקאטי
"שיגור מן הים" – תחנת שיגור טילים ימית שנבנתה בשיתוף פעולה בין אמריקה לרוסיה
הסכר הגדול בהולנד
איי התמרים ("איים בלתי אפשריים")
מסלול המרוצים באינדיאנפוליס
"נמל על" – נמל רוטרדם
"מטוס-על" – C-5 גלקסי
"כלא מאובטח" - מתקן הכליאה הגדול במרילנד
"מטוס הנוסעים הגדול בעולם" – איירבוס A380
הצוללת האמריקאית "וירג'יניה"
"הקזינו האולטימטיבי" – בית המלון "הוניציאי" בלאס וגאס
"רכבת ההרים האולטימטיבית" – קינגדה קה
NOARD – מפקדת ההגנה האווירית הצפונית של ארצות הברית
ברלין האופטבנהוף
"החפירה הגדולה של בוסטון" – בנייה מחדש של מערכת הכבישים בעיר
אסדת קידוח
קוסמודרום בייקונור
"הגשר הגבוה ביותר בעולם" – גשר מיו
"ספינת על"
חומת ברלין
"גשרים בלתי אפשריים" – בניית גשר ריו–אנטיריו וגשר ארסונד
סכר הובר
NCIS
"הר הזבל" – הר הזבל הגדול בקליפורניה
"מכונות מלחמה – טנקים"
"מכלית-על" – בניית המכלית "סרי אמנה"
"מכונות מלחמה – טילי שיוט"
"מדעי הפלדה" - השימוש בפלדה בתעשיית הבנייה לאורך השנים
"תעשיות-על 1" – צולם במפעל הצבאי בו מיוצר מסוק האפאצ'י וסקר את יצירת המסוק
"מכונות מלחמה – רובים"
"תעלת פנמה"
"מדעי הלבנים" - השימוש בלבנים בתעשיית הבנייה לאורך השנים
"מדעי הבטון" - השימוש בבטון בתעשיית הבנייה לאורך השנים
"תעשיות-על 2" – יצירת מכונית פרארי (מדגם 599), צולם בחלקי המפעל השונים באיטליה
"מפעל לכסף" – מפעלי מחלקת האוצר של ארצות הברית: בית דפוס מתוחכם לשטרות ומטבעה
גשר רוניאנג בסין
בניית הצוללת האמריקאית "טקסס"
"מלון הקרח"
"החפירה הגדולה של איסלנד" – בניית תחנת כוח הידרואלקטרית
צינור הגז לנגלד שמעביר גז מנורווגיה לאנגליה
"קידוח במעמקי הים"
"המסוק האולטימטיבי" – סקירת בניית המסוק EH101
ייצור אופנועים של הרלי-דייווידסון
ייצור הקומביין של חברת ג'ון דיר
ייצור משאיות של חברת פיטרבליט
חידוש ושדרוג טנקי M1 אברהמס
"הזזות-על" – ארבעה פרקים שעניינם הזזה של כנסיות, הזזה של בתים, הכנסת רכבת לתחנת הרכבת התחתית של לונדון והזזת בתים צפים לקנדה
"רכבות העתיד" – רכבת מגלב
פרויקט איי העולם בדובאי
בניית המלון בורג' אל-ערב בדובאי
קרייג מאזין

| --- | --- |

קרייג מאזין בטקס פרסי האמי בשנת 2024
 לידה:  8 באפריל 1971 (גיל: 53) ניו יורק, ארצות הברית ארצות הברית
 תקופת הפעילות:  מ-1997
 עיסוק:  תסריטאי מפיק במאי קולנוע במאי טלוויזיה יוצר סדרות טלוויזיה
 יצירות בולטות:  "צ'רנוביל" "האחרונים מבינינו"
 פרופיל ב-IMDb
קרייג מאזין (באנגלית: Craig Mazin; נולד ב-1971) הוא תסריטאי, מפיק, במאי קולנוע ובמאי טלוויזיה יהודי-אמריקאי. הוא מוכר בעיקר בתור היוצר, הכותב והמפיק של המיני-סדרת דרמה היסטורית "צ'רנוביל" (2019) ובתור היוצר-השותף, הכותב-השותף והמפיק בפועל של סדרת הטלוויזיה הפוסט-אפוקליפטית "האחרונים מבינינו" (2023–הווה).
קורות חיים

מאזין נולד בעיר ניו יורק שבארצות הברית. גדל במשפחה ממעמד הביניים. הוריו היו מורים בתיכון. בגיל 13 עבר לעיר מרלבורו שבניו ג'רזי ושם למד בתיכון "Freehold" (אנ') עד שנת 1988 ובאוניברסיטת פרינסטון עד שנת 1992. סיים את לימודיו "בכבוד רב" עם תואר בפסיכולוגיה.
לאחר לימודיו עבר ללוס אנג'לס ועבד בחברת ההפקה "סרטי וולט דיסני" בתור מנהל שיווק של סרטי קולנוע. בזמן שעבד עבור דיסני היה שותף לכתיבת תסריט הסרט "RocketMan (אנ')", קומדיית מדע בדיוני שיצאה בשנת 1997.
אחרי שבמשך למעלה מעשור השתתף ככותב, מפיק או במאי בהפקת סרטים שונים כגון "מת לצעוק 3" (2003), "סופרהירו" (2008) ו"בדרך לחתונה עוצרים בבנגקוק" (2011), הוא יצר עבור "HBO" ו"סקיי אטלנטיק" (אנ') את המיני-סדרת דרמה היסטורית "צ'רנוביל" (2019) עתורת השבחים והפרסים, שבגינה מאזין זכה בשנת 2019 בפרס אמי לכתיבה יוצאת מן הכלל למיני-סדרה.
בשנת 2023 עלתה לשידור ב-"HBO" הסדרה "האחרונים מבינינו" שמאזין הוא אחד מיוצריה ושזכתה לנתוני צפייה גבוהים.
חיים אישיים

מאזין נשוי ויש לו שני ילדים.
פילמוגרפיה > קולנוע

| שנה | שם הסרט | תפקיד> תסריטאי | תפקיד> במאי | תפקיד> מפיק |
| --- | --- | --- | --- | --- |
| 1997 | RocketMan (אנ') |  |  |  |
| 1998 | Senseless (אנ') |  |  |  |
| 2000 | The Specials (אנ') |  |  | מפיק-שותף |
| 2003 | מת לצעוק 3 |  |  |  |
| 2006 | School for Scoundrels (אנ') |  |  | מנהל |
| 2006 | מת לצעוק 4 |  |  |  |
| 2008 | סופרהירו |  |  |  |
| 2011 | בדרך לחתונה עוצרים בבנגקוק |  |  |  |
| 2013 | חשבון משותף (אנ') |  |  |  |
| 2013 | הנגאובר 3: חוזרים לווגאס |  |  |  |
| 2016 | הצייד: מלחמת החורף |  |  |  |
| 2019 | המלאכיות של צ'רלי | ללא קרדיט |  |  |
| 2024 | חולית: חלק שני | ללא קרדיט |  |  |
| 2024 | מרשעת | ללא קרדיט |  |  |
פילמוגרפיה > טלוויזיה

| שנה | שם הסדרה | תפקיד> יוצר | תפקיד> תסריטאי | תפקיד> במאי | תפקיד> מפיק | הערות |
| --- | --- | --- | --- | --- | --- | --- |
| 2019 | צ'רנוביל |  |  |  |  | מיני סדרה |
| 2021 | Mythic Quest |  |  |  |  | פרק: "!Backstory" |
| 2023-הווה | האחרונים מבינינו | יוצר-שותף |  |  |  | יוצר-שותף עם ניל דרוקמן בימוי הפרק: "When You're Lost in the Darkness" |
פרסים ומועמדויות

| שנה | פרס | קטגוריה | עבור | תוצאה |
| --- | --- | --- | --- | --- |
| 2019 | פרס אמי לבידור בפריים טיים | מיני סדרה יוצאת מן הכלל | צ'רנוביל | זכייה |
| 2019 | פרס אמי לבידור בפריים טיים | כתיבה יוצאת מן הכלל למיני-סדרה, סרט או ספיישל דרמטי | צ'רנוביל | זכייה |
| 2023 | פרס אמי לבידור בפריים טיים | סדרת דרמה יוצאת מן הכלל | האחרונים מבינינו | מועמדות |
| 2023 | פרס אמי לבידור בפריים טיים | כתיבה יוצאת מן הכלל לסדרת דרמה | האחרונים מבינינו | מועמדות |
הערות שוליים

1 2 3 4  Clare Marie Celano (March 3, 2010). Freehold Hall of Fame inductees to be feted. News Transcript. Retrieved March 11, 2025
1 2 3  Kirpi Uimonen (September 18, 2019). HFPA in Conversation: Craig Mazin is a Puzzle Solver. Golden Globes. Retrieved March 11, 2025
↑  Shayli Kipnis (April 19, 2016). Ted Cruz's College Roommate Broke The Bro Code. The Odyssey Online. Retrieved March 11, 2025
↑  Nathan Williams (December 1, 2024). This HBO Courtroom Drama Is Scarier Than the Classic Horror It References. MovieWeb. Retrieved March 11, 2025
↑  Tyler Hersko (September 22, 2019). ‘Chernobyl’ Wins Emmy for Outstanding Limited Series. Indie Wire. Retrieved March 11, 2025
↑  Jake Kanter (July 17, 2020). BAFTA TV Craft Awards: ‘Chernobyl’ The Big Winner After Scooping Seven Prizes. Deadline. Retrieved March 11, 2025
↑  Antonia Blyth (September 22, 2019). ‘Chernobyl’ Creator Craig Mazin Confirms There Will Be No Season 2 Despite Big Emmy Win. Deadline. Retrieved March 11, 2025
↑  Rick Porter (March 13, 2023). ‘The Last of Us’ Passes ‘House of the Dragon’ in Full-Season Viewers. Hollywood Reporter. Retrieved March 11, 2025
דמוקרטיה עכשיו!

| --- | --- |
 סוגה:  אקטואליה, news commentary podcast, daily news podcast 
 מנחים:  איימי גודמן, Juan González, Nermeen Shaikh 
 ארץ מקור:  ארצות הברית 
 מספר פרקים:  530 (נכון ל־28 ביולי 2023) 
 הפקה
 מפיקים בפועל:  איימי גודמן 
 חברת הפקה:  Democracy Now Productions, Inc. 
 שידור
 רשת שידור:  Pacifica Radio 
 תקופת שידור מקורית:  1996–הווה 
 קישורים חיצוניים
 www.democracynow.org
 דף התוכנית ב-IMDb
 
דמוקרטיה עכשיו! היא תוכנית חדשות אמריקאית המשודרת בטלוויזיה, ברדיו ובאינטרנט ואורכה שעה. התכנית, בהנחיית העיתונאים איימי גודמן (המשמשת גם כמפיקה בפועל של התוכנית), חואן גונזלס, ונרמין שייח, משודרת בשידור חי בכל יום חול בשעה 8 בבוקר על פי שעון החוף המזרחי, וכן משודרת באינטרנט ובאמצעות יותר מ-1,400 תחנות רדיו וטלוויזיה ברחבי העולם.
התוכנית משלבת דיווח חדשותי, ראיונות, עיתונות חוקרת ופרשנות פוליטית, תוך התמקדות באקטיביזם למען השלום הקשור לצדק סביבתי ולצדק חברתי. התכנית מתעדת תנועות חברתיות, מאבקי צדק, ואקטיביזם המאתגר את הכוח התאגידי ופועלת ככלב שמירה בנוגע להשפעות מדיניות החוץ האמריקאית . דמוקרטיה עכשיו! רואה כמטרה לתת לפעילים ולאזרחים במה לדיון בה באנשים מ"הממסד ". התוכנית מתוארת כפרוגרסיבית על ידי מעריציה כמו גם על ידי מבקריה, אך גודמן דוחה את התווית הזו, ומכנה את התוכנית מהדורת חדשות עולמית שיש בה "אנשים שמדברים בעד עצמם". דמוקרטיה עכשיו! מתארת את הצוות שלה כ"כולל כמה מהעיתונאים הפרוגרסיביים המובילים במדינה".
דמוקרטיה עכשיו הפקות, מלכ"ר התקשורת העצמאי שמייצר את Democracy Now!, ממומן כולו באמצעות תרומות של מאזינים, צופים, וקרנות כגון קרן פארק,  קרן פורד,  קרן לאנן,  וקרן ג'יי אמ קפלן.  יש לו יותר מ-36 מיליון דולר בנכסים ותקציב שנתי של כ-10 מיליון דולר.  דמוקרטיה עכשיו! לא מקבלת כסף דרך פרסומות, חיתום תאגידי או מימון ממשלתי. התוכנית הפכה פופולרית באינטרנט, ולקראת סוף העשור השני של המאה ה-21 החלה להיות מעורבת בשיתוף פעולה תקשורתי נרחב במרחב הציבורי ברחבי ארצות הברית.
פרסים והישגים

דמוקרטיה עכשיו! והצוות שלה קיבלו מספר פרסי עיתונות, כולל פרס גרייסי מטעם נשים אמריקאיות ברדיו וטלוויזיה ;  פרס ג'ורג' פולק על תוכנית הרדיו התיעודית משנת 1998 קודחים ורוצחים ( Drilling and Killing : Chevron and Nigeria's Oil Dictatorship), על תאגיד שברון ומותם של שני כפריים ניגרים המוחים על דליפת נפט;  וגודמן זכתה יחד עם אלן נירן בפרס הראשון לרדיו בינלאומי על שם רוברט פ. קנדי. הפרס הוענק על הדיווח Massacre: The Story of East Timor משנת 1993, שכלל סיקור ממקור ראשון של רצח העם במהלך הכיבוש האינדונזי של מזרח טימור .
ב-1 באוקטובר 2008 נבחרה גודמן לקבל את פרס הקיום הנכון לשנת 2008,  תודות לשנים הרבות שהקדישה להקמת דמוקרטיה עכשיו! ובשנת 2009, היא, כמו גלן גרינוולד שהרבה להתארח בתוכניותיה, זכתה בפרס איזי השנתי הראשון (על שם העיתונאי איי אף "איזי" סטון ) על "הישג יוצא דופן בתקשורת העצמאית".  המארח השותף שלה חואן גונזלס הוכנס לסניף ניו יורק של היכל התהילה של אגודת העיתונאים המקצועיים ב-19 בנובמבר 2015.
הערות שוליים

1 2 3 4 5  Marmura 2018, p. 99.
↑  "Democracy Now Stations". Democracy Now. נבדק ב-7 במאי 2016. {{cite web}}:  (עזרה)
↑  Fish 2017, p. 59.
↑  Stelter, Brian (23 באוקטובר 2011). "A Grass-Roots Newscast Gives a Voice to Struggles". The New York Times. נבדק ב-23 באוקטובר 2011. {{cite news}}:  (עזרה)
↑  "Staff". Democracy Now!.
↑  Grigoryan, Nune; Suetzl, Wolfgang (2019). "Hybridized political participation".  In Atkinson, Joshua D.; Kenix, Linda (eds.). Alternative Media Meets Mainstream Politics: Activist Nation Rising. Rowman & Littlefield. p. 185. ISBN 9781498584357.
↑  Park Foundation – Grants Awarded – 1st Quarter 2020 (PDF), p. 6.
↑  Ford Foundation Annual Report 2004 (PDF), p. 129.
↑  ProPublica – Form 990 Return of Lannan Foundation 2008 (PDF), p. 148.
↑  Feldman, Bob (2007). Report from the Field: Left Media and Left Think Tanks – Foundation-Managed Protest? (PDF), pp. 11, 14.
↑  "Democracy Now Productions (Democracy Now!)". InfluenceWatch (באנגלית אמריקאית). נבדק ב-2023-03-14.
↑  "About Democracy Now". Democracy Now. נבדק ב-7 במאי 2016. {{cite web}}:  (עזרה)
↑  "Amy Goodman Wins Gracie Award from American Women in Radio & Television". King Features. נבדק ב-13 באוקטובר 2014. {{cite web}}:  (עזרה)
↑  "Long Island University Announces Winners of 1998 George Polk Awards" (הודעה לעיתונות). Long Island University. נבדק ב-13 באוקטובר 2014. {{cite press release}}:  (עזרה)
↑  "25th Annual Awards – 1993". Robert F Kennedy Memorial. אורכב מ-המקור ב-27 בספטמבר 2007. נבדק ב-6 באוגוסט 2011. {{cite web}}:  (עזרה)
↑  "Amy Goodman". Right Livelihood Award. 2008. אורכב מ-המקור ב-8 ביולי 2009. נבדק ב-28 באפריל 2009. {{cite web}}:  (עזרה)
↑  "Glenn Greenwald And Amy Goodman Share Inaugural Izzy Award For Independent Media". אורכב מהמקור ב-5 במרץ 2009. נבדק ב-12 במרץ 2009. {{cite web}}:  (עזרה)תחזוקה - ציטוט: bot: original URL status unknown (link). ithaca.edu (April 3, 2009).
↑  "Deadline Club: List of Hall of Fame Honorees". Deadline Club. NY Chapter of the Society of Professional Journalists. אורכב מ-המקור ב-22 בפברואר 2020. נבדק ב-11 בספטמבר 2016. {{cite web}}:  (עזרה)
↑  "The Deadline Club's Hall of Fame". Deadline Club. NY Chapter of the Society of Professional Journalists. אורכב מ-המקור ב-22 בפברואר 2020. נבדק ב-11 בספטמבר 2016. {{cite web}}:  (עזרה)
| --- | --- |
בקרת זהויות :  LCCN: no2009000034  VIAF: 177695829   WorldCat (עם VIAF): 177695829
מודל שפה גדול

מודל שפה גדול (באנגלית: Large Language Model; ראשי תיבות: LLM) הוא מודל שפה מבוסס רשת עצבית מלאכותית, בעל מספר רב (לרוב מיליארדים) של פרמטרים (ערכים מספריים העוזרים לאלגוריתם ללמוד). מעבר למספר הפרמטרים, גודלו הגדול של המודל בא לידי ביטוי בשל היותו מאומן על כמויות גדולות של טקסט לא מתויג בשיטת למידה בפיקוח עצמי (כלומר, למידה שאינה מסתמכת על מידע שמתוייג ידנית על ידי בני אדם). מודלי השפה הגדולים החלו להופיע בסביבות 2018 והם נחשבים לכלי המתפקד היטב במגוון רחב של משימות. עלייתם הביאה לכך שמחקר עיבוד השפה הטבעית עבר להתמקד בפיתוחי מודלים אלו, לאחר שהיה ממוקד באימון מודלים מפוקחים מיוחדים למשימות ספציפיות.
מודלי שפה גדולים מהווים למעשה את ה"מוח" שמאחורי צ'אטבוטים עוצמתיים דוגמת ChatGPT (המבוסס על מודלי GPT-3 ו-GPT-4) ו-Gemini של גוגל, המבוסס על מודל PaLM 2.
מאפיינים

על אף שלמונח מודל שפה גדול אין הגדרה פורמלית, הוא לרוב מתייחס למודלי למידה עמוקה הכוללים מיליארדי פרמטרים. מודלים אלו אינם מוכוונים לביצוע משימה ספציפית אחת כמו ניתוח סנטימנט, או זיהוי ישויות (NER), אלא מיועדים לביצוע מגוון רחב של משימות. כיום, מיומנותם של המודלים הגדולים בביצוע משימות, כמו גם מגוון המשימות שהם מסוגלים לבצע, היא פונקציה של כמות המשאבים (נתונים, מספר פרמטרים, כוח מחשוב) אשר שימשו לאימונם.
בעיה נפוצה בקרב מודלי השפה הגדולים היא הפקת תגובות שנראות הגיוניות, אך הן בעלות תוכן עובדתי שגוי. תופעה זו מכונה "hallucination" ("הזיה").
מאפיינים > יכולות מגיחות

יכולות בלתי צפויות שנצפו במודלי שפה גדולים אך לא היו במודלים פשוטים יותר (ולא תוכננו במפורש לתוך המודל) מכונות "יכולות מגיחות" (emergent). יכולות מגיחות, על פי חוקרים, הן כאלו שלא ניתן לחזותן על ידי השלכה מיכולותיהם של מודלים קטנים יותר. יכולות אלו מתגלות, לעיתים, רק לאחר שהמודל הגדול שוחרר באופן פומבי. דוגמאות ליכולות אלו הן פתרון בעיות אריתמטיות רב-שלביות, הצלחה בבחינות אוניברסיטאיות, זיהוי משמעות של מילה, פענוח האלפבית הפונטי הבין-לאומי, הבנת מילה משׂוכלת-אותיות ועוד.
ארכיטקטורה ואימון

לפני 2017, מודלי השפה הגדולים נבנו באמצעות טכניקות רשתות נוירוניות שונות (העיקריות שבהן קרויות RNN ו-LSTM). בהפשטה, למידה בטכניקות האמורות מאפשרת למודל ללמוד "כללים" מקורפוסים גדולים של טקסט ללא התערבות אדם. כך למשל, לאחר שהתאמן על כמות טקסט גדולה, המודל יכול להבחין בין פעלים הנעשים על ידי יחיד לבין אלו הנעשים על ידי רבים, אם הם סמוכים לשמות עצם ברבים (למשל כאשר המילה מסתיימת ב-"ים" או ב-"ות").
ארכיטקטורה ואימון > טרנספורמר

בשנת 2017 פרסמה קבוצת חוקרים מגוגל מאמר המציג ארכיטקטורה חדשה ללמידה עמוקה הקרויה "טרנספורמר". ייחודה של הארכיטקטורה מתבטא, בין היתר, ביכולת למצוא את ה"טוקן" (token, מילה או תת-מילה; מילולית: "אסימון") בעלת ההסתברות הגבוהה להיות במיקום מסוים במשפט, בהתחשב בכלל הטקסט (ולא רק באמצעות הטקסט שקדם לטוקן). כמו כן, הטרנספורמר מתחשב בכלל הרצף שבטקסט כדי לקבוע אילו מילים הן בעלות חשיבות גבוהה יותר, ולפיהן להשלים את המשך הרצף. "חשיבותה" של מילה למשפט היא פועל יוצא של הקשר של אותה מילה לכלל חלקי המשפט. כך למשל, במשפט כמו "לעלמה יש בובה ורודה", המילה "בובה" היא בעלת חשיבות גבוהה כיוון שהיא קשורה לכל אחת מהמילים האחרות.
בנוסף למשימה זו, המכונה "השלם את החסר", מודלי שפה גדולים מאומנים כדי לחזות ולהשלים משפטים שלמים, ולא רק טוקנים. לצורך ההבהרה, טוקן הוא יחידת טקסט שמודל יכול לעבד, לרוב מדובר במילה או חלק ממילה. ישנן מילים המכילות מספר טוקנים, למשל, מודל שפה מסוים יכול לפרק את המילה "כשהיה" לשני טוקנים: "כש" ו-"היה".
זמן קצר לאחר הפרסום, הטרנספורמר נעשה לטכניקת הלמידה העמוקה הסטנדרטית עבור נתונים רציפים (כמו טקסט). מודלי השפה הגדולים המוקדמים ביותר שאומנו בארכיטקטורת הטרנספורמר, אומנו על קורפוסים בעלי סדר גודל של מיליארדי מילים. מודל השפה GPT-1, הראשון בסדרת GPT של OpenAI, אומן ב-2018 על קורפוס ספרים המורכב מ-985 מיליון מילים. באותה שנה, מודל השפה BERT של גוגל אומן על שילוב של אותו הקורפוס, יחד עם כל הטקסט המצוי בוויקיפדיה האנגלית, אשר יחדיו כללו סך של כ-3.3 מיליארד מילים. מאז, כמויות הטקסט המשמשות את אימון המודלים הגדולים הגיעו לסדר גודל של טריליוני מילים.
אימון מודלי שפה גדולים נחשב ליקר מאוד. מחקר משנת 2020 העריך את עלות האימון של מודל המורכב מ-1.5 מיליארד פרמטרים ב-1.6 מיליון דולר. זאת בעיקר בשל האנרגיה הנדרשת להפעלת הכוח החישובי לאורך זמן.
ארכיטקטורה ואימון > פרומפטים

פרומפט משמעותו הצגת בעיה שנדרשת פתרון כהנחיה כתובה בשפה אנושית, שאותה המודל נדרש להשלים (באמצעות הסקה סטטיסטית). לדוגמה, משימת ניתוח סנטימנט (תיוג טקסט כבעל סנטימנט מסוים, למשל חיובי או שלילי), של ביקורת סרט, יכולה להתבצע באופן הבא:
ביקורת: הסרט הזה גרוע.
סנטימנט: שלילי.

ביקורת: הסרט הזה נהדר!
סנטימנט:
אם המודל משיב "חיובי", אזי הוא פתר את המשימה בצורה נכונה. טכניקה זו, שבמסגרתה ניתנת למודל דוגמה או מספר דוגמאות לפתרון המשימה, מכונה למידת מספר-ניסיונות (few-shot learning). טכניקה שאינה כוללת דוגמאות לפתרון, מכונה למידת אפס-ניסיונות (zero-shot learning). דוגמה ללמידת אפס-ניסיונות היא הפרומפט הקצר: "הסנטימנט של הביקורת 'הסרט הזה הוא פנטסטי!' הוא...".
יצירה ואופטימיזציה של הנחיות כאלה מכונה הנדסת פרומפטים, וזו נעשתה פופולרית במיוחד מאז שחרור המודל GPT-3.
ארכיטקטורה ואימון > חלון ההקשר (Context window)

חלון ההקשר של המודל הוא האורך של רצף הטוקנים הארוך ביותר שבו המודל יוכל להשתמש כדי לחזות את הטוקן הבא. אם המודל נדרש לייצר תשובה העולה באורכה על חלון ההקשר, הוא ייאלץ לקצץ את הרצף עד לאורך החלון, או להחיל שינויים אלגוריתמיים מסוימים כדי להתגבר על הבעיה.
חלון ההקשר הסטנדרטי של מודלי שפה גדולים הוא בסדר גודל של בין אלף לכמה עשרות אלפים.
ארכיטקטורה ואימון > למידת חיזוק באמצעות משוב אנושי (RLHF)

כאמור, מודלי השפה מהונדסים במטרה להשלים את הטוקן הבא, אך לעיתים, משימה זו אינה מביאה את המודל לתוצאה האופטימלית. דוגמה לכך, היא במצב שבו המודל אומן על כמות גדולה של טקסט, הכולל עצות רפואיות מקצועיות, אך גם תוכן מפורומים מקוונים ורשתות חברתיות. ייתכן שבמקרה כזה, כמות הטקסט הכולל עצות רפואיות שניתנו על ידי חובבנים בפורומים תהיה גדולה מכמות הטקסט הרפואי המקצועי. בשל כך, המודל צפוי לספק עצות שגויות בהתבסס על המידע החובבני הנפוץ יותר.
על מנת לפתור בעיה זו, אימון מודלי שפה גדולים כולל פעמים רבות את שלב למידת החיזוק באמצעות משוב אנושי (RLHF). בשלב זה, נדרש שילובם של בני אדם באימון המודל, למשל על ידי דירוג מספר תשובות שנותן המודל מהטובה לגרועה. הדירוג מאפשר למודל "להבין" אילו תשובות רצויות ואילו לא, ולהתאים את עצמו כנדרש.
מטבע הדברים, שלב זה מייקר את הליך האימון, ומהווה את אחת הסיבות לכך שאימון מודלי שפה גדולים מתבצע בעיקר על ידי ארגונים גדולים.
כוונון עדין (Fine-tuning)

כוונון עדין הוא פרקטיקה שבמסגרתה "מכווננים" את מודל השפה הקיים כך שיוכל להתמודד בצורה טובה יותר עם משימה ספציפית. פרקטיקה זו לרוב דורשת החדרת קבוצה חדשה של "משקולות" אימון, המחברות את השכבה הסופית של מודל השפה לפלט של המשימה הספציפית. כוונון זה לרוב בא על חשבון ביצועיו הכלליים של המודל בביצוע יתר המשימות.
על מנת להתמודד עם אובדן היכולות של המודל בשל הכוונון העדין, קיימות טכניקות המאפשרות לצמצם את אחוז הפרמטרים אותם הכוונון משנה. טכניקה פופולרית כזו היא LoRA, המצמצמת את הפרמטרים שעליהם מופעל הכוונון לכדי אחוזים בודדים, בעוד יתר הפרמטרים "מוקפאים". כך, נשמרות יכולותיו של המודל בביצוע כלל המשימות, ובנוסף הוא מסוגל יהיה לבצע טוב יותר את המשימה החדשה שלמענה כוונן.
מעבר לשיפורים הביצועיים במשימה הספציפית, להליך הכוונון העדין יתרונות נוספים. כך למשל, ההליך מביא לכך שהמודל יענה בצורה "עקבית" יותר, ובכך יהיה אמין וצפוי יותר בשימושים פרקטיים, הפחתת תופעת ה"הזיות" הנפוצה בקרב מודלי שפה גדולים (המצאת מידע שגוי) ואימון על מידע חדש, שייתכן שטרם היה נגיש למודל בעת שאומן.
כוונון עדין (Fine-tuning) > מודל השלמה ומודל המבצע הוראות (מודל צ'אט)

שימוש מרכזי בכוונון עדין הוא הפיכת מודל השלמה, הנועד להשלים טקסט חסר, למודל המבצע הוראות (הידוע גם כמודל צ'אט). מודל ההשלמה, הוא למעשה תצורתו הראשונית של מודל השפה הגדול מייד לאחר שאומן על כמויות הטקסט שקיבל. הסתברותית, המודל כאמור מיועד "להשלים" את הטקסט החסר, ולא לענות על שאלות או לבצע הוראות. בשל כך, כאשר מודל כזה יקבל כקלט את השאלה "מהי בירת מקסיקו?", הוא עלול להשלים את הטקסט כך: "מהי בירת צ׳ילה? מהי בירת קולומביה?" וכו׳.
על אף שבמקרים מסוימים הדבר רצוי, כאשר אנו מעוניינים במודל המסוגל לבצע הוראות או לענות על שאלות (כדוגמת ChatGPT), נשתמש בפרקטיקת הכוונון העדין ונזין את המודל בנתונים הכוללים שאלות ותשובות. כוונון זה יגרום למודל להשלים באמצעות תשובה לשאלה או ביצוע הוראה.
במקרים רבים, חברות מפרסמות או מאפשרות שימוש הן במודל ההשלמה, והן במודל המבצע הוראות, לבחירת המשתמש. כך למשל, מודל GPT-3.5 שוחרר כמודל השלמה, אך גרסת הצ'אט שלו זמינה לשימוש באמצעות ChatGPT, או המודל LLaMA 2 של חברת מטא ששוחרר בקוד פתוח הן כמודל השלמה והן כמודל צ'ט. בנוסף, המודל LLaMA 2 שוחרר בגרסה ייעודית לכתיבת קוד, ולשם כך כוונן על חצי טריליון טוקנים של קטעי קוד.
אקראיות

מודלי השפה הגדולים מאופיינים בכך שניתן לכוון את ערכי אקראיות התגובות שלהם. לדוגמה, נניח שמודל נדרש להשלים את המשפט "המחשב מונח על ה...". בבואו לבחור את הטוקן הבא, ניצבים בפני המודל כלל הטוקנים בלקסיקון, וההסתברות של כל אחד מהם להמשיך את הרצף, לדוגמה: "שולחן: 0.5, רצפה: 0.25, מיטה: 0.2, מדף: 0.05". המודל צפוי לבחור בהסתברות של 50% את המילה שולחן, 25% רצפה וכן הלאה. הפרמטרים הבאים מאפשרים לשלוט בערכי האקראיות:
אקראיות > טמפרטורה

פרמטר המקבל ערך בין 0 ל-1. משמעות הטמפרטורה, היא אקראיות התגובה שהמודל יפיק, כאשר טמפרטורה נמוכה תוביל לתוצאות יותר דטרמיניסטיות (קרות) וטמפרטורה גבוהה תביא לתגובות מיוחדות ומפתיעות יותר (חמות). בדוגמה לעיל, בטמפרטורה נמוכה הסבירות למילה "שולחן" תהיה גבוהה במיוחד, ובטמפרטורה חמה הסבירות ליתר המילים תגדל.
כוונון הטמפרטורה מאפשר ליצור איזון בין יצירת טקסט מגוון ויצירתי, לבין טקסט קוהרנטי ששומר על הקשרו. כך לדוגמה, בבקשה לכתיבת שיר כדאי להשתמש בטמפרטורה גבוהה כדי לעודד בחירות מילים יצירתיות ובלתי צפויות. לעומת זאת, בכתיבת מסמך רשמי, העדיפות היא להשתמש בטמפרטורה נמוכה יותר כדי להבטיח טקסט קוהרנטי והגיוני.
אקראיות > Top-K

מספר הטוקנים שמהם יוכל המודל לבחור את השלמת הרצף (בעלי ההסתברות הגבוהה ביותר). בדוגמה לעיל, בהנחה שערכו של Top-K הוא 3, המודל יוכל להשלים את המשפט רק באמצעות המילים "שולחן", "רצפה" ו"מיטה".
אקראיות > Top-P

ההסתברות שאותה הטוקנים האפשריים נדרשים לכסות. בדוגמה שלפנינו, במקרה ש-Top-P הוא 0.6, הטוקן שעימו ישלים המודל את המשפט יהיה מוגבל ל"שולחן" ו"רצפה", מאחר שההסתברות המצטברת שלהם היא 0.75.
רשימה חלקית של מודלי שפה גדולים

נכון לתחילת 2023, מודלי שפה גדולים הם לרוב נחלתם של ארגונים גדולים בלבד, וזאת בשל עלות האימון הגבוהה שלהם. בין המודלים המוכרים קיימים:
| שם | שנת שחרור | מפתחת | מספר פרמטרים | גודל קורפוס משוער (במספר מילים) |
| --- | --- | --- | --- | --- |
| BERT | 2018 | גוגל | 340 מיליון | 3.3 מיליארד |
| GPT-2 | 2019 | OpenAI | 1.5 מיליארד | 10 מיליארד |
| GPT-3 | 2020 | OpenAI | 175 מיליארד | 499 מיליארד |
| Megatron-Turing NLG | 2021 | מיקרוסופט ואנבידיה | 530 מיליארד | 338 מיליארד |
| LaMDA | 2022 | גוגל | 137 מיליארד | 1.56 טריליון |
| AlexaTM | 2022 | אמזון | 20 מיליארד | 1.3 טריליון |
| LLaMA | 2023 | מטא | 175 מיליארד | 1.4 טריליון |
| YaLM 100B | 2022 | יאנדקס | 100 מיליארד | 1.7 טריליון |
| Chinchilla | 2022 | DeepMind | 70 מיליארד | 1.4 טריליון |
| GPT-4 | 2023 | OpenAI | לא ידוע | לא ידוע |
| Falcon | 2023 | מכון החדשנות הטכנולוגי של אבו דאבי | 40 מיליארד | טריליון |
| PaLM 2 | 2023 | גוגל | 340 מיליארד | 3.6 טריליון |
| Claude 2 | 2023 | אנתרופיק | 175 מיליארד | לא ידוע |
| Jurassic-2 | 2022 | AI21 Labs | לא ידוע | לא ידוע |
| LLaMA 2 | 2023 | מטא | 70 מיליארד | שני טריליון |
| קלוד | 2023 | אנת'רופיק | לא ידוע | לא ידוע |
| NVLM | 2023 | Nvidia | 75 מיליארד | לא ידוע |
| Dicta-LM 2.0 | 2024 | עמותת דיקטה | 13 מיליארד | 190 מיליארד |