Attention Is All You Need

Attention Is All You Need (באנגלית; בתרגום חופשי לעברית: "תשומת לב היא כל-מה שנדרש") הוא מאמר מחקרי משנת 2017, המזוהה כאחד מעמודי התווך של הבינה המלאכותית המודרנית. במאמר הוצגה לראשונה ארכיטקטורת הטרנספורמר (Transformer), המחליפה רשתות חוזריות (RNN, LSTM) וקונבולוציוניות במנגנון קשב עצמי (self-attention) רב-ראשי, ובכך מאפשרת עיבוד מקבילי של רצפים ארוכים ומאיצה משמעותית את זמן האימון.

החוקרים – שמונה מהנדסים וחוקרים מ-Google Brain  ואוניברסיטת טורונטו – הדגימו במאמר שיפור ניכר במשימת תרגום מכונה מאנגלית לגרמנית לעומת רשתות עצביות חוזרות  בנות התקופה. תוצאותיהם הניחו את היסודות למודלים מתקדמים כדוגמת BERT, GPT ו-ViT, ובכך שינו את קצב הפיתוח של מודלי עיבוד שפה טבעית וראייה ממוחשבת.

החל מפרסומו אומצה ארכיטקטורת ה-Transformer ברוב יישומי הבינה המלאכותית היוצרת: ממנועי תרגום, דרך מודלים לשאלות ותשובות, ועד מערכות יצירת תמונה וטקסט כגון Stable Diffusion ו-ChatGPT. במקביל, חברות וארגונים תעשייתיים ניצלו את הפשטות והסקלביליות של המודל לפיתוח שירותים מסחריים מבוססי LLM.

נכון ליוני 2025 המאמר צוטט ביותר מ-173,000 עבודות אקדמיות, עובדה המציבה אותו בעשירייה הפותחת של המאמרים המצוטטים ביותר במאה ה-21.https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=Attention_Is_All_You_Need&btnG= השפעתו ניכרת לא רק בהתקדמות מדעית אלא גם בדיונים על עלויות אנרגיה, הטיות אלגוריתמיות ואתגרי רגולציה של מודלים ענקיים. בעוד שמבקרים מצביעים על צריכת משאבים גבוהה ועל סיכונים אתיים, הספרות המקצועית רואה בו נקודת מפנה בתולדות הלמידה העמוקה.

 רקע והכרה בצורך 
בעשור שקדם למאמר, עיבוד שפה טבעית הסתמך בעיקר על רשתות עצביות חוזרות (RNN)  וגרסאות משודרגות שלהן כגון LSTM ו-GRU. ארכיטקטורות אלו סבלו משלושה חסרונות בולטים:

 חישוב סדרתי שאינו מנצל במלואו את המקביליות של מעבדי GPU.
 קושי בלכידת תלויות ארוכות-טווח עקב התופעה המוכרת של דעיכת (או התפוצצות) גרדיאנטים.
 זמן אימון ארוך ומורכבות היפר-פרמטרית.

הוספת מנגנוני קשב (attention) לרשתות חוזריות שהוצגה לראשונה ב-2014 שיפרה את הדיוק, אך הלולאה החוזרת נותרה צוואר-בקבוק. פתרונות מבוססי רשתות קונבולוציה לרצפים, כגון *Convolutional Sequence to Sequence*, הציעו מקביליות חלקית אך דרשו עומק רב כדי להרחיב את שדה הקליטה, מה שהכביד על האימון.

לקראת 2017 נדרש מודל המנצל מאיצי GPU/TPU רוחביים ללא תלות סדרתית. צוות Google Brain הציע לבסס את המודל כולו על מנגנון קשב-עצמי, ללא שכבות חוזרות או קונבולוציות, ובכך נולד הטרנספורמר. הארכיטקטורה פותחה במקור עבור תרגום מכונה, אך החופש ממגבלות סדרתיות העניק לה סקלביליות שסללה את הדרך למודלי שפה ענקיים, ראייה ממוחשבת וחיזוי מבנה חלבונים והפכה לנקודת מפנה בלמידה העמוקה.

מסמך קודם בנושא נקרא "טרנספורמרים: תשומת לב עצמית איטרטיבית ועיבוד עבור משימות שונות", וכלל איור של שש דמויות של רובוטריקים (Transformers באנגלית).

כותרת המאמר היא התייחסות לשיר "All You Need Is Love" של הביטלס. השם "טרנספורמר" נבחר משום שג׳אקוב אוסקורייט, אחד ממחברי המאמר, אהב את צליל המילה.

כמה דוגמאות מוקדמות עליהן ניסה הצוות את ארכיטקטורת הטרנספורמר שלהם כללו תרגום מאנגלית לגרמנית, יצירת מאמרי ויקיפדיה בנושא "The Transformer" וניתוח מחרוזות. אלה שכנעו את הצוות שהטרנספורמר הוא מודל שפה למטרות כלליות, ולא מוגבל לתרגום בלבד.

 פיתוח וכתיבת המאמר 
 צוות המחקר 
המאמר נכתב על-ידי שמונה חוקרים מ-Google Brain, Google Research ואוניברסיטת טורונטו: אשיש ואסואני, נועם שזיר, ניקי פרמר, ג'אקוב אוסקורייט, ליון ג'ונס, איידן גומז, לוקאש קייזר ואיליה פולוסוחין. ארבעת הראשונים הובילו את ניסוח הארכיטקטורה, בעוד ג'ונס וגומז התמקדו ביישום קוד המקור ב-TensorFlow, וקייזר ופולוסוחין בנו את האימון וההערכה.

 תהליך הכתיבה והפרסום 
בראיונות מאוחרים, אמרו החוקרים כי הדחף העיקרי לכתיבת המאמר היה קיצור דרמטי של זמן האימון במערכות תרגום מכונה, שדרש שבועות בהגדרות RNN טיפוסיות. הטיוטה הראשונית, שכותרתה "Transformers: Self-Attention Iterative Processing for Diverse Tasks", כללה איור של שישה רובוטריקים והוגשה ביוני 2017. המאמר התקבל ל-NIPS 2017 (לימים NeurIPS) בשיעור קבלה של כ-21%, והוצג בכרזה בפברואר 2018.

בעת הכתיבה נעשה שימוש במערך נתונים WMT 2014 En-De ו-En-Fr, תוך ניצול 8 מעבדי GPU מסוג Nvidia P100. זמן האימון הכולל הופחת מכ-10 ימים (ב-GNMT) לכ-12 שעות בלבד. תרשים האימון וההערכה פורסם בקוד פתוח במסגרת פרויקט Tensor2Tensor, שחולק ברישיון Apache 2.0 ואִפשר לקהילה לאמת ולשחזר את התוצאות מהר.

לצד סקירת עמיתים בכנס, שוחרר המאמר לארכיון פתוח והצית גל שחזורים בתעשייה ובאקדמיה; בתוך שנה הופיעו יותר מ-250 עבודות המשוות או משפרות את הטרנספורמר.

לאחר פרסום המאמר, כל אחד מהכותבים עזב את גוגל כדי להצטרף לחברות אחרות או להקים סטארט-אפים. כמה מהם הביעו תחושות של חוסר יכולת לחדש ולהרחיב את הטרנספורמר בכיוון הרצוי, אילו היו נשארים בגוגל.

 ארכיטקטורת הטרנספורמר 
ממוזער| תרשים ארכיטקטורת הטרנספורמר, המחשה של מבנה המודל כפי שהוצג במאמר המקורי (2017)משמאל - מקודד (Encoder), מימין - מפענח (Decoder), כולל שכבות קשב-עצמי, האכלה קדימה, קידוד מיקום ויצירת פלט.הטרנספורמר בנוי משני רכיבים סימטריים: מקודד (encoder) ומפענח (decoder). כל אחד מהם מורכב מערימה (stack) של בלוקים זהים; הגרסה המקורית במאמר השתמשה בשישה בלוקים בכל צד. בכל בלוק משולבים מנגנון קשב-עצמי רב-ראשי, שכבת האכלה קדימה, חיבורים שאריים (residual) ועיבוד נורמליזציה.

קשב-עצמי רב-ראשי (Multi-Head Self-Attention) - מנגנון הקשב העצמי מחשב משקלים בין כל זוג מיקומים ברצף הקלט, ומאפשר למודל "להתמקד" בטוקנים רלוונטיים ללא תלות במרחקם. חישוב הקשב מבוצע במקביל בשמונה "ראשים" (heads), שכל אחד מהם לומד התפלגות משקלים נפרדת; הפלטים מאוחדים (concatenate) וממופים ל-dmodel. פירוק רכיבי ה-query, key ו-value לתתי-מרחבים קטנים מפחית עלות חישובית ומאפשר המרת מידע מגוונת.

קידוד מיקום (Positional Encoding) - מאחר שהטרנספורמר חסר מבנה סדרתי מפורש, הוא מקבל וקטורי סינוס וקוסינוס בתדרים שונים, הנוספים לקלט בשכבת האמבדינג. קידוד זה מאפשר למודל להבחין בסדר הטוקנים וללמוד יחסים יחסיים בין מיקומים.

שכבת האכלה קדימה (Feed-Forward Network) - בין פעימות קשב רצופות ממוקמת רשת הזנה קדימה, הפועלת על כל מיקום בנפרד ואורכה שני שלבי דחיסה-הרחבה (dmodel → dff → dmodel). בשימוש בערכי ברירת-המחדל dff=2048, פעולה זו מוסיפה אי-ליניאריות ומגדילה את קיבולת הייצוג.

חיבורים שאריים ונורמליזציה - הטרנספורמר משתמש בחיבור שארי (Residual) סביב כל תת-מנגנון, ולאחריו נורמליזציית שכבה (LayerNorm). מבנה זה מזרז התכנסות ומסייע בזרימת גרדיאנטים ברשת עמוקה.

מורכבות חישובית - עלות הקשב-העצמי המלא (O(n²·d)) מוגבלת בפועל על-ידי מקביליות GPU, אך בהקשרים ארוכים במיוחד (n ≫ 1,000) פותחו וריאציות Sparse/Mobile כדי להקטין את המורכבות. למאמר המקורי ב-2017 היה רצף הקלט קצר יחסית (עד 100 מילים), ולכן העלות הריבועית לא היוותה מגבלה מרכזית.

 פרטי האימון המקוריים 
הניסוי המקורי בוצע על מערכי הנתונים של תחרות WMT לשנת 2014, עבור זוגות השפות אנגלית-גרמנית (En→De) ואנגלית-צרפתית (En→Fr). לאחר סינון סטנדרטי, גודל הקורפוס עמד על כ-4.5 מיליון משפטים (≈ 90 מיליון מילים) ל-En–De וכ-36 מיליון משפטים ל-En–Fr.

 תצורת המודל (Base) 

 dmodel = 512 ; dff = 2048 מספר ראשים: 8
 שכבות: 6 מקודד + 6 מפענח
 Dropout = 0.1 ; Label Smoothing = 0.1
 סך הכול ≈ 65 מיליון פרמטרים

 היפר־פרמטרים ואופטימיזציה 

המודל אומן באופטימיזציית Adam (β₁ = 0.9, β₂ = 0.98, ε = 10⁻⁹) ובגודל Batch אפקטיבי של 25 אלף טוקנים. קצב הלמידה הותאם באמצעות פונקציית warm-up מצולעת: lr = dmodel-0.5 × min(step-0.5, step × warmup-1.5) עם 4,000 צעדי warm-up.

האימון רץ על שמונה כרטיסי Nvidia P100 למשך ≈ 12 שעות ל-En→De קיצור של יותר מ-90 אחוז לעומת GNMT מבוסס RNN (≈ 10 ימים).
+ ביצועי Transformer מול GNMT (מדד BLEU על מערך WMT 2014) מערכת  זוג שפות  ניקוד BLEU  זמן אימון Transformer (base)  En→De  27.3  כ־12 שעות Transformer (big)  En→De  28.4  כ־3 ימים GNMT (RNN)  En→De  24.6  כ־10 ימים

במקרה En→Fr, גרסת "big" של ה-Transformer (7 כרטיסי P100, dmodel = 1024, 16 ראשים) הגיעה ל-41.8 BLEU—כ-2 נק׳ שיפור על GNMT.
 קוד פתוח 

קוד המקור ופייפליין האימון פורסמו כחלק מפרויקט Tensor2Tensor תחת רישיון Apache 2.0, ותרמו לשחזור מהיר של התוצאות בקהילה.
 השפעה ואימוץ 
 אימוץ מחקרי ואקדמי 
מאז פרסומו ב-2017 נחשב ה-Transformer לאחת הארכיטקטורות המצוטטות ביותר במדעי המחשב. קצב הציטוטים השנתי טיפס מ-≈600 בשנת 2017 ל-≈45,000 בשנת 2024, והמאמר חצה 173 אלף ציטוטים ביוני 2025.

 מודלים נגזרים בולטים 
+ מודלים בולטים שנגזרו מארכיטקטורת Transformer שנה  מודל נגזר  תחום/יישום עיקרי  מקור 2018  BERT  Pre-training ל-NLP  Devlin et al. 2018  GPT-1  מודלי שפה מחוללים  Radford et al. 2020  ViT  ראייה ממוחשבת  Dosovitskiy et al. 2020  T5  המרה כללית של טקסט לטקסט  Raffel et al. 2021  AlphaFold 2  חיזוי מבנה חלבונים  Jumper et al.
 אימוץ תעשייתי 
מאז 2018 עבר Google Translate ממנוע RNN למנוע טרנספורמר, וכך השירות נעשה מהיר יותר הן בהפעלה והן בזמן ההמתנה.

ChatGPT ו-Gemini – מודלי שפה שפותחו על עקרונות קשב-עצמי סקלבילי, עם מאות מיליארדי פרמטרים.

GitHub Copilot – כלי השלמת קוד בזמן אמת הנשען על Codex (הרחבת GPT-3) ומאיץ את פרודוקטיביות המפתחים.

Stable Diffusion, Midjourney – מודלים מחוללי תמונה היוצרים יצירה אמנותית בהנחיית טקסט; משלבים בלוקים של ויז'ן-טרנספורמר בדיפיוזיה.

AlphaFold 2 – אומץ על-ידי תעשיית התרופות והביוטק לאבחון חלבונים ולגילוי תרופות.

 מדדים כלכליים 
חברת McKinsey העריכה בשנת 2024 כי טרנספורמרים בליבה של בינה מלאכותית יוצרת עשויים להוסיף 2–4 טריליון דולר לשווי הכלכלה הגלובלית בשנה.

 ביקורת ואתגרים 
במקביל להצלחתו רחבת־ההיקף של הטרנספורמר, עלו בשיח האקדמי והתעשייתי מספר סוגיות ביקורתיות
 דרישות חישוב וצריכת אנרגיה 
הרחבת הארכיטקטורה למודלי-ענק (כמו GPT-3, PaLM, Gemini) חייבה אלפי GPU או TPU ומתקני-ענן עתירי אנרגיה. חוקרים העריכו כי אימון מודל NLP גדול בודד עלול לפלוט > 284 טון CO₂—פי חמישה ממחזור חיים של מכונית. חברות שביקשו לצמצם טביעת-רגל פיתחו וריאציות Sparse Transformer ו-Low-Rank Adaptation (LoRA) כדי להפחית עלויות.
 הטיות אלגוריתמיות והזיות תוכן 
כמו מודלי שפה אחרים, טרנספורמרים גדולים לומדים מאגרי טקסט הטומנים בחובם עמדות ומיקרו-הטיות. חוקרים הזהירו מפני "תוכניות-תוכי" (Stochastic Parrots) שעלולות לשעתק דעות קדומות ולייצר מידע כוזב בביטחון גבוה. כדי להתמודד, גובשה פרקטיקת Alignment Training, הכוללת RLAIF וסינון Datasets.
 סוגיות אתיות ורגולציה 
חקיקת AI Act באיחוד האירופי (2024) וסמכויות NIST בארצות הברית מטילות על מפתחי מודלים חובה לספק שקיפות לגבי מאגרי-אימון, צריכת אנרגיה ומדדי-ביצוע. גוגל, OpenAI ואחרות אימצו דוחות Model Card מפורטים.

 שיקולי קניין רוחני 
יצירת טקסט או תמונה על ידי טרנספורמר עשויה להסתמך על נתוני אימון מוגנים בזכויות יוצרים. פסיקות בבתי משפט בארצות הברית ובריטניה (בשנים 2023–2025) ניסו להתוות גבולות בין שימוש הוגן לבין הפרה טכנולוגית של יצירות.

למרות האתגרים, קהילה רחבה ממשיכה לעבוד על מודלים יעילים ובטוחים יותר, לדוגמה Transformer Sparse, Performer (2020) ו-Mamba (2023), במטרה לשמור על ביצועים תוך הפחתת עלויות ומשאבים.
 קישורים חיצוניים 

 איך טרנספורמר עובד והקשר המפתיע שלו להופעה בתשובות של ChatGPT
 הטרנספורמרים משנים את עולם הבינה המלאכותית

 הערות שוליים 

קטגוריה:גוגל
קטגוריה:בינה מלאכותית
קטגוריה:בינה מלאכותית יוצרת
קטגוריה:דפים עם תרגומים שלא נסקרו
קטגוריה:מאמרים
קטגוריה:למידה עמוקה
|}