Attention (בינה מלאכותית)

טכניקות דמויות attention הופיעו עוד בשנות התשעים בתור multiplicative modules אך הגרסה המודרנית הופיעה בשנת 2017 במאמר "Attention Is All You Need". מאז פרסום המאמר, השימוש בטכניקה התפשט, והיום היא מהווה טכניקה מרכזית באימון של רשתות נוירונים.

 אופן פעולה 
השימוש ב-attention יכול לעזור ליצור הקשר, למשל במשפט "מיכאל הכי מהיר בגן, ראו כמה מהר הוא רץ" ה-attention יכול להבין שהמילה "הוא" היא מאזכר למיכאל שהוזכר בתחילת המשפט. Attention יכול גם לשמש לקישור של תמונות לטקסט, כמו במודלים גנרטיביים מסוג מודל דיפוזיה, כך שאפשר להגיד למודל לייצר תמונה של קוף בחליפת חלל לדוגמה.ממוזער|Self-Attention (קשב עצמי) X- מטריצה בגודל 4x300 המייצגת קידוד של המשפט כולו  - משקולות של הquery, - משקולות של הkey , - משקולות של הvalue|alt=Attention-qkv.png|648x648px|מרכז

השמות query, key ו - value נועדו לדמות את המונחים מ - sql. אפשר להאיץ את מהירות החישוב מאוד על ידי הרצת כמה ראשי attention במקביל.

 קישורים חיצוניים 
 דוגמת קוד של attention, באתר (machine learning mastery)
 הסבר על attention בעברית, באתר (ai blog)

 הערות שוליים 

קטגוריה:אלגוריתמים
2023 06
קטגוריה:למידה עמוקה