توجه خودی

توجه خودی (به انگلیسی: Self-attention) یکی از سازوکارهای مهم در یادگیری ماشین و پردازش زبان طبیعی است که به مدل اجازه می‌دهد هنگام پردازش یک دنباله از داده‌ها، ارتباط میان عناصر مختلف همان دنباله را در نظر بگیرد. این سازوکار در معماری ترنسفورمر به کار می‌رود و در مدل‌هایی مانند برت و جی‌پی‌تی استفاده می‌شود.

 تعریف 
در پردازش زبان طبیعی، توجه خودی مکانیزمی است که به مدل اجازه می‌دهد هنگام پردازش یک جمله یا متن، ارتباط میان کلمات مختلف آن را در نظر بگیرد و اهمیت نسبی آن‌ها را برای درک بهتر معنای متن تعیین کند.

 نحوهٔ کار 

در بسیاری از مدل‌های مبتنی بر ترنسفورمر، توجه خودی با استفاده از سه بردار پرسش (Query)، کلید (Key) و مقدار (Value) محاسبه می‌شود.

در معماری ترنسفورمر، مکانیزم توجه خودی به مدل اجازه می‌دهد وابستگی میان کلمات یک جمله را بدون توجه به فاصله آن‌ها در دنباله متن یاد بگیرد. در این روش، برای هر توکن(token) سه بردار به نام‌های Query، Key و Value محاسبه می‌شود. سپس میزان شباهت میان Query یک کلمه و Key سایر کلمات محاسبه شده و به صورت وزن‌هایی برای ترکیب Valueها استفاده می‌شود. این فرآیند باعث می‌شود مدل بتواند تشخیص دهد کدام کلمات در درک معنی جمله اهمیت بیشتری دارند. توجه خودی پایهٔ بسیاری از مدل‌های مدرن پردازش زبان طبیعی مانند BERT و GPT است و نقش مهمی در یادگیری نمایش‌های وابسته به متن از کلمات ایفا می‌کند.

 منابع