ایکس‌ال‌نت

**ایکس‌ال‌نت**  یک ترنسفورمر خودهمبسته است که به عنوان روش بهبود یافته نسبت به برت طراحی و معرفی شد. این مدل حداکثر دارای ۳۴۰ میلیون پارامتر است و بر روی ۳۳ میلیارد واژه آموزش داده شده‌است. ایکس‌ال‌نت در ۱۹ ژوئن ۲۰۱۹ تحت مجوز آپاچی ۲٫۰ منتشر شد. این مدل در طیف گسترده‌ای از وظایف پردازش زبان طبیعی، از جمله مدل‌سازی زبان، پاسخ‌گویی به پرسش و استنتاج زبان طبیعی، به نتایج پیشرفته در زمان خود دست یافت.

## ساختار
ایده اصلی ایکس‌ال‌نت این است که زبان را به صورت خودهمبسته و مشابه مدل‌های جی‌پی‌تی مدل‌سازی کند، اما در عین حال اجازه دهد که *تمامی [[جایگشت|جایگشت‌های]] ممکن* یک جمله نیز در نظر گرفته شوند. به طور مشخص، جمله زیر را در نظر بگیرید:
سگ من بامزه است. در مدل‌سازی زبانی خودهمبسته استاندارد، مدل وظیفه دارد با قرار دادن واژه‌های قبلی به عنوان زمینه موضوع کاری  احتمال هر واژه را پیش‌بینی کند:
احتمال توأم دنباله‌ای از واژه‌های x_1, \ldots, x_T با استفاده از قاعده زنجیره‌ای به شکل زیر خواهد بود:
\Pr(x_1, \ldots, x_T) = \Pr(x_1) \Pr(x_2 | x_1) \Pr(x_3 | x_1, x_2) \ldots \Pr(x_T | x_1, \ldots, x_{T-1}).
برای مثال، جمله «سگ من بامزه است.» به صورت زیر تجزیه می‌شود: \Pr(\text{My}, \text{dog}, \text{is}, \text{cute}) = \Pr(\text{My}) \Pr(\text{dog} | \text{My}) \Pr(\text{is} | \text{My}, \text{dog}) \Pr(\text{cute} | \text{My}, \text{dog}, \text{is}). به صورت شماتیک، می‌توان این فرایند را به شکل زیر نوشت: \texttt{ } \texttt{ } \texttt{ } \texttt{ } \to \text{My } \texttt{ } \texttt{ } \texttt{ } \to \text{My dog }\texttt{ } \texttt{ } \to \text{My dog is }\texttt{ } \to \text{My dog is cute}. با این حال، در اکس‌ال‌نت مدل ملزم است واژه‌ها را در یک ترتیب تصادفی تولیدشده پیش‌بینی کند. فرض کنید یک ترتیب تصادفی برابر با ۳۲۴۱ نمونه‌برداری شده باشد؛ در این صورت، مدل باید به صورت شماتیک وظیفه پیش‌بینی زیر را انجام دهد:\texttt{ } \texttt{ } \texttt{ } \texttt{ }
\to \texttt{ } \texttt{ } \text{is }\texttt{ }
\to \texttt{ } \text{dog is }\texttt{ }
\to \texttt{ }\text{dog is cute}
\to \text{My dog is cute}با در نظر گرفتن تمامی جایگشت‌ها، اکس‌ال‌نت قادر است وابستگی‌های دوربردتر را بهتر ثبت کند و زمینه دوسویه واژه‌ها را به طور مؤثرتری مدل‌سازی نماید.

### خود-توجهی دو-جریانی
برای پیاده‌سازی مدل‌سازی زبانی مبتنی بر جایگشت، ایکس‌ال‌نت از سازوکار «خود-توجهی دو-جریانی»***' استفاده می‌کند. این دو جریان عبارت‌اند از:

* '''جریان محتوا:''' این جریان محتوای هر واژه را، مشابه خودتوجهی ماسک‌شده علیّتی استاندارد***'، کُدگذاری می‌کند.
* **جریان پرسش:** این جریان محتوای هر واژه را در زمینه آنچه پیش‌تر آمده است کُدگذاری می‌کند. به طور دقیق‌تر، این جریان یک **سازوکار توجه متقاطعِ ماسک‌شده** است که در آن، پرسش‌ها از جریان پرسش و همچنین جفت‌های کلید–مقدار از جریان محتوا گرفته می‌شوند.

جریان محتوا از ماسک علیّتی زیر استفاده می‌کند:

M_{\text{causal}} = \begin{bmatrix}
0 & -\infty & -\infty & \dots  & -\infty \\
0 & 0 & -\infty & \dots  & -\infty \\
0 & 0 & 0 & \dots  & -\infty \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
0 & 0 & 0 & \dots  & 0
\end{bmatrix}


که توسط یک ماتریس جایگشت تصادفی به شکل P M_{\text{causal}} P^{-1}
 جایگشت داده می‌شود.

جریان پرسش از ماسک توجه متقاطع P (M_{\text{causal}} - \infty I) P^{-1}
 استفاده می‌کند که در آن، مؤلفه‌های روی قطر به طور خاص حذف شده‌اند تا از «تقلب» مدل جلوگیری شود؛ یعنی حالتی که مدل بتواند با نگاه کردن به جریان محتوا، توکن ماسک‌شده فعلی را مستقیماً تشخیص دهد.

مشابه ماسک‌گذاری علیّتی در مدل‌های جی‌پی‌تی، این معماری ماسک‌شده دو-جریانی به مدل اجازه می‌دهد که تمامی توکن‌ها را در یک گذر رو به جلو***' آموزش دهد.

== آموزش ==
دو مدل منتشر شدند:

* XLNet-Large، حساس به حروف بزرگ و کوچک***': دارای ۱۱۰ میلیون پارامتر، ۲۴ لایه، بُعد پنهان ۱۰۲۴ و ۱۶ سر توجه
* XLNet-Base، حساس به حروف بزرگ و کوچک: دارای ۳۴۰ میلیون پارامتر، ۱۲ لایه، بُعد پنهان ۷۶۸ و ۱۲ سر توجه

این مدل بر روی مجموعه داده‌ای آموزش داده شد که پس از توکن‌سازی با استفاده از سنتنس‌پیس***'، شامل ۳۲٫۸۹ میلیارد توکن بود. این مجموعه‌داده از [[بوک‌کورپوس]]، ویکی‌پدیای انگلیسی، Giga5، ClueWeb 2012-B و [[کامن کرال]] تشکیل شده بود.

آموزش مدل بر روی ۵۱۲ تراشه [[واحد پردازشی تنسور|تی‌پی‌یو]] نسخه ۳ و به‌مدت ۵٫۵ روز انجام شد. در پایان فرایند آموزش، مدل همچنان نسبت به داده‌ها  کم‌برازش***' بود؛ به این معنا که با آموزش بیشتر می‌توانست به مقدار خطای کمتری دست یابد. آموزش در مجموع شامل ۰٫۵ میلیون گام با استفاده از بهینه‌ساز آدام، کاهش خطی نرخ یادگیری و اندازه بچ برابر با ۸۱۹۲ بود.

## جستارهای وابسته

* برت
* ترنسفورمر (مدل یادگیری ماشین)
* ترنسفورمر تولیدگر از پیش آموزش‌دیده

## یادداشت‌ها


## منابع

Category:Google software
Category:Large language models
Category:Software using the Apache license
Category:2019 software