جی‌پی‌تی ۲

ترنسفورمر تولیدگر از پیش آموزش‌دیده ۲  یا به اختصار جی‌پی‌تی ۲  یک مدل زبانی بزرگ هوش مصنوعی متن‌باز است که توسط اوپن‌ای‌آی در فوریه ۲۰۱۹ منتشر شد. جی‌پی‌تی ۲ متن را ترجمه می‌کند، به سؤالات پاسخ می‌دهد و پاراگراف‌ها را خلاصه می‌کند و گاهی متنی را تولید می‌کند که تشخیص غیرانسانی بودن آن دشوار است ولی در هنگام ایجاد پاسخ‌های زیاد ممکن است پاسخ‌های تکراری یا بی‌معنی ارائه دهد. این مدل زبانی یک یادگیرنده همه منظوره است که حتی می‌تواند برای کارهایی که آموزش ندیده، توانایی‌هایی از خود نشان دهد. جی‌پی‌تی ۲ بدون دریافت ویژگی خاص، مستقیما از مدل زبانی جی‌پی‌تی-۱ در سال ۲۰۱۸ ایجاد شد که با افزایش ده برابری در تعداد پارامترها و اندازه مجموعه داده آموزشی آن همراه بود.

جی‌پی‌تی ۲ معماری ترنسفورمر تولیدگر از پیش آموزش‌دیده را دارد که یک شبکه عصبی مصنوعی یادگیری عمیق است که از سازوکار توجه به جای معماری‌های مبتنی بر تکرار و پیچیدگی قبلی استفاده می‌کند. سازوکارهای توجه به مدل اجازه می‌دهد تا به‌طور انتخابی بر بخش‌هایی از متن ورودی که پیش‌بینی می‌کند مرتبط‌ترین است، تمرکز کند. این مدل امکان افزایش موازی سازی را فراهم می‌کند و از معیارهای قبلی برای مدل‌های مبتنی بر RNN/CNN/LSTM بهتر عمل می‌کند.

اوپن‌ای‌آی نسخه کامل مدل زبان جی‌پی‌تی ۲ (با ۱٫۵ میلیارد پارامتر) را در نوامبر ۲۰۱۹ منتشر کرد.

منابع 
 

اوپن‌ای‌آی
مدل‌های زبانی بزرگ
نرم‌افزارهای دارای اجازه‌نامه ام‌آی‌تی
ترنسفورمرهای تولیدگر از پیش آموزش‌دیده