جی‌پی‌تی جی

جی‌پی‌تی-جی  یک مدل زبانی بزرگ هوش مصنوعی متن‌باز است که توسط شرکت EleutherAI توسعه یافته‌است. به‌طور کلی این مدل از معماری جی‌پی‌تی ۲ پیروی می‌کند و تنها تفاوت عمده آن در به رمزگشاهای موازی است: به‌جای قرار دادن پرسپترون چندلایه پیش‌خور، به‌منظور دستیابی به توان عملیاتی بالاتر با آموزش توزیع‌شده، به‌طور موازی محاسبه می‌شوند.

جی‌پی‌تی-جی عملکرد بسیار مشابهی با نسخه‌های جی‌پی‌تی ۳ شرکت اوپن‌ای‌آی با اندازه مشابه در کارهای مختلف بدون جریان پایین دارد و حتی می‌تواند در وظایف تولید کد بهتر عمل کند. جدیدترین نسخه، جی‌پی‌تی-جی-۶بی  یک مدل زبان مبتنی بر مجموعه داده‌ای تحت نام The Pile است. نسخه The Pile یک مجموعه داده ۸۸۶ گیگابایتی منبع باز است که به ۲۲ مجموعه داده کوچکتر تقسیم شده‌است.

جی‌پی‌تی-جی برخلاف چت‌جی‌پی‌تی به عنوان یک ربات چت عمل نمی‌کند و فقط به عنوان یک پیش‌بینی متن عمل می‌کند.

منابع 
 

مدل‌های زبانی بزرگ
ترنسفورمرهای تولیدگر از پیش آموزش‌دیده