موضوع مقاله: ترنسفورمر تولیدگر از پیش آموزش‌دیده | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # ترنسفورمر تولیدگر از پیش آموزش‌دیده | مقدمه: مدل‌های جی‌پی‌تی شبکه‌های عصبی مصنوعی مبتنی بر معماری ترنسفورمرها هستند که از قبل، بر روی مجموعه ای از داده‌های حجیم از متون بدون برچسب، آموزش دیده‌اند و قادر به تولید محتوای جدید شبه انسانی هستند. | ## بخش 1: ترنسفورمر تولیدگر از پیش آموزش‌دیده | از سال ۲۰۲۳، اکثر مدل‌های زبانی بزرگ این ویژگی‌ها را دارند و گاهی به‌طور گسترده به عنوان جی‌پی‌تی شناخته می‌شوند. اوپن‌ای‌آی مدل‌های تأثیرگذاری از خانواده جی‌پی‌تی منتشر کرده که به ترتیب شماره گذاری شده‌اند تا سری GPT-n خود را تشکیل دهند. به دلیل افزایش اندازه (تعداد پارامترهای قابل آموزش) و تعلیم بیشتر، هر یک از مدل‌ها به‌طور قابل توجهی از قبلی توانایی بیشتری به دست آوردند. بات مکالمه چت‌جی‌پی‌تی نمونه ای از این مدل زبانی است که مورد توجه زیاد رسانه‌ها و جهان قرار گرفت. همچنین اصطلاح «جی‌پی‌تی» در نام‌ها و توضیحات چنین مدل‌هایی که توسط دیگران ساخته شده استفاده می‌شود. به‌طور مثال شرکت‌ها در صنایع مختلف جی‌پی‌تی‌های اختصاصی خود را توسعه داده‌اند مانند بلومبرگ‌جی‌پی‌تی برای سرمایه‌گذاری. | ## بخش 2: ترنسفورمر تولیدگر از پیش آموزش‌دیده | تاریخچه تولیدگر از پیش آموزش دیده یک مفهوم قدیمی در زمینه علوم یادگیری ماشینی بود در سال ۲۰۱۷ معماری ترنسفورمرها توسط گوگل اختراع شد. که منجر به ظهور مدل‌های زبان بزرگ مانند BERT در سال ۲۰۱۸ و XLNet در سال ۲۰۱۹ شد، این مدل‌های زبانی فقط ترنسفورمرهای از پیش آموزش‌دیده بودند که قابلیت زایش و تولید متن را نداشتند و صرفاً رمزگذار بودند. در حوالی سال ۲۰۱۸، اوپن‌ای‌آی مقاله ای تحت عنوان «بهبود درک زبان توسط تولیدگر از پیش آموزش‌دیده» منتشر کرد که نخستین سیستم ترنسفورمر تولیدگر از پیش آموزش‌دیده (GPT) را معرفی کرد. قبل از معماری‌های مبتنی بر ترنسفورمرها، مدل‌های NLP عصبی (پردازش زبان‌های طبیعی) وجود داشتند که از طریق مقادیر زیادی از داده‌های برچسب‌گذاری شده نظارت شده آموزش می‌دیدند. اتکا به یادگیری نظارت شده، استفاده از آن مدل‌ها را در مجموعه داده‌هایی که به خوبی حاشیه نویسی نشده بودند، محدود می‌کرد، همچنین آموزش مدل‌های زبانی بسیار بزرگ بسیار پرهزینه و وقت گیر می‌شد. رویکرد نظارت ضعیف اوپن‌ای‌آی برای ایجاد یک سیستم تولیدی در مقیاس بزرگ (که برای اولین بار با یک مدل ترنسفورمر انجام می‌شد) - شامل دو مرحله بود: یک مرحله «یادگیری خودران» بدون نظارت جهت تنظیم پارامترهای اولیه و یک مرحله نظارت شده «تنظیم دقیق» جهت تطبیق این پارامترها. | ## بخش 3: ترنسفورمر تولیدگر از پیش آموزش‌دیده | مدل‌های پایه مدل پایه مدل هوش مصنوعی مدلی است که بر روی داده‌های زیادی آموزش داده شده و می‌تواند با طیف گسترده‌ای از وظایف سازگار شود. جدیدترین مورد از آن جی‌پی‌تی-۴ است که اوپن‌ای‌آی از انتشار اندازه یا جزئیات آموزشی آن خودداری کرد. +سری GPT-n شرکت اوپن‌ای‌آیمدلمعماریشمارش پارامترداده‌های آموزش یافتهتاریخ انتشارهزینهجی‌پی‌تی ۱دیکودر ترنسفورمر ۱۲ سطحی، ۱۲ سر (بدون رمزگذار)۱۱۷ میلیون۴٫۵ گیگابایت متن، از ۷۰۰۰ کتاب منتشر نشده در ژانرهای مختلف.۱ ماه بر روی ۸ پردازنده گرافیکی", یا 1.7e19 فلاپ.جی‌پی‌تی ۲جی‌پی‌تی-۱، اما با نرمال سازی اصلاح شده۱٫۵ میلیاردوب تکست: ۴۰ گیگابایت متن، ۸ میلیون سند، از ۴۵ میلیون صفحه وب که در ردیت رأی بالایی داشته‌اند. (نسخه اولیه/محدود) و (نسخه کامل)"ده‌ها پتافلاپ در روز", یا 1.5e21 فلاپ.جی‌پی‌تی ۳جی‌پی‌تی-۲ اما با تغییراتی برای تبدیل شدن به مقیاس بزرگتر۱۷۵ میلیارد۴۹۹ میلیارد توکن (۵۷۰ گیگابایت)، وب تکست، ویکی‌پدیای انگلیسی و دو مجموعه کتاب۳۶۳۰ پتافلاپ در ثانیه, یا 3.1e23 فلاپ.جی‌پی‌تی ۳٫۵عمومی نشده۱۷۵ میلیاردعمومی نشده۱۵ مارس ۲۰۲۲عمومی نشدهجی‌پی‌تی ۴قابلیت پیش بینی کننده متن و تقویت یادگیری از بازخورد انسانی را شامل شده که هم متن و هم عکس را به عنوان ورودی می‌پذیرد. جزئیات بیشتر عمومی نشده.عمومی نشدهعمومی نشدهعمومی نشده ولی 2.1e25 فلاپ تخمین زده شده. مدل‌های دیگری از این دست عبارتند از مدل زبانی مسیرها شرکت گوگل و هوش مصنوعی متا که دارای یک مدل زبان بزرگ پایه مبتنی بر ترنسفورمر مولد است که تحت عنوان LLaMA شناخته می‌شود. | ## جمع‌بندی | همچنین برخی جی‌پی‌تی‌ها می‌توانند از روش‌هایی غیر از متن ورودی/خروجی استفاده کنند.