مدل زبانی بزرگ

یک مدل زبانی بزرگ  یا به اختصار ال‌ال‌ام ، یک مدل زبانی متشکل از یک شبکه عصبی با پارامترهای زیادی است که بر روی مقادیر زیادی متن بدون برچسب با استفاده از یادگیری خود نظارتی یا یادگیری نیمه‌نظارتی آموزش داده شده‌است. مدل‌های زبان بزرگ در حدود سال ۲۰۱۸ ظاهر شدند و در گستره وسیعی از وظایف، عملکرد بالایی دارند. این مدل‌ها معمولاً از ده‌ها میلیون و تا میلیاردها پارامتر آموزش داده شده دارند و معماری داخلی آنها از  ترانسفورماتورها استفاده می‌کند.

مدهای زبانی بزرگ با گرفتن یک متن ورودی و پیش بینی پیاپی کلمه بعدی کار می‌کنند. تا سال ۲۰۲۰، تنظیم دقیق تنها راهی بود که یک مدل می‌توانست برای انجام وظایف مشخص آموزش داده شود. بعدتر مدل‌های زبانی بزرگی مانند GPT-3، توانستند برای دستیابی به نتایج مشابه از مهندسی پرسش استفاده کنند، به این معنی که مدل‌ها فراگرفتند متنی که با یک پرسش شروع می‌شود را کامل کنند.

نمونه‌های قابل توجه مدل‌های زبانی بزرگ شامل مدل‌های GPT OpenAI (مانند GPT-3.5 و GPT-4 ، مورد استفاده در ChatGPT)،  Palm (استفاده شده در Bard )، و LLaMa، BLOOM ، Ernie 3.0 Titan ، و کلود می‌شود.

منابع 

 
پردازش زبان‌های طبیعی
یادگیری عمیق