بحث:مدل زبانی بزرگ

message: محتوای این مدخل در مقاله «ورود انفجاری شرکت اپل به بازار هوش مصنوعی، گوشی آیفون GPT ارائه می‌کند» روزنامه آرمان ملی رونوشت شده‌است. -- ‏ SunfyreT ‏۲۲ ژوئیهٔ ۲۰۲۳، ساعت ۰۵:۴۳ (UTC)
thread_title:  رونوشت در روزنامه 

message: با سلام خدمت دوستان محترم،
من از روی مقاله انگلیسی همین مقاله، اقدام به ترجمه کردم و زمانی که قصد افزودن متن زیر رو بعد از بخش تاریخچه داشتم ، پالایه خرابکاری جلوی من را گرفت. خواهشمندم متن رو بررسی بفرمایید و در صورتی که مشکلی نبود، آنرا به متن بیافزایید چون از من بر نیومد.
thread_title:  مشکل با پالایه خرابکاری - افزودن از وبلاگ یا فروم 

message: === نشانه‌سازی احتمالیProbabilistic tokenization ===
از آنجایی که الگوریتم‌های یادگیری ماشینی به جای متن، اعداد را پردازش می کنند، لذا تبدیل متن به عدد یک اجبار است. در مرحله اول، انتخاب دانشنامه واژگان خواهد بود. سپس شاخص‌های اعداد صحیح به طور دلخواه اما منحصربه‌فرد به هر واژه اختصاص داده می شود. در انتها، یک دگرنماییEmbeding به اعداد مرحله دوم منتسب می‌شود. الگوریتم‌های مورد استفاده در این بخش شامل  و وردپیس WordPiece می‌شود.
نشانه‌سازی احتمالی مجموعه داده‌ها را فشرده می‌کند. از آنجایی که ال‌ال‌ام‌ها معمولاً نیاز به ورودی آرایه‌ای دارند که  نیز نباشد، طول متن‌های کوتاه‌ باید با افزودن کارکاترهای اضافی افزایش یابد  تا زمانی که اندازه طول متن هم‌اندازه طولانی‌ترین متن بشود. تعداد متوسط کاراکترهای اضافه شده به برای هر کلمه به زبان مجموعه داده بستگی دارد. 
=== BPE ===
در مرحله اول با استفاده از اصلاح ، تمام کاراکترهای منحصربه‌فرد (شامل جاهای خالی و علائم نگارشی ) به عنوان یک مجموعه اولیه از ان-گرم (یعنی مجموعه اولیه ای از تک-گرم‌ها) در نظر گرفته می‌شوند. با این روش پرتکرارترین جفت کاراکترهای مجاور هم در bi-gram ادغام می‌شوند. سپس همه نمونه‌های آن جفت کاراکتر در متن مورد بررسی با bi-gram بدست آمده جایگزین می‌شوند. به همین ترتیب، تمام جفت‌های مجاور ان-گرم (که قبلاً ادغام شده‌اند)، درمراحل متوالی به n-گرم‌های طولانی‌تر ادغام می‌شوند تا زمانی که واژگانی با اندازه از پیش تعیین شده بدست آید (در مورد جی‌پی‌تی ۳، این اندازه 50257 است) . دانشنامه نشانه‌‌ها شامل اعداد صحیح است که از صفر تا اندازه واژگان نشانه را شامل می‌شود. کلمات جدید همیشه می‌توانند به عنوان ترکیبی از نشانه‌ها و یونی-گرم‌های مجموعه اولیه تفسیر شوند. 
دانشنامه نشانه‌‌ای که بر پایه فرکانس‌های استخراج‌شده از مجموعه‌های داده های عمدتاً انگلیسی است از کمترین نشانه ممکن برای یک کلمه انگلیسی متوسط استفاده می‌کند. با این حال، یک کلمه متوسط در زبان دیگری بعیر از انگلیسی که توسط نشانه‌ساز بهینه‌سازی‌شده برای زبان انگلیسی کدگذاری شده است، به تعدادی از نشانه‌ها زیربهینه تقسیم می‌شود. برای برخی از زبان‌های غیر انگلیسی، مثلاً برای زبان شان در میانمار، نشانه‌ساز جی‌پی‌تی ۲ ممکن است تا 15 برابر زبان انگلیسی نشانه تولید کند.  حتی برای زبان‌های رایج‌تری مانند پرتغالی و آلمانی در مقایسه با انگلیسی این مقدار ممکن است تا 50% بیشتر هم برسد.
به عنوان مثال، روش کار نشانه‌ساز مورد استفاده توسط جی‌پی‌تی ۳ برای جمله جداسازی جمله زیر را ببینید:
tokenizer: texts -> series of numerical "tokens"
token	izer	:	 texts	 ->	series	 of	 numerical	 "	t	ok	ens	"
=== پاکسازی مجموعه داده ===
در زمینه آموزش ال‌ال‌ام‌ها، مجموعه داده‌ها معمولاً با حذف متون سمی از مجموعه داده، دور انداختن داده‌های بی‌کیفیت و حذف موارد تکراری پاکسازی می‌شوند.  مجموعه داده‌های پاکسازی‌شده می‌تواند کارایی آموزش را افزایش دهد و منجر به بهبود عملکرد پایین‌دستی شود.  
با افزایش نسبت محتوای تولید شده توسط ال‌ال‌ام‌ها در تارنمای جهانی، پاکسازی داده‌ها در آینده ممکن است شامل فیلتر کردن چنین محتوایی نیز باشد. اگر محتوای تولید شده توسط ال‌ال‌ام‌ها شبیه متن انسانی باشد اما کیفیت پایین‌تری داشته باشد () می‌تواند مشکلات خاص خود را ایجاد کند. زیرا درمورد اول فیلتر کردن را دشوار می کند و در مورد دوم به عملکرد ضعیف مدل های آموزش داده شده بر روی آن منجر می‌شود.
thread_title:  پیش پردازش مجموعه داده 

message: از آنجایی که الگوریتم‌های یادگیری ماشینی به جای متن، اعداد را پردازش می کنند، لذا تبدیل متن به عدد یک اجبار است. در مرحله اول، انتخاب دانشنامه واژگان خواهد بود. سپس شاخص‌های اعداد صحیح به طور دلخواه اما منحصربه‌فرد به هر واژه اختصاص داده می شود. در انتها، یک دگرنماییEmbeding به اعداد مرحله دوم منتسب می‌شود. الگوریتم‌های مورد استفاده در این بخش شامل  و وردپیس WordPiece می‌شود.
نشانه‌سازی احتمالی مجموعه داده‌ها را فشرده می‌کند. از آنجایی که ال‌ال‌ام‌ها معمولاً نیاز به ورودی آرایه‌ای دارند که  نیز نباشد، طول متن‌های کوتاه‌ باید با افزودن کارکاترهای اضافی افزایش یابد  تا زمانی که اندازه طول متن هم‌اندازه طولانی‌ترین متن بشود. تعداد متوسط کاراکترهای اضافه شده به برای هر کلمه به زبان مجموعه داده بستگی دارد.
thread_title:  نشانه‌سازی احتمالی<ref name=":2" group="پاورقی">Probabilistic tokenization</ref> 

message: در مرحله اول با استفاده از اصلاح ، تمام کاراکترهای منحصربه‌فرد (شامل جاهای خالی و علائم نگارشی ) به عنوان یک مجموعه اولیه از ان-گرم (یعنی مجموعه اولیه ای از تک-گرم‌ها) در نظر گرفته می‌شوند. با این روش پرتکرارترین جفت کاراکترهای مجاور هم در bi-gram ادغام می‌شوند. سپس همه نمونه‌های آن جفت کاراکتر در متن مورد بررسی با bi-gram بدست آمده جایگزین می‌شوند. به همین ترتیب، تمام جفت‌های مجاور ان-گرم (که قبلاً ادغام شده‌اند)، درمراحل متوالی به n-گرم‌های طولانی‌تر ادغام می‌شوند تا زمانی که واژگانی با اندازه از پیش تعیین شده بدست آید (در مورد جی‌پی‌تی ۳، این اندازه 50257 است) . دانشنامه نشانه‌‌ها شامل اعداد صحیح است که از صفر تا اندازه واژگان نشانه را شامل می‌شود. کلمات جدید همیشه می‌توانند به عنوان ترکیبی از نشانه‌ها و یونی-گرم‌های مجموعه اولیه تفسیر شوند. 
دانشنامه نشانه‌‌ای که بر پایه فرکانس‌های استخراج‌شده از مجموعه‌های داده های عمدتاً انگلیسی است از کمترین نشانه ممکن برای یک کلمه انگلیسی متوسط استفاده می‌کند. با این حال، یک کلمه متوسط در زبان دیگری بعیر از انگلیسی که توسط نشانه‌ساز بهینه‌سازی‌شده برای زبان انگلیسی کدگذاری شده است، به تعدادی از نشانه‌ها زیربهینه تقسیم می‌شود. برای برخی از زبان‌های غیر انگلیسی، مثلاً برای زبان شان در میانمار، نشانه‌ساز جی‌پی‌تی ۲ ممکن است تا 15 برابر زبان انگلیسی نشانه تولید کند.  حتی برای زبان‌های رایج‌تری مانند پرتغالی و آلمانی در مقایسه با انگلیسی این مقدار ممکن است تا 50% بیشتر هم برسد.
به عنوان مثال، روش کار نشانه‌ساز مورد استفاده توسط جی‌پی‌تی ۳ برای جمله جداسازی جمله زیر را ببینید:
tokenizer: texts -> series of numerical "tokens"
token	izer	:	 texts	 ->	series	 of	 numerical	 "	t	ok	ens	"
thread_title:  BPE 

message: در زمینه آموزش ال‌ال‌ام‌ها، مجموعه داده‌ها معمولاً با حذف متون سمی از مجموعه داده، دور انداختن داده‌های بی‌کیفیت و حذف موارد تکراری پاکسازی می‌شوند.  مجموعه داده‌های پاکسازی‌شده می‌تواند کارایی آموزش را افزایش دهد و منجر به بهبود عملکرد پایین‌دستی شود.  
با افزایش نسبت محتوای تولید شده توسط ال‌ال‌ام‌ها در تارنمای جهانی، پاکسازی داده‌ها در آینده ممکن است شامل فیلتر کردن چنین محتوایی نیز باشد. اگر محتوای تولید شده توسط ال‌ال‌ام‌ها شبیه متن انسانی باشد اما کیفیت پایین‌تری داشته باشد () می‌تواند مشکلات خاص خود را ایجاد کند. زیرا درمورد اول فیلتر کردن را دشوار می کند و در مورد دوم به عملکرد ضعیف مدل های آموزش داده شده بر روی آن منجر می‌شود.
thread_title:  پاکسازی مجموعه داده 

message: === یادگیری تقویتی از بازخورد انسانی Reinforcement Learning from Human Feedback ===
  برای تنظیم دقیق مدل بر روی مجموعه داده‌ای از ترجیحات انسانی، از طریق الگوریتم‌هایی مانند  استفاده می‌کند. 
=== تنظیم دستورالعمل ===
با استفاده از رویکردهای "خودآموز"self-instruct، ال‌ال‌ام‌ها توانسته‌اند بر اساس تعداد محدودی از اصلاحات ایجاد شده انسانی بر روی خروجی غیرمطلوبشان، پاسخ‌های صحیح  قابل قبول تولید کنند. به عنوان مثال، بر اساس فراوانی توالی متنی در پیکره زبان انگلیسی، پاسخ دستورالعمل "یک مقاله در مورد موضوع اصلی ارائه شده توسط هملت بنویس"، یک پاسخ تکمیلی ساده و اولیه ممکن است این باشد که "اگر مقاله را بعد از 17 مارس ارسال کنید، نمره شما 10٪ برای هر روز تاخیر کاهش می یابد.". 
=== ترکیب متخصصان ===
ال‌ال‌ام‌ بزرگ برای آموزش و استفاده مستقیم ممکن است بسیار گران باشد. برای چنین مدل‌هایی، می‌توان ترکیب متخصصان  را به کار برد. این خط تحقیقاتی از سال 2017 توسط محققان گوگل برای آموزش مدل‌هایی با بزرگی 1 تریلیون پارامتر پیگیری می‌شده است.  
=== مهندسی پرسش، مکانیسم توجه و پنجره زمینه ===
اکثر نتایجی که قبلاً فقط با تنظیم دقیق با هزینه بالا به دست می‌آمدند، را می‌توان از طریق مهندسی پرسش به دست آورد. گرچه این برای بدست آوردن این نتیجه محدود به محدوده یک مکالمه منفرد هستیم و به طور دقیق‌تر، محدود به محدوده یک پنجره زمینه. 
برای اینکه بفهمیم کدام نشانه‌ها در محدوده پنجره زمینه با یکدیگر مرتبط هستند، مکانیسم توجه با استفاده از سرهای توجه متعدد، وزن‌های «نرم» را برای هر نشانه، به‌طور دقیق‌تر برای دگرنمایی آن محاسبه می‌کند. که هر کدام از سرها نیز به نوبه خود برای محاسبه وزن‌های نرم خودش، «ارتباطات» خاص خود را دارند. به عنوان مثال، مدل کوچکی همچون جی‌پی‌تی ۲ (با اندازه پارامتر 117M) دارای 12 سر توجه و یک پنجره زمینه با تنها 1k نشانه است. نسخه متوسط آن دارای 345M پارامتر و شامل 24 لایه است که هر کدام دارای 12 سر توجه است. برای آموزش با گرادیان کاهشی با اندازه دسته‌ای 512 استفاده شده است.
مدل‌های بسیار بزرگ، مانند جمینای 1.5 گوگل، که در فوریه 2024 ارائه شد، می‌توانند یک پنجره زمینه با بزرگی 1 میلیون داشته باشند (پنجره زمینه 10 میلیونی نیز "با موفقیت آزمایش شد").  مدل‌های دیگر با پنجره‌های زمینه بزرگ عبارتند از کلود 2.1 شرکت آنتروپیک، با پنجره زمینه  200 هزار توکن.  توجه داشته باشید که این میزان از زرگی پنجره زمینه به تعداد نشانه‌های ورودی اشاره دارد و حداکثر تعداد نشانه‌های خروجی با ورودی متفاوت است و اغلب کوچکتر است. به عنوان مثال، مدل جی‌پی‌تی ۴ توربو دارای حداکثر خروجی 4096 نشانه است. 
طول مکالمه‌ای که مدل می‌تواند هنگام ایجاد پاسخ بعدی خود در نظر بگیرد، به اندازه یک پنجره زمینه نیز محدود می شود. به عنوان مثال اگر طول مکالمه  با چت‌جی‌پی‌تی، بیشتر از پنجره زمینه آن باشد، هنگام ایجاد پاسخ بعدی تنها بخش‌هایی از پاسخ فعلی در نظر گرفته می‌شوند که داخل محدوده پنجره زمینه قرار می‌گیرند. روش دیگر این است که مدل باید الگوریتمی را برای خلاصه کردن متن‌های خارج از پنجره زمینه اعمال کند.
مضررات بزرگ‌تر کردن پنجره زمینه شامل هزینه محاسباتی بالاتر و احتمالاً کاهش تمرکز بر زمینه محلی است، در مقابل کوچک‌تر کردن آن می‌تواند باعث شود که یک مدل وابستگی طولانی‌مدت را از دست بدهد. انتخاب پنجره زمینه موضوعی است که ارتباط مستقیم با  تجربیات افراد و ملاحظات خاص زمینه کار هوش مصنوعی دارد.
thread_title:  آموزش و معماری 

message: برای تنظیم دقیق مدل بر روی مجموعه داده‌ای از ترجیحات انسانی، از طریق الگوریتم‌هایی مانند  استفاده می‌کند.
thread_title:  یادگیری تقویتی از بازخورد انسانی <ref name=":5" group="پاورقی">Reinforcement Learning from Human Feedback</ref> 

message: با استفاده از رویکردهای "خودآموز"self-instruct، ال‌ال‌ام‌ها توانسته‌اند بر اساس تعداد محدودی از اصلاحات ایجاد شده انسانی بر روی خروجی غیرمطلوبشان، پاسخ‌های صحیح  قابل قبول تولید کنند. به عنوان مثال، بر اساس فراوانی توالی متنی در پیکره زبان انگلیسی، پاسخ دستورالعمل "یک مقاله در مورد موضوع اصلی ارائه شده توسط هملت بنویس"، یک پاسخ تکمیلی ساده و اولیه ممکن است این باشد که "اگر مقاله را بعد از 17 مارس ارسال کنید، نمره شما 10٪ برای هر روز تاخیر کاهش می یابد.".
thread_title:  تنظیم دستورالعمل 

message: ال‌ال‌ام‌ بزرگ برای آموزش و استفاده مستقیم ممکن است بسیار گران باشد. برای چنین مدل‌هایی، می‌توان ترکیب متخصصان  را به کار برد. این خط تحقیقاتی از سال 2017 توسط محققان گوگل برای آموزش مدل‌هایی با بزرگی 1 تریلیون پارامتر پیگیری می‌شده است.
thread_title:  ترکیب متخصصان 

message: اکثر نتایجی که قبلاً فقط با تنظیم دقیق با هزینه بالا به دست می‌آمدند، را می‌توان از طریق مهندسی پرسش به دست آورد. گرچه این برای بدست آوردن این نتیجه محدود به محدوده یک مکالمه منفرد هستیم و به طور دقیق‌تر، محدود به محدوده یک پنجره زمینه. 
برای اینکه بفهمیم کدام نشانه‌ها در محدوده پنجره زمینه با یکدیگر مرتبط هستند، مکانیسم توجه با استفاده از سرهای توجه متعدد، وزن‌های «نرم» را برای هر نشانه، به‌طور دقیق‌تر برای دگرنمایی آن محاسبه می‌کند. که هر کدام از سرها نیز به نوبه خود برای محاسبه وزن‌های نرم خودش، «ارتباطات» خاص خود را دارند. به عنوان مثال، مدل کوچکی همچون جی‌پی‌تی ۲ (با اندازه پارامتر 117M) دارای 12 سر توجه و یک پنجره زمینه با تنها 1k نشانه است. نسخه متوسط آن دارای 345M پارامتر و شامل 24 لایه است که هر کدام دارای 12 سر توجه است. برای آموزش با گرادیان کاهشی با اندازه دسته‌ای 512 استفاده شده است.
مدل‌های بسیار بزرگ، مانند جمینای 1.5 گوگل، که در فوریه 2024 ارائه شد، می‌توانند یک پنجره زمینه با بزرگی 1 میلیون داشته باشند (پنجره زمینه 10 میلیونی نیز "با موفقیت آزمایش شد").  مدل‌های دیگر با پنجره‌های زمینه بزرگ عبارتند از کلود 2.1 شرکت آنتروپیک، با پنجره زمینه  200 هزار توکن.  توجه داشته باشید که این میزان از زرگی پنجره زمینه به تعداد نشانه‌های ورودی اشاره دارد و حداکثر تعداد نشانه‌های خروجی با ورودی متفاوت است و اغلب کوچکتر است. به عنوان مثال، مدل جی‌پی‌تی ۴ توربو دارای حداکثر خروجی 4096 نشانه است. 
طول مکالمه‌ای که مدل می‌تواند هنگام ایجاد پاسخ بعدی خود در نظر بگیرد، به اندازه یک پنجره زمینه نیز محدود می شود. به عنوان مثال اگر طول مکالمه  با چت‌جی‌پی‌تی، بیشتر از پنجره زمینه آن باشد، هنگام ایجاد پاسخ بعدی تنها بخش‌هایی از پاسخ فعلی در نظر گرفته می‌شوند که داخل محدوده پنجره زمینه قرار می‌گیرند. روش دیگر این است که مدل باید الگوریتمی را برای خلاصه کردن متن‌های خارج از پنجره زمینه اعمال کند.
مضررات بزرگ‌تر کردن پنجره زمینه شامل هزینه محاسباتی بالاتر و احتمالاً کاهش تمرکز بر زمینه محلی است، در مقابل کوچک‌تر کردن آن می‌تواند باعث شود که یک مدل وابستگی طولانی‌مدت را از دست بدهد. انتخاب پنجره زمینه موضوعی است که ارتباط مستقیم با  تجربیات افراد و ملاحظات خاص زمینه کار هوش مصنوعی دارد.
thread_title:  مهندسی پرسش، مکانیسم توجه و پنجره زمینه 

message: از سال 2020 با پیشرفت‌های نرم‌افزاری و سخت‌افزاری، هزینه‌ها به‌ طور قابل‌ توجهی کاهش یافته است. مثلاً در سال 2023 هزینه آموزش یک ال‌ال‌ام با 12 میلیارد پارامتر 72300 ساعت A100-GPU است، در حالی که در سال 2020 هزینه آموزش یک ال‌ال‌ام با 1.5 میلیارد پارامتر (که دو مرتبه کوچکتر از بهترین مدل موجود در سال 2020 نیز بود) بین 80 هزار تا 1.6 میلیون دلار بود.    از سال 2020، مبالغ هنگفتی در حوزه مدل‌های بزرگتر سرمایه‌گذاری شد. به عنوان مثال، آموزش جی‌پی‌تی ۲ (یعنی مدل 1.5 میلیارد پارامتری) در سال 2019 معادل 50000 دلار هزینه داشت، در حالی که آموزش پام (یعنی مدل 540 میلیارد پارامتری) در سال 2022 هزینه 8 میلیون دلاری و Megatron-Turing NLG 530B (در سال 2021) حدود 11 میلیون دلار هزینه داشت. 
برای  ال‌ال‌ام‌های مبتنی بر ترنسفورمر، هزینه آموزش بسیار بالاتر از هزینه استنتاج است. آموزش یک نشانه برای هر پارامتر هزینه‌ای معادل 6 FLOP در بر دارد، در حالی که برای استنباط یک نشانه به ازای هر پارامتر 1 تا 2 FLOP هزینه دارد. Section 2.1 and Table 1,
thread_title:  هزینه آموزش 

message: در ادامه فهرستی از ال‌ال‌ام‌ها به همراه برخیاز اطلاعاتشان آمده است.
نام                                            	تاریخ انشار 	توسعه دهنده         	تعداد پارمتر (میلیارد)	حجم پیکره دانش                                                                                                    	هزینه آموزش (پتافلاپس-روز)                                               	مجوز                                                                                                                	اشارات
                                               	            	اوپن‌ای‌آی          	                      	                                                                                                                  	1                                                                        	                                                                                                                    	First GPT model, decoder-only transformer. Trained for 30 days on 8 P600 GPUs.
برت (مدل زبانی)                                	            	گوگل                	                      	کلمه                                                                                                              	                                                                         	                                                                                                                    	An early and influential language model, but encoder-only and thus not built to be prompted or generative
                                               	October 2019	گوگل                	11                    	34 میلیارد نشانه                                                                                                  	                                                                         	                                                                                                                    	Base model for many Google projects, such as Imagen.
XLNet                                          	            	گوگل                	                      	میلیارد کلمه                                                                                                      	                                                                         	                                                                                                                    	An alternative to BERT; designed as encoder-only
جی‌پی‌تی ۲                                     	            	اوپن‌ای‌آی          	                      	40GB (~ نشانه)                                                                                                    	                                                                         	                                                                                                                    	general-purpose model based on transformer architecture
جی‌پی‌تی ۳                                     	            	اوپن‌ای‌آی          	                      	                                                                                                                  	3640Table D.1 in                                                         	                                                                                                                    	A fine-tuned variant of GPT-3, termed GPT-3.5, was made available to the public through a web interface called ChatGPT in 2022.
GPT-Neo                                        	            	                    	                      	825 GB                                                                                                            	                                                                         	                                                                                                                    	The first of a series of free GPT-3 alternatives released by EleutherAI. GPT-Neo outperformed an equivalent-size جی‌پی‌تی ۳ model on some benchmarks, but was significantly worse than the largest جی‌پی‌تی ۳.
جی‌پی‌تی جی                                    	            	                    	                      	825 GiB                                                                                                           	200                                                                      	                                                                                                                    	جی‌پی‌تی ۳-style language model
Megatron-Turing NLG                            	            	مایکروسافت و انویدیا	                      	نشانه                                                                                                             	                                                                         	                                                                                                                    	Standard architecture but trained on a supercomputing cluster.
Ernie 3.0 Titan                                	            	بایدو               	                      	4 Tb                                                                                                              	                                                                         	                                                                                                                    	Chinese-language LLM. Ernie Bot is based on this model.
Claude                                         	            	آنتروپیک            	                      	نشانه                                                                                                             	                                                                         	                                                                                                                    	Fine-tuned for desirable behavior in conversations.
GLaM (Generalist Language Model)               	            	گوگل                	                      	نشانه                                                                                                             	5600                                                                     	                                                                                                                    	Sparse mixture of experts model, making it more expensive to train but cheaper to run inference compared to جی‌پی‌تی ۳
Gopher                                         	            	گوگل دیپ‌مایند      	                      	نشانه                                                                                                             	5833Table 20 and page 66 of PaLM: Scaling Language Modeling with Pathways	                                                                                                                    	Further developed into the Chinchilla model.
LaMDA (Language Models for Dialog Applications)	            	گوگل                	                      	1.56T کلمه,  نشانه                                                                                                	4110                                                                     	                                                                                                                    	Specialized for response generation in conversations.
GPT-NeoX                                       	            	                    	                      	825 GiB                                                                                                           	740                                                                      	                                                                                                                    	based on the Megatron architecture
Chinchilla                                     	            	گوگل دیپ‌مایند      	                      	نشانه                                                                                                             	6805                                                                     	                                                                                                                    	Reduced-parameter model trained on more data. Used in the Sparrow bot. Often cited for its neural scaling law.
PaLM (Pathways Language Model)                 	            	گوگل                	                      	نشانه                                                                                                             	29250                                                                    	                                                                                                                    	Trained for ~60 days on ~6000 TPU v4 chips.
OPT (Open Pretrained Transformer)              	            	متا                 	                      	نشانه                                                                                                             	310                                                                      	                                                                                                                    	جی‌پی‌تی ۳ architecture with some adaptations from Megatron
YaLM 100B                                      	            	یاندکس              	                      	1.7TB                                                                                                             	                                                                         	                                                                                                                    	English-Russian model based on Microsoft's Megatron-LM.
Minerva                                        	            	گوگل                	                      	38.5B نشانه from webpages filtered for mathematical content and from papers submitted to the arXiv preprint server	                                                                         	                                                                                                                    	LLM trained for solving "mathematical and scientific questions using step-by-step reasoning". Minerva is based on PaLM model, further trained on mathematical and scientific data.
بلوم (مدل زبانی)                               	            	مشارکت همگانی به مدیریت
هاگینگ فیس	                      	نشانه (1.6TB)                                                                                                     	                                                                         	                                                                                                                    	Essentially جی‌پی‌تی ۳ but trained on a multi-lingual corpus (30% English excluding programming languages)
Galactica                                      	            	متا                 	                      	نشانه                                                                                                             	نامعلوم                                                                  	                                                                                                                    	Trained on scientific text and modalities.
AlexaTM (Teacher Models)                       	            	آمازون              	                      	                                                                                                                  	                                                                         	                                                                                                                    	bidirectional sequence-to-sequence architecture
Neuro-sama                                     	            	Independent         	نامعلوم               	نامعلوم                                                                                                           	                                                                         	                                                                                                                    	A language model designed for live-streaming on Twitch.
لاما ( مدل زبانی بزرگ متا ای‌آی)               	            	متا                 	                      	                                                                                                                  	6300                                                                     	                                                                                                                    	Trained on a large 20-language corpus to aim for better performance with fewer parameters. Researchers from Stanford University trained a fine-tuned model based on LLaMA weights, called Alpaca.
جی‌پی‌تی ۴                                     	            	اوپن‌ای‌آی          	نامعلوم               	نامعلوم                                                                                                           	نامعلوم                                                                  	                                                                                                                    	Available for ChatGPT Plus users and used in several products.
Cerebras-GPT                                   	            	Cerebras            	                      	                                                                                                                  	270                                                                      	                                                                                                                    	Trained with Chinchilla formula.
Falcon                                         	            	                    	                      	1 تریلیون نشانه, from RefinedWeb (filtered web text corpus) plus some "curated corpora".                          	2800                                                                     	UAE's Falcon 40B, World's Top-Ranked AI Model from Technology Innovation Institute, is Now Royalty-Free, 31 May 2023	
BloombergGPT                                   	            	بلومبرگ ال.پی.      	                      	363 میلیارد token dataset based on Bloomberg's data sources, plus 345 میلیارد نشانه from general purpose datasets 	                                                                         	                                                                                                                    	LLM trained on financial data from proprietary sources, that "outperforms existing models on financial tasks by significant margins without sacrificing performance on general LLM benchmarks"
                                               	            	هواوی               	                      	329 میلیارد نشانه                                                                                                 	                                                                         	                                                                                                                    	
OpenAssistant                                  	            	                    	                      	1.5 تریلیون نشانه                                                                                                 	                                                                         	                                                                                                                    	Trained on crowdsourced open data
Jurassic-2                                     	            	                    	نامعلوم               	نامعلوم                                                                                                           	                                                                         	                                                                                                                    	Multilingual
پام 2 (مدل زبانی مسیرها)                       	            	گوگل                	                      	نشانه                                                                                                             	85000                                                                    	                                                                                                                    	Was used in Bard chatbot.
لاما 2                                         	            	متا                 	                      	نشانه                                                                                                             	                                                                         	                                                                                                                    	Successor of LLaMA.
                                               	            	آنتروپیک            	نامعلوم               	نامعلوم                                                                                                           	نامعلوم                                                                  	                                                                                                                    	Used in Claude chatbot.
Falcon 180B                                    	            	                    	                      	نشانه                                                                                                             	                                                                         	                                                                                                                    	
Mistral 7B                                     	            	میسترال ای‌آی       	                      	نامعلوم                                                                                                           	                                                                         	                                                                                                                    	
                                               	            	آنتروپیک            	نامعلوم               	نامعلوم                                                                                                           	نامعلوم                                                                  	                                                                                                                    	Used in Claude chatbot. Has a context window of 200,000 نشانه, or ~500 pages.
Grok-1                                         	            	ایکس‌ای‌آی          	314                   	نامعلوم                                                                                                           	نامعلوم                                                                  	                                                                                                                    	Used in Grok chatbot. Grok-1 has a context length of 8,192 tokens and has access to X (Twitter).
جمینای 1.0                                     	            	گوگل دیپ‌مایند      	نامعلوم               	نامعلوم                                                                                                           	نامعلوم                                                                  	                                                                                                                    	Multimodal model, comes in three sizes. Used in the chatbot of the same name.
Mixtral 8x7B                                   	            	میسترال ای‌آی       	46.7                  	نامعلوم                                                                                                           	نامعلوم                                                                  	                                                                                                                    	Outperforms GPT-3.5 and Llama 2 70B on many benchmarks. Mixture of experts model, with 12.9 میلیارد parameters activated per token.
Phi-2                                          	            	مایکروسافت          	2.7                   	1.4T نشانه                                                                                                        	نامعلوم                                                                  	                                                                                                                    	So-called small language model, that "matches or outperforms models up to 25x larger", trained on "textbook-quality" data based on the paper "Textbooks Are All You Need". Model training took "14 days on 96 A100 GPUs".
Eagle 7B                                       	            	RWKV                	7.52                  	1.1T نشانه                                                                                                        	نامعلوم                                                                  	                                                                                                                    	An "attention-free" linear transformer based on RWKV-v5 architecture.
جمینای1.5                                      	            	گوگل دیپ‌مایند      	نامعلوم               	نامعلوم                                                                                                           	نامعلوم                                                                  	                                                                                                                    	Multimodal model, based on a Mixture-of-Experts (MoE) architecture. Context window increased to 1 million نشانه, though only 128k will be available for developers.
Gemma                                          	            	گوگل دیپ‌مایند      	7                     	6T نشانه                                                                                                          	نامعلوم                                                                  	                                                                                                                    	
                                               	March 2024  	آنتروپیک            	نامعلوم               	نامعلوم                                                                                                           	                                                                         	Includes three models, Haiku, Sonnet, and Opus.                                                                     	
                                               	March 2024  	و                   	                      	12T نشانه                                                                                                         	                                                                         	Training cost 10 million USD. Best performing open sourced large language model at time of release.                 	
 Sinafe (بحث) ‏۱۴ آوریل ۲۰۲۴، ساعت ۱۵:۱۴ (UTC)
thread_title:  سیاهه