بلوم (مدل زبانی)

مدل زبانی بزرگ چندزبانه علم کلان با دسترسی آزاد و دانش آزاد  به اختصار بلوم  یک مدل زبانی بزرگ مبتنی بر ترنسفورمرها است که توسط بیش از ۱۰۰۰ محقق هوش مصنوعی برای ارائه یک مدل زبانی بزرگ رایگان برای همه ایجاد شده‌است. این مدل در طی ماه مارس تا ژوئیه ۲۰۲۲، بر روی حدود ۳۶۶ میلیارد توکن آموزش دیده که به عنوان جایگزین مدل جی‌پی‌تی ۳ با ۱۷۶ میلیارد پارامتر، در نظر گرفته می‌شود. بلوم از معماری مدل ترنسفورمر فقط رمزگشا استفاده می‌کند که از جی‌پی‌تی ۲ اصلاح شده‌است.

پروژه بلوم توسط یکی از بنیانگذاران شرکت Hugging Face آغاز شد. شش گروه اصلی از افراد شامل تیم علم کلام از شرکت HuggingFace، تیم DeepSpeed از مایکروسافت، Megatron-LM از تیم انویدیا، تیم IDRIS/GENCI، تیم پای‌تورچ درگیر بودند. بلوم با استفاده از داده‌های ۴۶ زبان طبیعی و ۱۳ زبان برنامه‌نویسی آموزش داده شد. در مجموع، ۱٫۶ ترابایت متن از پیش پردازش شده به ۳۵۰ میلیارد توکن منحصر به فرد به عنوان مجموعه داده‌های آموزشی بلوم تبدیل شد.

منابع 
 

ترنسفورمرهای تولیدگر از پیش آموزش‌دیده
مدل‌های زبانی بزرگ