موضوع مقاله: لاما (مدل زبانی) | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # لاما (مدل زبانی) | مقدمه: لاما مخفف شده عبارت مدل زبانی بزرگ متا ای‌آی یک مدل زبانی بزرگ است که توسط متا ای‌آی در فوریه ۲۰۲۳ منتشر شد. | ## بخش 1: لاما (مدل زبانی) | این مدل به انواع اندازه‌های مختف ۷، ۱۳، ۳۳، و ۶۵ میلیارد پارامتر آموزش داده شده است. توسعه دهندگان لاما مدعی هستند که عملکرد مدل ۱۳ میلیارد پارامتری در اکثر معیارهای پردازش زبان طبیعی از عملکرد جی‌پی‌تی ۳ فراتر رفته و با مدل‌های پیشرفته مانند پالم و چینچیلا قابل رقابت است. قدرتمندترین مدل‌های زبانی بزرگ عموماً فقط از طریق APIهای محدود قابل دسترسی بودند ولی متا مدل لاما را تحت یک مجوز غیرتجاری برای جامعه تحقیقاتی منتشر کرد. یک هفته پس از انتشار، لاما از طریق بیت‌تورنت در انجمن 4chan برای عموم مردم فاش شد. در ژوئیه ۲۰۲۳، متا چندین مدل Llama 2 با پارامترهای ۷، ۱۳ و ۷۰ میلیاردی را منتشر کرد. لاما-۳ در ۱۹ آوریل ۲۰۲۴، لاما-۳ را در دو اندازه: ۸ و ۷۰ میلیارد پارامتری منتشر کرد. در مورد مدل‌های دستورالعملی، آموزش‌های نسخه‌های دستورالعملی نیز بر روی «مجموعه‌های دستورالعمل در دسترس عموم" و همچنین "بیش از ۱۰ میلیون نمونه برچسب‌زده‌شده توسط انسان» انجام شده‌اند. متا اعلام کرده که برنامه‌هایی برای انتشار مدل‌های چندوجهی، با قابلیت مکالمه به زبان‌های مختلف و همچنین با پنجره زمینه بزرگ‌تر دارد. متا لاما-۲ را در سه اندازه مدل: ۷، ۱۳ و ۷۰ میلیارد پارامتری آموزش داده و منتشر کرد. معماری مدل تا حد زیادی نسبت به مدل‌های لاما-۱ بدون تغییر باقی می‌ماند، اما ۴۰ درصد داده‌های بیشتری برای آموزش مدل‌های پایه استفاده شد. پیش مقاله پیش از انتشارPreprint مدعی شده که ممکن است در آینده پس از برآورده کردن اهداف ایمنی در محصول، مدلی با پارامترهای 34B را منتشر کنند. به منظور ایحاد تفاوت با مدل‌های لاما-۱، همه مدل‌های جدید با وزن‌های مربوطه عرضه می‌شوند (وزن‌باز هستند) و برای بسیاری از کاربردهای تجاری رایگان هستند، یعنی نیاز دریافت به مجوز یا خرید ندارند. با این حال، به دلیل برخی محدودیت‌های باقیمانده، توصیف لاما به عنوان منبع باز توسط پیشگامان متن‌باز (معروف به حفاظت از هستند) مورد مناقشه قرار گرفته است. معماری و آموزش معماری لاما از معماری استانداردمدل‌سازی زبان که از سال ۲۰۱۸ عمومیت یافت، همان ترنسفورمر، استفاده می‌کند. به جای نرمال‌سازی لایه استاندارد از جذر میانگین مربعات در نرمال‌سازی لایه استفاده می‌کند. | ## بخش 2: لاما (مدل زبانی) | مجموعه داده‌های آموزشی توسعه‌دهندگان لاما تلاش خود را به جای افزایش تعداد پارامترها، بر مقیاس‌سازی عملکرد مدل با استفاده از افزایش حجم داده‌های آموزشی متمرکز کردند. به این دلیل که هزینه غالب برای ال‌ال‌ام‌ها ناشی از استنتاج بر روی مدل آموزش‌دیده شده است، تا هزینه محاسباتی فرایند آموزش. این مجموعه داده به دقت انتخاب دشه بود تاوب‌سایت‌هایی که اغلب اطلاعات شخصی افراد را افشا می‌کنند حذف کند. علاوه بر این، مدل Llama 2 - Chat بر روی ۲۷۵۴۰ جفت پرسخ و پاسخ ایجاد شده برای این پروژه تنظیم شد که کیفیتی بالاتر از مجموعه داده‌های شخص ثالث بزرگتر (اما با کیفیت پایین‌تر) داشت. تنظیم‌دقیق از انواع مدل‌های لاما ۱، تنها مدل‌های پایه با یادگیری خود نظارت‌شده و بدون تنظیم‌دقیق در دسترس هستند. بر خلاف جی‌پی‌تی ۴ که طول زمینه را در هنگام تنظیم‌دقیق افزایش داد، لاما ۲ و Llama 2 - Chat دارای طول زمینه یکسان معادل 4K نشانه هستند. به عبارت دیگر، مدل برای یادگیری (به‌روز رسانی پارمترهایش) از پاسخ‌های خودش استفاده می‌کند نه از پاسخ‌های کاربر. افرادی که برای مدل‌های هوش مصنوعی سؤال‌ها و متن‌هایی آماده می‌کنند که به عنوان ورودی مورد استفاده قرار می‌گیرند. سپس دو خروجی مختلف مدل را با هم مقایسه کرده و با توجه به سطح اطمینان و سطح ایمنی، برچسب‌های جداگانه به خروجی‌ها منتسب می‌کنند که باعث کنار گذاشته شدن یک خروجی می‌شود و خروجی را به نوعی وتو می‌کنند. برای دو اولویت ایمنی و مفید بودن پاسخ‌ها، دو مدل پاداش جداگانه آموزش داده می‌شود. در روش‌های قدیمی‌تر در پیاده‌سازی RLHF به‌طور گسترده و اختصاصی از بهره می‌بردند. دستورالعمل‌های اولیه، مانند "به فرانسوی صحبت کن" و "مانند ناپلئون بیان کن" در طول گفتگو رعایت شود، هدف‌گذاری و تمرکز در گفتگوها بر روی بهبود عملکرد با استفاده از تطابق چندمرحله‌ای انجام شد. در این روش، به هر پیام جدیدی که کاربر به مدل می‌دهد، به‌طور عمدی دستورالعمل‌های مرتبط نیز الصاق می‌شود. با این روش، پیوستگی دستورالعمل‌ها در دریافت مدل از کاربر تضمین می‌شود در طول آموزش انجام پذیرفت، ولی با این وجود، اثرگذاری نشانه‌های مربوط به دستورالمعل‌های ضمیمه شده در تابع هزینه صفر می‌شوند. انتشار مدل و نشت اطلاعات اطلاع‌رسانی عمومی لاما در ۲۴ فوریه ۲۰۲۳ از طریق یک پست وبلاگ به همراه مقاله‌ای که آموزش مدل، اعتبارسنجی و مجموعه‌های آزمایشی را توصیف می‌کرد، انجام شد. | ## بخش 3: لاما (مدل زبانی) | کد استنتاج مورد استفاده برای اجرای مدل به صورت عمومی تحت مجوز منبع باز جی‌پی‌ال۳ منتشر شد. دسترسی به وزن‌های مدل توسط یک فرایند درخواست مدیریت می‌شد، و دسترسی «به صورت موردی به پژوهشگران دانشگاهی؛ آن‌هایی که به سازمان‌های دولتی، جامعه مدنی، و دانشگاه‌ها وابسته بودند؛ و آزمایشگاه‌های تحقیقاتی صنعت در سراسر جهان اعطا می‌شد. در ۳ مارس ۲۰۲۳، تورنتی حاوی وزن‌های لاما بارگذاری شد، و پیوند به تورنت آن صفحه تصاویر سایت ۴چن به اشتراک گذاشته شد. در همان روز، یک درخواست کشش در مخزن اصلی لاما باز شد و درخواست افزودن پیوند آهنربایی به اسناد رسمی را داده بود. در ۴ مارس، یک درخواست کشش برای افزودن پیوندهای به مخازن هاگینگ فیس، که حاوی مدل لاما بودند، باز شد. در ۶ مارس، متا را برای حذف مخازن هاگینگ فیس مرتبط با درخواست کشش ارائه کرد و آن را «توزیع غیرمجاز» مدل توصیف کرد. در ۲۰ مارس، متا به بهانه نقض حق نسخه‌برداری یک درخواست حذف قانون کپی‌رایت هزاره دیجیتال را علیه یک مخزن حاوی اسکریپت که لاما را از یک سای آینه‌ای بارگذاری می‌کرد، ارائه کرد و گیت‌هاب نیز روز بعد موافقت کرد. برخی‌گمانه زنی کردند که این مدل برای مقاصد مخرب مانند هرزنامه پیچیده‌تر استفاده می‌شود. برخی نیز با اشاره به در دسترس بودن مدل و همچنین این واقعیت که نسخه‌های کوچکتر آن را نسبتاً ارزان می‌توان اجرا کرد تمجید کرده‌اند؛ که نشان می‌دهد که این امر باعث شکوفایی پیشرفت‌های تحقیقاتی بیشتر می‌شود. مفسران متعددی مانند سایمون ویلیسون، لاما را با استیبل دیفیوژن (یک مدل متن به تصویر) مقایسه کردند که بر خلاف مدل‌های نسبتاً پیچیده قبل از خود، آشکارا توزیع شد و منجر به گسترش سریع ابزارها، تکنیک‌ها و نرم‌افزارهای مرتبط شد. این مجموعه داده تقریباً ۱٫۲ تریلیون نشانه دارد و به صورت عمومی برای باگذاری توسط عموم در دسترس است. این برنامه که یک نرم‌افزار بهینه‌سازی شده برای پیاده‌سازی مجدد LLaMa در C++ است. این کار به بسیاری از افراد اجازه داد تا سری مدل‌های لاما را به صورت محلی (بدون نیاز به دسترسی به خدمات ابری یا واسط برنامه‌نویسی کاربردی) اجرا کنند. | ## جمع‌بندی | چندین پروژه منبع‌باز وجود دارند که این راه را ادامه می‌دهند و با استفاده از مجموعه داده Alpaca به تنظیم دقیق لاما می‌پردازند.