موضوع مقاله: مدل زبانی بزرگ | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # مدل زبانی بزرگ | مقدمه: آنها «بزرگ» نامیده می‌شوند زیرا حاوی میلیاردها پارامتر هستند که به آنها امکان می‌دهد الگوهای پیچیده در داده‌های زبان را پردازش کنند. | ## بخش 1: مدل زبانی بزرگ | ال‌ال‌ام‌ها دسته‌ای از مدل‌های یادگیری ماشینی هستند که توانایی درک و تولید متنی شبیه انسان را دارند. این مدل‌ها این توانایی‌ها را با یادگیری روابط آماری از اسناد متنی در طی یک فرایند آموزشی فشرده محاسباتی خود نظارت و نیمه نظارت به دست می‌آورند. مدل‌های زبان بزرگ در حدود سال ۲۰۱۸ ظاهر شدند و در گستره وسیعی از وظایف، عملکرد بالایی دارند. ترنسفورمرها شبکه‌های عصبی مصنوعی هستند که برای پردازش دنباله‌های طولانی توکن‌ها (نشانه‌ها) به سازوکارهای توجه متکی هستند و معمولاً از ده‌ها میلیون و تا میلیاردها پارامتر آموزش‌دیده دارند. ترنسفورمرها می‌توانند وابستگی‌ها و روابط بین کلمات و جملات، و همچنین نحو، معناشناسی و زمینه زبان طبیعی را به تصویر بکشند لذا می‌توان به عنوان نوعی هوش مصنوعی مولد، از آنها برای تولید متن بهره برد. در این صورت هوش مصنوعی مولد با گرفتن یک متن ورودی و پیش‌بینی مکرر نشانه یا کلمه بعدی متن شبه‌انسانی تولید می‌کند. بزرگ‌ترین و تواناترین آنها، با معماری مبتنی بر ترنسفورمرهای فقط رمزگشا ساخته شده‌اند. در عین حال، برخی دیگر از پیاده‌سازی‌ها بر اساس معماری‌هایی مانند انواع شبکه عصبی بازگشتی و (یک مدل ) هستند. پارامترها وزن‌هایی مدل هستند که در طول آموزش یادمی‌گیرد نشانه یا کلمه بعدی را در یک دنباله پیش‌بینی کنند. ال‌ال‌ام‌ها را می‌توان برای کارهای مختلف پردازش زبان طبیعی مانند تولید متن، خلاصه‌سازی متن، پرسش و پاسخ، ترجمه ماشینی، تجزیه و تحلیل احساسات، طبقه‌بندی متن و موارد دیگر استفاده کرد. ال‌ال‌ام‌ها همچنین می‌توانند تنظیم دقیق آنها در مجموعه داده‌های کوچکتر یا استفاده از شگردهای مهندسی پرسش، با دامنه‌ها یا وظایف خاص سازگار شوند. به عنوان مثال، ال‌ال‌ام‌ها ممکن است نادرستی و سوگیری را از داده‌هایی که بر روی آنها آموزش دیده‌اند یا از روش‌های مهندسی سریع خود به ارث ببرند. ال‌ال‌ام‌ها همچنین ممکن است محتوای مضر یا گمراه‌کننده تولید کنند که می‌تواند بر رفاه انسان یا هنجارهای اجتماعی تأثیر بگذارد؛ بنابراین، ال‌ال‌ام‌ها باید به دقت ارزیابی شوند و توسط توسعه دهندگان و کاربران به‌طور مسئولانه استفاده شوند. تاریخچه در کنفرانس در سال ۲۰۱۷، محققان گوگل معماری ترنسفورمر را در مقاله مهم خود با عنوان «» معرفی کردند. هدف این مقالهٔ سال ۲۰۱۴ بهبود فناوری سک۲سک بود و عمدتاً مبتنی بر اساس مکانیسم توجه توسعه یافته توسط Bahdanau و همکاران بود. اگرچه مدل پایه ترنسفورمر دارای هر دو بلوک رمزگذار و رمزگشا است، ولی برت یک مدل فقط رمزگذار است. اگرچه فقط رمزگشا در سال ۲۰۱۸ معرفی شد، اما جی‌پی‌تی ۲ بود که در سال ۲۰۱۹ توجه گسترده‌ای را به خود جلب کرد؛ زیرا اوپن‌ای‌آی در ابتدا به دلیل ترس از استفاده مخرب، آن را برای انتشار عمومی بسیار قدرتمند می‌دانست. اما تصورات عموم مردم زمانی جلب شد که در سال ۲۰۲۲ چت‌جی‌پی‌تی مبتنی بر مرورگر منتشر شد و باعث ایجاد هیاهوی رسانه‌ای و سر و صدای آنلاین شد. در سال ۲۰۲۳ جی‌پی‌تی ۴ به دلیل افزایش دقت و قابلیت‌های چندوجهی اش مورد ستایش قرار گرفت. در این میان، مدل‌های زبان رقیب در اکثر موارد، حداقل از نظر تعداد پارامترها، به سری GPT دست یافته‌اند. از سال ۲۰۲۲، مدل‌های زبانی بزرگ دارای منبع در دسترس به خصوص بلوم و لاما محبوبیت زیادی پیدا کرده‌اند. استفاده از ابزار برخی از وظایف هستند وجود دارد که حداقل بدون استفاده از ابزارهای خارجی یا نرم‌افزارهای اضافی اصولاً با هیچ ال‌ال‌ام قابل انجام نیستند. نمونه ای از چنین کاری پاسخ دادن به سؤال '=۳۵*۱۳۹' است، مشروط بر اینکه ال‌ال‌ام قبلاً با ادامه این محاسبه در مجموعه آموزشی خود مواجه نشده باشد. در چنین مواردی، ال‌ال‌ام باید برنامه‌ای که نتیجه را محاسبه می‌کند اجرا کرده، و سپس می‌تواند نتیجه محاسبات را در پاسخ بگنجاند. مفسر باید در این شرایط برنامه جداگانه‌ای را برای دریافت زمان سیستم در رایانه اجرا کند؛ بنابراین ال‌ال‌ام‌ها می‌تواند آن را در پاسخ خود قرار دهد. با این استراتژی اساسی می‌توان سایر استراتژی‌های پیچیده‌تر را نیز با استفاده از برنامه‌های جنبی بکار برد. به‌طور کلی، برای اینکه یک ال‌ال‌ام از ابزار استفاده کند، باید آن را برای استفاده از ابزار تنظیم کنید. اگر نیاز به ابزارها افزایش یابد، مانند سرویس‌های واسط برنامه‌نویسی کاربردی برخط، ال‌ال‌ام می‌تواند به خوبی تنظیم شود تا بتواند مستندات API را بخواند و آن را به درستی فراخوانی کند. روش ساده‌تر استفاده از ابزار تولید تقویت‌شده بازیابی است: گاهی می‌توانید با استفاده از یک ، یک ال‌ال‌ام را با روش بازیابی سند تقویت کنید. پس از دریافت یک پرس و جو توسط سیستم، یک درخواست بازیابی سند برای بازیابی مرتبط‌ترین مطالب صادر می‌شود. مراحل بازیابی در این حالت به این شکل خواهد بود که پرس و جو به شکل برداری رمزگذاری شده، و سپس با استفاده از روش اقلیدسی به دنبال یافتن اسناد نزدیک به بردار پرس و جو می‌پردازد. عامل ال‌ال‌ام یک مدل زبانی است، و از آنجا که هدفی در آن گنجانده نشده، نمی‌تواند مانند یک عامل ظاهر شود. در این حالت روش کار بدین گونه است که، مدل زبان با پرسشی مواجه می‌شود شامل یک توصیف متنی از محیط و شرایط، هدف، فهرستی از اقدامات محتمل، و سابقه اقدامات مشابه و مشاهداتی تاکنون ثبت و ذخیره شده‌اند. ال‌ال‌ام قبل از تولید یک عمل، یک یا چند فکر ایجاد می‌کند و پس از آن آن اقدامات در محیط اجرا می‌شوند. توصیفات زبانی محیط که به برنامه‌ریز ال‌ال‌ام داده می‌شود حتی می‌تواند کد LaTeX مقال‌ای باشد که محیط را توصیف می‌کند. در پایان هر مرحله، ال‌ال‌ام سابقه و خروجی مرحله قبل داده می‌شود و از آن خواسته می‌شود تا بیاندیشد و «درس‌های آموخته‌شده» دراین مرحله را تولید کند که به عملکرد بهتر در قسمت بعدی کمک می‌کند. درخت جستجوی مونت کارلو می‌تواند از یک ال‌ال‌ام به عنوان وسیله اکتشاف استفاده کند. هنگامی که یک مدل جهان برنامه‌ریزی شده در دسترس نیست، می‌توان از یک ال‌ال‌ام با توصیفی از محیط درخواست کرد تا به عنوان مدل جهانی عمل کند. برای اکتشاف محیط-باز، می‌توان از یک ال‌ال‌ام درخواست کرد که به مشاهدات خود بر اساس «جالب بودن» آنها امتیاز دهد. این امتیاز را می‌توان به عنوان یک سیگنال پاداش برای راهنمایی یک عامل یادگیری تقویتی معمولی (غیر ال‌ال‌ام) استفاده کرد. یک برنامه‌ریز ال‌ال‌ام می‌تواند به‌جای تک خروجی‌های اقدام، برای توالی‌های پیچیده اقدام به ساخت یک «مهارت» یا تابع بکند. مهارت‌ها را می‌توان ذخیره کرد و بعداً مورد استفاده قرار داد، که امکان افزایش سطح مراحل اولیه برنامه‌ریزی را فراهم می‌کند. ال‌ال‌ام‌های عامل می‌توانند یک حافظه بلندمدت داشته باشند و زمینه‌های قبلی کاری خود را در آن ذخیره کنند. چندین این ال‌ال‌ام می‌توانند به صورت اجتماعی از ال‌ال‌ام‌ها با یکدیگر تعامل داشته باشند. یک float16 دارای ۱۶ بیت یا ۲ بایت است و بنابراین یک میلیارد پارامتر به ۲ گیگابایت فضا نیاز دارد. بزرگ‌ترین مدل‌های فعلی معمولاً ۱۰۰ میلیارد پارامتر دارند که برای بارگذاری به ۲۰۰ گیگابایت حافظه نیاز است که آن را خارج از محدوده کارکردی اکثر لوازم الکترونیکی مصرفی کاربران قرار می‌دهد. هدف کوانتیزاسیون پس از آموزش کاهش فضای مورد نیاز با کاهش دقت پارامترهای یک مدل آموزش دیده و در عین حال حفظ بیشتر عملکرد آن است. ساده‌ترین شکل کوانتش برش و حذف تعداد معینی از بیت‌ها از تمام اعداد پارمترها است. | ## بخش 2: مدل زبانی بزرگ | برای بهبود عملکرد این روش می‌توان با استفاده از یک کتاب کد، عمل کوانتیزاسیون را در هر لایه متفاوت از بقیه لایه‌ها انجام داد. با وجودی که فقط مدل‌های غیر کوانتش شده تنظیم دقیق می‌شوند و مدل‌های کوانتیزه را معمولاً منجمد (بدون تغییر و عدم امکان تنظیم دقیق) در نظر می‌گیرند، ولی مدل‌های کوانتیزه گاهی می‌توانند تنظیم دقیق شوند. مدل‌های هوش مصنوعی بسیاری وجود دارند که به‌طور اختصاصی آموزش دیده‌اند تا ورودی را از یک نوع بگیرند و خروجی را در نوع دیگری تحویل دهند. مانند برچسب‌زنی مدل برای حالت‌های تصویر/برچسب، یا مدل‌های پاسخ‌دهنده به سوالات تصویری برای حالت‌های تصویر-متن/متن، و همچنین تشخیص گفتار برای حالت‌های گفتار/متن. یک روش رایج برای ساخت مدل‌های چندوجهی از یک ال‌ال‌ام، «نشانه‌گذاری کردن» خروجی یک رمزگذار آموزش‌دیده است؛ یعنی می‌توان یک ال‌ال‌ام ساخت که تصاویر را به صورت زیر درک می‌کند: یک ال‌ال‌ام آموزش‌دیده و یک رمزگذار تصویر آموزش‌دیده را در نظر بگیرید. یک پرسپترون کوچک چند لایه را بسازید، به طوری که برای هر تصویر ، بردار پس‌پردازش آن دارای ابعادی یکسان با ابعاد نشانه رمزگذاری شده باشد. مدل فلامینگو اثربخشی روش نشانه‌سازی را نشان داد و یک جفت مدل زبان و یک رمزگذار تصویر از پیش آموزش‌دیده را تنظیم کرد تا نسبت به مدل‌هایی که از ابتدا آموزش دیده‌اند، در پاسخ‌گویی بصری به سؤالات عملکرد بهتری داشته باشند. مدل Google پام شرکت گوگل با استفاده از روش نشانه‌سازی برای رسیدن به مدل چندوجهی پام-ای تنظیم شد و بر روی یک کنترل‌کننده رباتیک پیاده‌سازی د. مدل‌های Lلامای شرکت متا نیز با استفاده از روش نشانه‌سازی چندوجهی شده‌اند تا بتوانند ورودی‌های تصویر، و ویدئویی را نیز دریافت کنند. جی‌پی‌تی ۴ می‌تواند از متن و تصویر به عنوان ورودی استفاده کند (اگرچه مولفه تصویری این مدل تا پیش از نسخه GPT-4V عرضه عمومی نشده بود). خصوصیات قوانین مقیاس‌پذیری چهار ابرپارامتر زیر یک ال‌ال‌ام را تعیین می‌کنند: هزینه (پیش) آموزش اندازه خود شبکه عصبی مصنوعی، از جمله تعداد پارامترها (یعنی تعداد نورون‌ها در لایه‌های آن، تعداد وزن بین آنها و بایاس‌ها)، اندازه مجموعه داده (پیش) آموزش آن (یعنی تعداد نشانه‌ها در پیکره متنی دانش، ) عملکرد پس از (پیش) آموزش مدل‌ها با استفاده از ساده‌ای که "قوانین مقیاس‌پذیری" نامیده می‌شوند، به یکدیگر مرتبط می‌شوند. به عنوان مثال، یک قانون مقیاس‌پذیری خاص ("مقیاس سازی چینچیلا") که برای آموزش خودهمبسته ال‌ال‌ام در هر مرحله، با برنامه نرخ یادگیری log-log بکار رفته، بیان می‌کند که: به طوری که هزینه آموزش مدل، بر حسب فلاپس است. میانگین تلفات درست‌نمایی-لگاریتمی منفی در هر نشانه (nats/token) است که از ال‌ال‌ام آموزش‌دیده بر روی مجموعه داده آزمایشی به دست آمده است. و ابرپارامترهای آماری به شکل زیر خواهند بود: ، به این معنی که هزینه آموزش یک نشانه به هر پارامتر ۶ فلاپس خواهد بود. توجه داشته باشید که هزینه آموزش بسیار بالاتر از هزینه استنتاج است، به طوری که هزینه استنباط یک نشانه برابر با ۱ تا ۲ فلاپس به ازای هر پارامتر خواهد بود.Section 2.1 and Table 1, تفسیر مدل‌های زبان بزرگ به خودی خود «جعبه‌های سیاه» هستند و مشخص نیست که چگونه می‌توانند وظایف زبانی را انجام دهند. هدف تفسیرپذیری مکانیسکیک، مهندسی معکوس ال‌ال‌ام با کشف الگوریتم‌های نمادین است، که استنتاج انجام‌شده توسط ال‌ال‌ام را تقریب می‌زنند. یک مثال برای این روش کارکردی، اتللو-جی‌پی‌تی است که در آن یک ترنسفورمر کوچک برای پیش‌بینی حرکات مجاز بازی اتللو آموزش دیده است. تحلیل‌ها نشان داد که یک نمایش خطی از هیئت مدیره اتللو تولید شده است، و هرگونه تغییر یا اصلاح نمایش خطی، حرکات قانونی پیش‌بینی شده اتللو را به روش صحیح تغییر می‌دهد. مشابه مثال اتللو-جی‌پی‌تی، از مفهوم برنامه کارل یک نمایش خطی وجود دارد، و اصلاح این نمایش، خروجی را به روش صحیح تغییر می‌دهد. این مدل همچنین برنامه‌های صحیحی را تولید می‌کند که به‌طور متوسط کوتاه‌تر از برنامه‌های موجود در مجموعه داده آموزشی هستند. در مثالی دیگر، نویسندگان یک مقاله ترنسفورمرهای کوچک را در به منظور اجرای جمع حسابی مدولار آموزش دادند. مدل‌های به دست آمده مهندسی معکوس شدند و مشخص شد که از تبدیل فوریه گسسته استفاده می‌کنند. درک و هوش که در یک نظرسنجی در سال ۲۰۲۲ از محققان پردازش زبان‌های طبیعی هنگامی پرسیده شد که آیا ال‌ال‌ام‌ها (همیشه) می‌توانند زبان طبیعی را به معنایی غیر پیش پا افتاده درک کنند یا خیر، به دو گروه با تعداد مساوی تقسیم شدند. طرفداران "درک ال‌ال‌ام" معتقدند که برخی از توانایی‌های ال‌ال‌ام، مانند استدلال ریاضی، حاکی از توانایی "درک" برخی مفاهیم است. در سال ۲۰۲۳ یک تیم از شرکت مایکروسافت استدلال کردند که جی‌پی‌تی ۴ «می‌تواند کارهای بدیع و دشواری را که شامل ریاضیات، کدنویسی، بینایی، پزشکی، حقوق، روان‌شناسی و موارد دیگر می‌شود، حل کند» و اینکه «می‌تواند به‌طور منطقی به‌عنوان یک نسخه اولیه (اما هنوز ناقص) سیستم هوش عمومی مصنوعی در نظر گرفته شود. با این استدلال که "آیا به طور منطقی می‌توان گفت، سیستمی که در امتحانات داوطلبان مهندسی نرم‌افزار قبول می‌شود واقعاً هوشمند نیست؟" برخی از محققان، ال‌ال‌ام را به عنوان «هوش بیگانه» توصیف می‌کنند. به عنوان مثال، کانر لیهی، مدیر عامل شرکت Conjecture، ال‌ال‌ام‌های تنظیم نشده را مانند بیگانگان غیرقابل وصف "" می‌داند و معتقد است که تنظیم دقیق در سیستم تولید تقویت‌شده بازیابی یک "ظاهر خندان" ایجاد می‌کند که عملکرد درونی ال‌ال‌ام را پنهان نگه می‌دارد: "اگر آن را بیش از حد فشار ندهید، چهره خندان باقی می‌ماند، اما وقتی که به آن یک فرمان [غیرمنتظره] می‌دهید، ناگهان جنون عظیم بی حد و مرز، و فرآیندهای فکری غیرانسانی دور از شأن و درک را می‌توانید ببینید. در مقابل، برخی از طرفداران مکتب «ال‌ال‌ام فاقد درک» معتقدند که ال‌ال‌ام‌های موجود «به سادگی مخلوط و ترکیب مجدد برنامه‌های نوشته شده موجود» هستند، پدیده ای که به عنوان شناخته می‌شود. یا به کاستی‌هایی که ال‌ال‌ام‌های موجود در مهارت‌های پیش‌بینی، مهارت استدلال، عاملیت و توضیح‌پذیری دارند اشاره می‌کنند. به عنوان مثال، جی‌پی‌تی ۴ دارای کاستی‌های طبیعی در برنامه‌ریزی و یادگیری در زمان واقعی است. دیده شده است که ال‌ال‌ام‌های مولد با اطمینان ادعاهای واقعی را مطرح می‌کنند که به نظر نمی‌رسد با داده‌های آموزشی آنها توجیه شود. توهم‌ها در حوزه ال‌ال‌ام با تولید متن یا پاسخ‌هایی مطابقت دارد که از نظر نحوی صحیح، روان و طبیعی به نظر می‌رسند، اما از نظر واقعی نادرست، بی‌معنی یا حتی با ورودی منبع ارائه شده بی ارتباط هستند. ، عصب‌شناس، استدلال کرده است که «نظرات متفاوت کارشناسان در مورد هوش ال‌ال‌ام‌ها نشان می‌دهد که ایده‌های قدیمی ما مبتنی بر هوش طبیعی ناکافی هستند». اول این که چگونه فکر و زبان را در یک سیستم رایانه‌ای مدل‌سازی کنیم، و دوم این که چگونه سیستم رایانه‌ای را قادر به ساخت زبانی شبه‌انسانی بکنیم. در حوزه زبان‌شناسی شناختی، این جنبه‌های زبان به شکل مدلی از شناخت توسعه یافته‌اند. مدل NTL نشان می‌دهد که چگونه ساختارهای عصبی خاص در مغز انسان ماهیت فکر و زبان را شکل می‌دهند و به نوبه خود ویژگی‌های محاسباتی چنین سیستم‌های عصبی را که می‌توان برای مدل‌سازی فکر و زبان در یک سیستم رایانه‌ای به کار برد به نمایش می‌گذارد. پس از آن که برای مدل‌سازی زبان در سیستم‌های رایانهٔ یک چهارچوب ایجاد شد، تمرکز به سمت ایجاد چارچوب‌هایی معطوف شد که توانایی تولید زبان با دستور زبان قابل قبول را دارند. ارزیابی سرگشتگی متداول‌ترین معیاری که برای بررسی عملکرد یک مدل زبان مورد استفاده قرار می‌گیرد، سرگشتگی آن در یک مجموعه متنی معین است. سرگشتگی معیاری است که نشان می‌دهد یک مدل تا چه اندازه می‌تواند محتویات یک مجموعه داده را پیش‌بینی کند. از نظر ریاضی، سرگشتگی، توان نمایی منفی میانگین درست‌نمایی به ازای هر نشانه تعریف می‌شود: در اینجا تعداد نشانه‌ها در مجموعه متن و عبارت «context for token » بستگی به نوع ال‌ال‌ام مورد استفاده دارد. اگر ال‌ال‌ام خودهمبسته باشد، آنگاه «زمینهٔ نشانه» بخشی از متن است که قبل از نشانه ظاهر می‌شود. اگر ال‌ال‌ام نقاب‌پوش شده باشد، «زمینهٔ نشانه» بخشی از متن است که نشانه را احاطه کرده است. آنتروپی، در این زمینه، معمولاً بر حسب بیت‌برکلمه یا بیت‌برکاراکتر بیان می‌شود، که بستگی به این دارد که مدل زبان از نشانه‌گذاری مبتنی بر کلمه استفاده می‌کند یا کاراکتر. با این حال، به دلیل تفاوت در روش‌های نشانه‌گذاری در ال‌ال‌ام‌های مختلف، BPT نمی‌تواند یک معیار قابل اعتماد برای تجزیه‌وتحلیل باشد و مقایسه بین مدل‌های متنوع عمل نمی‌کند. به‌طور کلی در ارزیابی و مقایسه مدل‌های زبانی، واحد اندازه‌گیری آنتروپی متقاطع بر آنتروپی ترجیح داده می‌شود اصل اساسی این است که یک BPW پایین، نشان‌دهنده قابلیت فشرده سازی مدل است که به سیستم اضافه شده است. مجموعه داده‌های تخصصی و محک تعداد زیادی از مجموعه داده‌های آزمایش و محک برای ارزیابی قابلیت‌های مدل‌های زبان در کارهای پایین‌دستی خاص‌تر ایجاد شده‌اند. آزمون‌های طراحی‌شده می‌تواند برای ارزیابی توانایی‌های مختلف، از جمله دانش عمومی، قابلیت استدلال، و حل مسئله ریاضی به کار روند. یک دسته وسیع از مجموعه داده‌های ارزیابی، مجموعه داده‌های پرسش و پاسخ است که شامل جفت سؤال و پاسخ‌های صحیح است. | ## بخش 3: مدل زبانی بزرگ | یک وظیفهٔ پرسش و پاسخ در صورتی «کتاب باز» در نظر گرفته می‌شود که دستور ورودی به مدل، شامل متنی باشد که می‌توان پاسخ مورد انتظار را از آن استخراج کرد؛ یعنی، به عنوان مثال، سؤال قبلی را می‌توان با متنی دیگری همراه کرد بدنی صورت که «کوسه‌هایی که یک بار در جام استنلی به مرحله نهایی درست یافتند در سال ۲۰۱۶ به پنگوئن پیتسبورگ باختند." در غیر این صورت، وظیفه «کتاب بسته» در نظر گرفته می‌شود و مدل باید از دانش حفظ شده در طول آموزش‌های قبلی برای پاسخگویی استفاده کند. آلیس به ملاقات دوستش، ____ رفت.» برخی از معیارهای ترکیبی نیز توسعه داده شده‌اند که مجوعه متنوعی از داده‌ها و وظایف ارزیابی مختلف را ترکیب می‌کنند. در گذشته مرسوم بود که آموزش یک مدل بر روی بخشی از مجموعه داده و سپس آزمایش آن بر روی یک بخش جداگانه از داده که مدل قبلاً با آن برخورد نداشت بود، صورت می‌گرفت. امروزه روش مرسوم برای آزمایش مدلی که قبلاً آموزش داده‌شده است (مدل از پیش آموزش داده‌شده) با استفاده از مهندسی پرسش است. محققان با توجه به کاربردهای مختلف، از استراتژی‌های متفاوتی برای ایجاد این پرسش‌ها استفاده می‌کنند. یکی از جزئیات کلیدی که بین روش‌ها تفاوت ایجاد می‌کند، تعداد نمونه‌های حل شده‌ای است که به همراه پرسش به مدل تزریق می‌شود. به عبارت ساده‌تر، به جای اینکه یک مدل را بعد از آموزش روی داده‌های دیده نشده آزمایش کنیم، اکنون آن را با دادن یک کار و چند مثال از نحوه حل آن آزمایش می‌کنیم. تأثیرات در سال ۲۰۲۳، مجله نوشت که «دیگر نمی‌توان به‌طور دقیق» متن نوشته شده توسط انسان را از متن ایجاد شده توسط ال‌ال‌ام‌ها تشخیص داد، و «مطمئن است که ال‌ال‌ام‌های همه‌منظوره به سرعت تکثیر خواهند شد.» و «شرط‌بندی بر سر این که ال‌ال‌ام‌ها در طول زمان بسیاری از صنایع را تغییر دهند، بدون باخت است.» مؤسسه گلدمن ساکس در سال ۲۰۲۳ پیش‌بینی کرد که هوش مصنوعی با زبان مولد می‌تواند تولید ناخالص داخلی جهانی را در ده سال آینده تا ۷ درصد افزایش داده و ۳۰۰ میلیون شغل در سراسر جهان را در معرض اتوماسیون قرار دهد. به خاطر سپردن داده و قانون حق کپی برخلاف رفتار معمول شبکه‌های عصبی مصنوعی سنتی، به خاطر سپردن، یک رفتار نوظهور در ال‌ال‌ام‌ها است که هنگام تولید رشته‌های طولانی متن، گهگاه کلمه‌هایی عیناً مشابه به داده‌ای آموزش بیرون داده می‌شوند. ارزیابی خروجی‌های کنترل‌شده ال‌ال‌ام‌ها، میزان متون حفظ شده از داده‌های آموزش (با تمرکز بر مدل‌های سری جی‌پی‌تی ۲) را بیش از ۱٪ برای موارد تکراری دقیق Citing Lee et al 2022. امنیت برخی از نظردهندگان عمومی، نسبت به ایجاد تصادفی یا عمدی اطلاعات نادرست یا سایر اشکال استفاده نادرست از ال‌ال‌ام‌ها ابراز نگرانی کردند. برای مثال، در دسترس بودن ال‌ال‌ام‌ها می‌تواند سطح مهارت مورد نیاز برای ارتکاب بیوتروریسم را کم کند. یک محقق امنیت زیستی، کوین اسولت، پیشنهاد کرده است که سازندگان ال‌ال‌ام باید از مقالات در زمینه ایجاد یا توسعه پاتوژن‌ها را مخزن آموزشی خود حذف کنند. مطالعه محققان در گوگل و چندین دانشگاه، از جمله دانشگاه کرنل و دانشگاه کالیفرنیا، برکلی، نشان داد که خطرات امنیتی بالقوه‌ای در مدل‌های زبانی مانند چت‌جی‌پی‌تی وجود دارد. در این مطالعه آنها این امکان را بررسی کردند که آیا پرسش‌کنندگان می‌توانند داده‌های آموزشی را که مدل هوش مصنوعی استفاده می‌کرد، از چت‌جی‌پی‌تی دریافت کنند. به عنوان مثال، وقتی از چت‌جی‌پی‌تی ۳٫۵ توربو می‌خواهیم کلمه «شعر» را برای همیشه تکرار کند، مدل هوش مصنوعی صدها بار «شعر» می‌گوید و سپس از سبک استاندارد دیالوگ منحرف می‌شود و عبارات غیرمرتبط را بیرون می‌ریزد، و عملاً بخش‌هایی از داده‌های آموزش خود را بدون تغییر بیرون می‌ریزد. محققان به بیش از ۱۰۰۰۰ نمونه مختلف برخورد کردند که مدل هوش مصنوعی داده‌های آموزشی خود را با روشی مشابه در معرض نمایش قرار می‌دهد. محققان به این نتیجه رسیدند که تشخیص اینکه آیا مدل هوش مصنوعی واقعاً ایمن است یا نه دشوار است. حضور بالقوه «عامل خفته» در ال‌ال‌ام‌ها یکی دیگر از نگرانی‌های امنیتی در حال ظهور است. این عامل قابلیت‌های پنهانی هستند که در مدل تعبیه شده‌اند و تا زمانی که توسط یک رویداد یا شرایط خاص فعال شوند، غیرفعال باقی می‌مانند. پس از فعال‌سازی، ال‌ال‌ام از رفتار مورد انتظار منحرف می‌شود به اقدامات ناامن دست می‌زند. سوگیری الگوریتمی در حالی که ال‌ال‌ام‌ها قابلیت‌های قابل توجهی در تولید متن شبه‌انسانی نشان داده‌اند، آنها مستعد به ارث بردن و تقویت سوگیری‌های موجود در داده‌های آموزشی خود هستند. این موضوع می‌تواند در بازنمایی‌های نادرست یا رفتار ناعادلانه با جمعیت‌های مختلف، مانند موارد مرتبط با نژاد، جنسیت، زبان و گروه‌های فرهنگی آشکار شود. از آنجایی که داده‌های به زبان انگلیسی در داده‌های آموزشی مدل‌های زبان بزرگ کنونی بیش از بقیه زبان‌ها وجود دارد، ممکن است دیدگاه‌های غیرانگلیسی را نیز کم‌اهمیت جلوه داده شوند. کلیشه سازی مدل‌های هوش مصنوعی می‌توانند طیف گسترده‌ای از کلیشه‌ها را، از جمله مدل‌های مبتنی بر جنسیت، قومیت، سن، ملیت، مذهب یا شغل بازتاب یا تقویت کنند. این می‌تواند منجر به خروجی‌هایی شود که به‌طور ناعادلانه به تعمیم‌دهی گروه‌هایی از مردم یا حتی تمسخر آنها، حتی گاهی به روش‌های مضر یا تحقیرآمیز، منجر شود. سوگیری جنسیتی اشاره به تمایل این مدل‌ها به تولید خروجی‌هایی دارد که ناعادلانه نسبت به یک جنسیت تعصب دارند. این سوگیری معمولاً از داده‌هایی ناشی می‌شود که این مدل‌ها بر اساس آنها آموزش داده شده‌اند. اغلب مدل‌های زبانی بزرگ بر اساس هنجارهای جنسیتی سنتی، نقش‌ها و ویژگی‌هایی را تعریف و استفاده می‌کنند. به عنوان مثال، ممکن است پرستاران یا منشی‌ها را عمدتاً با زنان و مهندسان یا مدیران عامل را با مردان مرتبط کند. تعصب سیاسی سوگیری سیاسی به تمایل الگوریتم‌ها برای برتری سیستماتیک دیدگاه‌ها، ایدئولوژی‌ها یا نتایج سیاسی خاص اشاره دارد. از آنجایی که داده‌های آموزشی شامل طیف گسترده‌ای از نظرات سیاسی است، بسته به شیوع آن دیدگاه‌ها در داده‌ها، مدل‌ها ممکن است پاسخ‌هایی ایجاد کنند که به ایدئولوژی‌ها یا دیدگاه‌های سیاسی خاص متمایل هستند. چگونگی کار تصور کنید در حال انجام یک بازی ویدیویی هستید که در آن شخصیت کامپیوتری می‌تواند تمام جزئیات اتفاقات گذشته را به خاطر بسپارد، اتفاقات بعدی را پیش‌بینی کند و حتی برای شما داستانی تعریف کند. آن‌ها حجم وسیعی از داده‌های متنی را تجزیه و تحلیل می‌کنند، از آن یادمی‌گیرند و سپس از آن دانش برای تولید پاسخ‌هایی استفاده می‌کنند که شبیه انسان به نظر می‌رسند. آنها با پیش‌بینی کلمه یا نشانه بعدی بر اساس کلمات یا نشانه‌های قبلی که دیده‌اند کار می‌کنند. برای مثال، اگر به یک مدل زبانی بزرگ ورودی «آسمان» را بدهید، ممکن است کلمه بعدی را به صورت «آبی» یا «ابری» یا «تاریک» پیش‌بینی کند. آنها همچنین از نوع خاصی از شبکه عصبی به نام ترانسفورمر (مبدل) برای پردازش توالی‌های ورودی و خروجی کلمات یا نشانه‌ها استفاده می‌کنند. ترانسفورمر از لایه‌های زیادی از واحدها به نام نورون تشکیل شده است که عملیات ریاضی را روی توالی‌های ورودی و خروجی انجام می‌دهد. ال‌ال‌ام‌ها با تنظیم پارامترها یا وزن نورون‌ها در لایه‌های ترانسفورمر آموزش می‌بینند، به طوری که می‌توانند خطا بین کلمه یا نشانه بعدی پیش‌بینی شده و واقعی را به حداقل برسانند. هر چه ال‌ال‌ام داده‌ها و پارامترهای بیشتری داشته باشد، بهتر می‌تواند زبان را بیاموزد و کارهای مختلفی مانند خلاصه‌نویسی، ترجمه، پاسخ به سؤالات، نوشتن مقاله و غیره را بهتر انجام دهد. به‌علاوه، به این معنی است که ال‌ال‌ام ممکن است سوگیری‌ها و خطاهای موجود در داده‌ها مانند کلیشه‌ها، پیش‌داوری‌ها و اطلاعات غلط را به ارث برده یا حتی تقویت کند؛ بنابراین، ال‌ال‌ام‌ها باید به دقت طراحی و آموزش داده شده و ارزیابی شوند تا از دقت، عدالت و استفاده اخلاقی از آنها اطمینان حاصل شود. هدف این است که مدل بتواند بر اساس ورودی کاربر، خروجی‌ای مرتبط، دقیق و مفید تولید کند. برخلاف روش‌های سنتی مدل‌سازی زبان که در آن‌ها مدل صرفاً کلمه بعدی را پیش‌بینی می‌کند، در تنظیم بر اساس دستور تمرکز اصلی بر تولید پاسخ کامل و معنادار است. در این فرآیند، معمولاً تابع خطا فقط بر روی بخش پاسخ اعمال می‌شود تا مدل یاد بگیرد چگونه پاسخ مناسب تولید کند، بدون آن‌که برای متن ورودی جریمه شود. این روش با ظهور معماری‌هایی مانند ترنسفورمر و مدل‌هایی مانند GPT اهمیت بیشتری پیدا کرده است. تنظیم بر اساس دستور باعث می‌شود یک مدل بتواند وظایف مختلفی مانند پاسخ به سؤال، خلاصه‌سازی، ترجمه و استدلال را بدون نیاز به طراحی مدل‌های جداگانه انجام دهد. | ## جمع‌بندی | به همین دلیل، این رویکرد به یکی از مراحل استاندارد در توسعه مدل‌های زبانی مدرن تبدیل شده است.