موضوع مقاله: مدل زبانی بزرگ به عنوان داور | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # مدل زبانی بزرگ به عنوان داور | مقدمه: مدل زبانی بزرگ به‌عنوان داور (به انگلیسی: LLM-as-a-Judge که با نام‌های «ارزیابی مبتنی بر مدل زبانی بزرگ»، «داورهای LLM» یا «مدل‌های زبانی بزرگ به‌عنوان داور» نیز شناخته می‌شود) به مجموعه‌ای از روش‌ها در حوزهٔ پردازش زبان طبیعی گفته می‌شود که در آن‌ها از مدل‌های زبانی بزرگ (LLMها) به‌عنوان ارزیاب‌های خودکار برای متن‌ها یا سایر خروجی‌های مدل‌ها استفاده می‌شود. | ## بخش 1: مدل زبانی بزرگ به عنوان داور | در این رویکرد، به‌جای اتکا صرف به برچسب‌گذاران انسانی، یک مدل زبانی بزرگ به‌صورت هدایت‌شده یا پس از ریزتنظیم آموزش داده می‌شود تا بر اساس معیارهای مشخصی مانند سودمندی، واقع‌گرایی، ایمنی یا سبک نگارش، امتیاز، برچسب یا ترجیح ارائه کند. ارزیابی مبتنی بر مدل زبانی بزرگ برای سنجش دستیارهای مکالمه‌ای و دیگر مدل‌های مولد به‌کار می‌رود و از آن برای ایجاد رتبه‌بندی‌ها و معیارهای سنجش خودکار، انتخاب مدل‌ها برای به‌کارگیری عملی، و تولید داده‌های ترجیحی استفاده می‌شود؛ داده‌هایی که می‌توانند دوباره در فرایند آموزش مدل‌ها مورد استفاده قرار گیرند. همین ایده به محیط‌های چندوجهی نیز گسترش یافته است؛ جایی که مدل‌های بینایی–زبانی (VLMها) به‌عنوان داورِ تصاویر یا ویدئوها عمل می‌کنند (که گاهی «مدل بینایی–زبانی به‌عنوان داور» یا VLM-as-a-Judge نامیده می‌شود) و خروجی‌های تولیدشده توسط سامانه‌های دیگر را رتبه‌بندی، توصیف یا بررسی می‌کنند. مطالعات تجربی نشان می‌دهند که داورهای قدرتمند مبتنی بر مدل‌های زبانی بزرگ می‌توانند در بسیاری از وظایف، همبستگی نزدیکی با داوری‌های انسانی داشته باشند و در برخی موارد به سطح توافقی مشابه با میزان توافق میان چند داور انسانی دست یابند. با این حال، پژوهش‌های بعدی وجود سوگیری‌ها و حالت‌های شکست نظام‌مند را مستند کرده‌اند؛ از جمله سوگیری جایگاه، ترجیح طول متن، سوگیری خودتقویتی زمانی که یک داور خروجی‌های متعلق به همان خانوادهٔ مدل خود را ارزیابی می‌کند، و آسیب‌پذیری در برابر دست‌کاری دستوری (Prompt Hacking). این نگرانی‌ها موجب شکل‌گیری پژوهش‌هایی دربارهٔ فراارزیابی داورهای مبتنی بر مدل‌های زبانی بزرگ، تدوین راهنماهایی برای استفادهٔ مسئولانه، و توسعهٔ روش‌های تجمعی مانند «هیئت داوران مدل زبانی بزرگ» (LLM juries) شده است که در آن‌ها چندین ارزیاب با یکدیگر ترکیب می‌شوند. این معیارها کارآمد و شفاف هستند، اما اغلب در وظایف با پاسخ‌های باز مانند گفتگو، خلاصه‌سازی یا نویسندگی خلاقانه، با داوری‌های انسانی همبستگی ضعیفی دارند، زیرا در این وظایف پاسخ‌های معتبر متعددی وجود دارد و ظرافت‌های سبک نگارش، صحت اطلاعات و ایمنی اهمیت دارند. با ظهور مدل‌های زبانی بزرگ چندمنظوره، پژوهشگران شروع به بررسی استفادهٔ مستقیم از آن‌ها به‌عنوان ارزیاب کردند. بررسی‌های مربوط به ارزیابی NLG مبتنی بر LLM خانواده‌های گسترده‌ای از روش‌ها را توصیف می‌کنند، از جمله معیارهای استخراج‌شده از احتمال یا جاسازی‌های مدل، داوران هدایت‌شده با دستور زبان طبیعی، مدل‌های ارزیابی ریزتنظیم‌شده، و پروتکل‌های همکاری انسان–مدل زبانی بزرگ. گزارش شد که GPT-judge توانایی پیش‌بینی برچسب‌های صحت انسانی را با دقتی در محدودهٔ پایین تا میانهٔ ۹۰٪ روی مدل‌های نگه‌داشته‌شده دارد و به‌عنوان یک جایگزین مقیاس‌پذیر برای ارزیابی انسانی در این بنچمارک پیشنهاد شد. مطالعات بعدی به بررسی استفاده از مدل‌های زبانی بزرگ برای شناسایی «هالوسینیشن» در خروجی‌های خودشان پرداختند. برای مثال، SelfCheckGPT چند پاسخ مختلف برای یک پرسش مشخص تولید می‌کند و ناسازگاری میان آن‌ها را اندازه‌گیری می‌کند و جملاتی که در نمونه‌ها با یکدیگر اختلاف دارند را به‌عنوان هالوسینیشن احتمالی علامت‌گذاری می‌کند. این روش نشان داد که با توجه به خلاصه‌سازی و گفتگو، همبستگی بهتری با داوری انسانی نسبت به معیارهای خودکار قبلی دارد. تا اواسط دههٔ ۲۰۲۰، ارزیابی مبتنی بر مدل‌های زبانی بزرگ به یک گزینهٔ استاندارد در پژوهش‌های علمی و پلتفرم‌های صنعتی تبدیل شد و چندین مرور و راهنما برای سیستماتیک کردن روش‌ها، کاربردها و محدودیت‌های داورهای مبتنی بر LLM منتشر شد. روش‌شناسی یک ساختار معمول «مدل زبانی بزرگ به‌عنوان داور» (LLM-as-a-Judge) شامل سه عنصر است: ورودی که شامل زمینهٔ وظیفه و خروجی‌های نامزد برای ارزیابی است، یک پرامپت که معیارهای ارزیابی را توضیح می‌دهد، و یک قالب پاسخ که تصمیم داور را کدگذاری می‌کند. حالت‌های رایج ارزیابی حالت‌های رایج ارزیابی شامل موارد زیر است: تصمیمات باینری «قبول» یا «رد» (برای مثال «هالوسینیشن وجود دارد» در مقابل «هالوسینیشن وجود ندارد»)؛ امتیازدهی به سبک لیکرت در یک یا چند بعد مانند ارتباط، انسجام، روانی یا ایمنی؛ ترجیح‌های جفتی بین دو پاسخ نامزد؛ فهرست‌های رتبه‌بندی شده از چندین خروجی. همچنین ممکن است از داور خواسته شود تا همراه با امتیازات، نقدها، دسته‌بندی خطاها یا توضیحاتی به زبان طبیعی ارائه دهد که سپس می‌توان آن‌ها را به معیارهای ساختاری تبدیل کرد. برای وظایفی که پاسخ مرجع دارند، مانند ترجمه یا پاسخ به پرسش، می‌توان داور را هدایت کرد تا پاسخ نامزد را با پاسخ مرجع مقایسه کند، گاهی با ترتیب مخفیانهٔ مرجع‌ها و پاسخ‌ها برای کاهش سوگیری موقعیت. | ## بخش 2: مدل زبانی بزرگ به عنوان داور | برای وظایف باز با پاسخ‌های متنوع، مانند نویسندگی خلاق یا گفتگو، پرامپت‌ها به‌جای آن ویژگی‌های سطح بالا مانند مفید بودن، آسیب نرساندن و انسجام را توصیف می‌کنند. کیفیت یک داور مبتنی بر مدل زبانی بزرگ معمولاً با میزان توافق آن با داوران انسانی یا توانایی‌اش در بازتولید رتبه‌بندی‌های موجود سنجیده می‌شود. مطالعات، داوران را از طریق همبستگی با نمرات انسانی، دقت پیش‌بینی برنده، منحنی‌های کالیبراسیون و آزمون‌های استحکام مانند تغییر پرامپت یا مثال‌های خصمانه ارزیابی می‌کنند کاربردها تولید زبان طبیعی داورهای مبتنی بر مدل‌های زبانی بزرگ به‌طور گسترده برای ارزیابی سیستم‌های تولید زبان طبیعی (NLG) در زمینه‌های خلاصه‌سازی، ترجمه ماشینی، گفتگو، تولید داستان و دیگر وظایف استفاده می‌شوند. در چارچوب G-Eval، GPT-4 با دستورالعمل‌های ویژهٔ هر وظیفه هدایت می‌شود تا خلاصه‌ها و پاسخ‌های مکالمه‌ای را در ابعاد مختلفی مانند ارتباط، انسجام و صحت اطلاعات امتیازدهی کند. این روش در چندین مجموعه داده، همبستگی بالاتری با داوری انسانی نسبت به معیارهایی مانند BLEU، ROUGE یا معیارهای جاسازی جمله نشان می‌دهد. روش‌های ارزیابی NLG مبتنی بر مدل‌های زبانی بزرگ اکنون شامل معیارهای استخراج‌شده از احتمال مدل، هدایت مستقیم برای تولید نمره، مدل‌های ارزیابی ریزتنظیم‌شده و پروتکل‌های ترکیبی انسان–LLM هستند. بنچمارک‌ها و جدول‌های رتبه‌بندی چندین بنچمارک برجسته برای مدل‌های زبانی بزرگ چندمنظوره عمدتاً به «مدل زبانی بزرگ به‌عنوان داور» (LLM-as-a-Judge) متکی هستند. در بسیاری از موارد، رتبه‌بندی‌های جدول‌های تولیدشده توسط داوران LLM به‌طور نزدیکی با رتبه‌بندی انسانی هم‌راستا هستند، به‌ویژه زمانی که داوران مدل‌های پیشرفته و قدرتمند باشند. صحت اطلاعات و شناسایی هالوسینیشن مدل‌های زبانی بزرگ به‌عنوان داور در تشخیص صحت اطلاعات و هالوسینیشن‌ها استفاده می‌شوند. SelfCheckGPT از یک مدل زبانی بزرگ برای تولید چند نمونه از یک پرامپت استفاده می‌کند و سپس آن‌ها را داخلی مقایسه کرده و جملاتی که در نمونه‌ها متفاوت هستند را به‌عنوان هالوسینیشن احتمالی علامت‌گذاری می‌کند. پژوهش‌های بعدی تکنیک‌های مشابه را برای شناسایی هالوسینیشن در حوزه‌هایی مانند پاسخ به پرسش، خلاصه‌سازی و تولید کد به‌کار گرفته‌اند. ایمنی و هم‌راستایی یک خط پژوهشی مرتبط از داورهای مبتنی بر مدل‌های زبانی بزرگ نه تنها برای ارزیابی، بلکه به‌عنوان منبع بازخورد در طول آموزش استفاده می‌کند. مطالعات پی‌آمد RLAIF را با آموزش تقویتی استاندارد مبتنی بر بازخورد انسانی مقایسه کرده و بررسی کرده‌اند که چه زمانی بازخورد AI به هم‌راستایی کمک می‌کند یا آسیب می‌رساند.کاربردهای دیگر، داورهای بازخورد AI را در وظایفی مانند سیستم‌های پیشنهاددهی و خلاصه‌سازی گزارش‌های رادیولوژی ادغام می‌کنند. آموزش، کدنویسی و حوزه‌های دیگر داورهای حوزه‌محور مبتنی بر LLM در بازخورد آموزشی، بازبینی کد و توضیحات توصیه‌ها به‌کار رفته‌اند. برای مثال، معیارهای مبتنی بر مدل‌های زبانی بزرگ برای ارزیابی کیفیت توضیحات تولیدشده توسط سیستم‌های پیشنهاددهی و بررسی پاسخ‌های دانش‌آموزان یا راه‌حل‌های برنامه‌نویسی از نظر صحت و وضوح استفاده شده‌اند.مطالعات در مهندسی نرم‌افزار و بازیابی اطلاعات گزارش می‌دهند که داورهای مبتنی بر LLM می‌توانند در برخی وظایف به نرخ توافق نزدیک به داوران انسانی دست یابند، اگرچه عملکرد آن‌ها بسته به حوزه و ساختار ارزیابی متفاوت است. ارزیابی چندرسانه‌ای و مدل‌های جهان در حوزهٔ بینایی-زبان، VLMها می‌توانند به‌عنوان داور برای تصاویر و ویدیوها عمل کنند. Hendriksen و همکاران یک VLM عمومی را در قالب UNIVERSE، یک ارزیاب یکپارچه برای شبیه‌سازی خروجی مدل‌های جهان ویدیویی، تطبیق دادند و نشان دادند که می‌تواند در وظایف شناسایی عمل و شخصیت با داوری انسانی مطابقت داشته باشد.پژوهش‌های دیگر از GPT-4V یا مدل‌های چندرسانه‌ای مشابه برای رتبه‌بندی یا امتیازدهی خروجی مدل‌های بینایی خودران و دیگر مدل‌های بزرگ بینایی-زبان استفاده می‌کنند و گزارش می‌دهند که هماهنگی قوی با داوری انسانی در سناریوهای بصری پیچیده وجود دارد. داوران قدرتمند مبتنی بر LLM می‌توانند ترجیحات انسانی را با هزینهٔ حاشیه‌ای نسبتاً پایین تقریب بزنند و بدون نیاز به جذب برچسب‌زن برای هر وظیفهٔ جدید، ارزیابی انجام دهند.برخلاف معیارهای مبتنی بر شکل سطحی متن، داوران می‌توانند دستورالعمل‌ها، متن‌های مرجع و محدودیت‌های حوزه را در نظر بگیرند و با ویرایش پرامپت، سریعاً برای معیارهای جدید مورد استفاده قرار گیرند؛ برای مثال بررسی محدودیت‌های ایمنی، راهنمای سبک یا الزامات خاص حوزه. | ## بخش 3: مدل زبانی بزرگ به عنوان داور | مدل‌های داور همچنین می‌توانند دلایل به زبان طبیعی، برچسب‌های خطا یا بخش‌هایی از متن که در امتیاز نهایی مؤثرند را تولید کنند. این خروجی‌های ساختاریافته می‌توانند به توسعه‌دهندگان در رفع اشکال سیستم‌ها و طراحی آزمون‌های هدفمند کمک کنند. از آنجا که داوران خود مدل‌های عصبی هستند، می‌توان آن‌ها را در خطوط خودکار به‌کار گرفت تا ارزیابی مداوم روی مجموعه داده‌های بزرگ انجام شود، که این ویژگی آن‌ها را برای آزمون بازگشتی برنامه‌های مبتنی بر LLM و رصد تغییرات عملکرد در طول زمان جذاب می‌کند. محدودیت‌ها و سوگیری‌ها با وجود مزایای عملی، داورهای مبتنی بر مدل‌های زبانی بزرگ محدودیت‌های مهمی دارند. در برخی موارد مشاهده شده است که داورهای LLM خطاهای ظریف اما حیاتی را نادیده می‌گیرند و در عین حال بر روانی سطحی متن تأکید بیش از حد دارند که منجر به امتیازات بیش‌ازحد خوشبینانه می‌شود. Zheng و همکاران نشان دادند که داوران GPT-4 سوگیری موقعیتی دارند، پاسخ‌های ظاهرشده در جایگاه خاص را ترجیح می‌دهند، و سوگیری طولانی‌نویسی دارند، یعنی پاسخ‌های طولانی‌تر را ترجیح می‌دهند، همچنین سوگیری خود‌افزایی وجود دارد زمانی که داور خروجی‌های تولیدشده توسط خانوادهٔ مدل خود را ارزیابی می‌کند. Liu و همکاران اصطلاح «ارزیاب‌های خودشیفته» را برای توصیف داورانی به‌کار بردند که امتیازات پاسخ‌ها از مدل‌هایی که ساختاری مشابه خود دارند را اغراق‌آمیز افزایش می‌دهند، به‌ویژه وقتی داور و پاسخ نامزد داده‌های آموزشی یا روش‌های هم‌راستایی مشترک دارند.Chen و همکاران دریافتند که هر دو نوع داور، انسانی و مبتنی بر LLM، سوگیری‌های سیستماتیک در داوری نشان می‌دهند و داورهای LLM می‌توانند با پرامپت‌های به‌دقت طراحی‌شده دستکاری شوند. Faggioli و همکاران استدلال می‌کنند که داوری‌های کاملاً خودکار مبتنی بر LLM در بنچمارک‌های بازیابی اطلاعات باید با احتیاط استفاده شوند و روش‌های ترکیبی انسان–ماشین توصیه می‌شوند. بهینه‌سازی مدل برای یک داور LLM ثابت نیز می‌تواند به اثرات Goodhart منجر شود: اگر توسعه‌دهندگان مدل صریحاً سیستم‌ها را برای بیشینه‌کردن امتیاز یک داور خاص تنظیم کنند، رفتار یادگرفته شده ممکن است از ترجیحات انسانی پایه‌ای فاصله بگیرد. داورهای LLM می‌توانند در مقیاس بزرگ هزینه‌بر باشند، به‌ویژه هنگام استفاده از مدل‌های بزرگ اختصاصی، و فرآیند تصمیم‌گیری داخلی آن‌ها نسبت به معیارهای شفاف مبتنی بر قوانین دشوار برای تفسیر یا حسابرسی است. ارزیابی متا، مرورها و راهنماها پژوهش‌ها در زمینهٔ ارزیابی متا تلاش می‌کنند تا درک کنند که چه زمانی داورهای مبتنی بر LLM می‌توانند به‌طور ایمن جایگزین یا مکمل ارزیابی انسانی شوند. مرورهای Gao و همکاران و Li و همکاران روش‌های موجود را بر اساس عملکرد، روش‌شناسی، حوزه‌های کاربرد، تکنیک‌های ارزیابی متا و محدودیت‌های شناخته‌شده دسته‌بندی کرده و مسائل باز مانند استحکام، عدالت و ریسک وابستگی بیش از حد به داوران با منبع بسته را برجسته می‌کنند. Dietz و همکاران مجموعه‌ای از اصول و راهنماها برای استفاده از داورهای LLM در بازیابی اطلاعات ارائه می‌دهند، از جمله جداسازی طراحی ارزیابی از پیاده‌سازی داور، انتشار پرامپت‌ها و پیکربندی‌ها، استفاده از چند داور در صورت امکان، و کالیبره کردن منظم داوران با برچسب‌های تازهٔ انسانی. Sharma و همکاران دریافتند که در برخی خطوط هم‌راستایی، بخش بزرگی از سود ظاهری آموزش تقویتی از بازخورد AI ناشی از استفاده از یک مدل معلم قدرتمند برای ریزتنظیم نظارت‌شده است، نه از مرحلهٔ یادگیری تقویتی خود. رویکردهای مبتنی بر ترکیب و هیئت داوری در پاسخ به نگرانی‌ها دربارهٔ سوگیری داورهای تک‌تایی، چندین پژوهشگر روش‌های ترکیبی (ensemble) را پیشنهاد کرده‌اند که از چند داور مبتنی بر LLM استفاده می‌کنند. ابزارهای صنعتی اصطلاح «هیئت داوری LLM» (LLM jury) را برای ساختارهای ارزیابی‌ای که چند داور کوچک‌تر را به‌طور موازی اجرا می‌کنند و آرای آن‌ها را از طریق اکثریت یا سیستم‌های رأی‌گیری وزنی تجمیع می‌کنند، رایج کرده‌اند. گزارش‌های تجربی نشان می‌دهند که چنین هیئت‌هایی می‌توانند در برابر ویژگی‌های خاص پرامپت یا مدل مقاوم‌تر باشند، البته با هزینهٔ محاسباتی اضافی. در RLHF، برچسب‌زن‌های انسانی خروجی‌های مدل را جفت‌جفت مقایسه می‌کنند و یک مدل پاداش برای پیش‌بینی ترجیحات آن‌ها آموزش داده می‌شود. | ## جمع‌بندی | پژوهش‌های بعدی بررسی می‌کنند که چه زمانی بازخورد AI واقعاً نسبت به معلمان نظارت‌شدهٔ قدرتمند ارزش افزوده دارد و چگونه می‌توان ترجیحات انسانی و AI را برای رفتار ایمن و مفید متعادل کرد.