یادگیری تقویتی از بازخورد انسانی
آموزش

در RLHF، دو مدل به طور مستقل آموزش داده می‌شوند: یک مدل پاداش و یک مدل خط‌مشی از طریق یادگیری تقویتی (اختصاری RL). مدل پاداش، بر اساس بازخورد انسانی یاد می‌گیرد که تعیین کند چه رفتاری مطلوب است. مدل پاداش در همین حین، خط‌مشی را به گونه‌ای هدایت می‌کند که اقدامات عامل را تعیین کند. هر دو مدل معمولاً با استفاده از یک مدل زبانی خودهمبسته پیش‌آموزش‌دیده مقداردهی اولیه می‌شوند. سپس این مدل به شیوه‌ای نظارت‌شده بر روی مجموعه داده‌های نسبتاً کوچکی از جفت پرسش و پاسخ‌هایی که توسط برچسب‌گذار‌‌های انسانی نوشته شده، آموزش داده می‌شود. یک مزیت برای مدل پاداش این است که با یک مدل از پیش آموزش‌دیده شروع به کار می‌کند، زیرا این مدل با درک زبان انسان ترجیحات انسانی به سرعت دریافت کرده ودر نتیجه روند آموزش را تسریع می‌کند.
سپس مدل پاداش با جایگزینی لایه انتهایی مدل قبلی، با یک سر رگرسیون با داده تصادفی، آموزش داده می‌شود.با این کار، مدل را از وظیفه اولیه دسته‌بندی خود بر روی دانشنامه‌اش، تغییر میدهیم به طوری که خروجی آن یک عدد است که مطابق با امتیاز هر پرسش و پاسخ معین تغییر می‌دهد. این مدل بر روی داده‌های مقایسه‌ای ترجیحات انسانی، که قبلاً از مدل نظارت‌شده جمع‌آوری شده بود آموزش داده می‌شود. در این مقاله، مدل برای به حداقل رساندن تابع تلفات آنتروپی متقاطع زیر آموزش داده شده است، که آن را تشویق می‌کند تا پیش‌بینی‌هایی نزدیک‌تر به رتبه‌بندی‌های واقعی انسان انجام دهد:
{\mathcal {L}}(\theta )=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}[\log(\sigma (r_{\theta }(x,y_{w})-r_{\theta }(x,y_{l})))]
که  K تعداد پاسخ‌هایی است که برچسب‌گذاران رتبه‌بندی کرده‌اند،  r_{\theta }(x,y) خروجی مدل پاداش برای پرسش  x و تکمیل پرسش  y است،  y_{w} تکمیل پرسش ترجیح داده شده از مجموعه  y_{l} است،  \sigma (x) نشان دهنده تابع سیگموئید و  E[X] نشان دهنده مقدار مورد انتظار است. این تابع تلفات اساساً تفاوت بین پیش‌بینی‌های مدل پاداش و تصمیم‌های گرفته شده توسط انسان را اندازه‌گیری می‌کند. هدف این است که حدس‌های مدل را تا حد امکان به ترجیحات انسان‌ها نزدیک کنیم و اختلاف اندازه‌گیری شده توسط این معادله را به حداقل برسانیم. در حالت‌های مقایسه‌ای فقط زوجی، عامل  1/{\tbinom {K}{2}} حذف می‌شود. در باقی موارد، همه مقایسه‌های  {\tbinom {K}{2}} مربوط به یک پرسش، برای آموزش، تحت یک دسته واحد استفاده می‌شود. پس از آموزش، خروجی‌های مدل نرمال می‌شوند.
بسیار شبیه به مدل پاداش، خط‌مشی بازخورد انسانی نیز بر روی یک مدل از پیش آموزش دیده تنظیم دقیق شده است. هدف از مرحله تنظیم دقیق، انطباق مدل موجود و غیرهمسو (که در ابتدا به روش نظارت‌شده آموزش دیده) با هدف همسویی بهتر با ترجیحات انسان است. که این امر با تنظیم پارامترهای آن بر اساس پاداش‌های حاصل از بازخورد انسان انجام می‌پذیرد. با استفاده از RL بر روی جفت‌های پرسش و پاسخ، خروجی مدل پاداش را می‌توان پاداشی در نظر گرفت که باید به حداکثر برسد. محیط، خط‌مشی را با اعلان‌های تصادفی از مجموعه داده مواجه می‌کند و انتظار پاسخ به آن‌ها دارد. با این کار سناریوهای دنیای واقعی را شبیه‌سازی می‌کند که در آن عامل باید اعلان‌های متنوع را درک کند و پاسخ‌های مناسب ایجاد کند. با نمایش خط‌مشی RL آموخته شده با پارامترها  \phi  مانند  \pi _{\phi }^{\text{RL}} ، می‌توانیم تابع هدف زیر را تعریف کنیم:
{\text{objective}}(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]
که  D_{\pi _{\phi }^{\text{RL}}} توزیع آموزشی است که ما نمونه‌ها را از آن می‌گیریم و  \pi ^{\text{SFT}} مدل قبلی آموزش‌دیده و ناهمسو است. ثابت  \beta  برای تنظیم شدت مجازات KL استفاده می‌شود. این جریمه برای هر کدام از نشانه‌ها، بین خروجی‌های خط‌مشی و خروجی‌های مدل ناهمسو اعمال می‌شود. هدف آن اجتناب از تنظیم بیش از حد خط‌مشی است، و تضمین می‌کند که فرآیند آموزش، مدل را بر روی داده‌های آموزشی جدید بیش از حد متخصص نمی‌کند. بخش KL با جریمه کردن واگرایی KL (اندازه‌گیری فاصله آماری بین توزیع‌ها) بین مدل تنظیم دقیق شده و مدل نظارت‌شده اولیه کار می‌کند. با انتخاب  \beta  مناسب، آموزش می‌تواند یادگیری از داده‌های جدید را متعادل کند و در عین حال اطلاعات مفید مدل اولیه را حفظ کند و با اجتناب از بیش‌برازش، با داده‌های جدید تعمیم یابد. جدای از جلوگیری از تولید خروجی‌های بسیار متفاوت در مدل جدید در مقایسه با خروجی‌های مدل اولیه، انگیزه دوم از گنجاندن اصطلاح KL این است که به خطی مشی اجازه می‌دهد با ایجاد آنتروپی مدل را تشویق می‌کند، محیط بزرگتری را مورد بررسی قرار دهد، که می‌تواند از فروریزش مدل بر روی یک واحد مد (حالت) جلوگیری کند.
به عبارت ساده‌تر، تابع هدف، میزان بهبود همسویی پاسخ‌های خط‌مشی را با بازخورد انسانی محاسبه می‌کند. خط‌مشی به هر درخواست یک پاسخ تولید می‌کند و هر پاسخ نیز بر اساس میزان مطابقت با دو معیار دیگر، اول ترجیحات انسانی (که توسط مدل پاداش اندازه‌گیری می‌شود) و دوم شباهت به پاسخ‌هایی است که مدل به طور طبیعی ایجاد می‌کند، ارزیابی می‌شود. هدف، ایجاد تعادل بین بهبود همسویی با ترجیحات انسانی است، در حالی که اطمینان حاصل می‌شود که پاسخ‌های مدل متنوع باقی می‌مانند و از آنچه در طول آموزش اولیه آموخته است فاصله زیادی نمی‌گیرد. این به مدل کمک می‌کند تا نه تنها پاسخ‌هایی تولید کند که که افراد مفید یا قابل قبول می‌دانند، بلکه درک گسترده‌ای را حفظ کند و از پاسخ‌های بیش از حد محدود یا تکراری اجتناب کند.
معمولاً یک بخش دوم به تابع هدف اضافه می‌شود که به خط‌مشی اجازه می‌دهد تا گرادیان‌های پیش‌آموزش را در خود جای دهد. این بخش باعث می‌شود که مدل توانایی درک زبان اولیه خود را از دست ندهد، در حالی که وظیفه اصلی خود (تکمیل متن) را انجام می‌دهد، با گنجاندن پیش‌آموزش و بر اساس بازخورد انسانی، وظایف جدید را نیز بیاموزد. تابع هدف نهایی به صورت زیر نوشته می‌شود:
{\text{objective}}(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]
که  \gamma  میزان اثرگذاری بخش دوم را کنترل می‌کند و  D_{\text{pretrain}} توزیع متن اصلی قبل از آموزش است. در ادامه این تابع هدف می‌تواند مستقیماً برای آموزش خط‌مشی با استفاده از الگوریتم بهینه‌سازی خط‌مشی پروگزیمال استفاده شود.
در مجموع، این تابع هدف، با ترکیب هدف همسویی با استفاده از بازخورد انسانی، و همچنین حفظ درک زبان اصلی مدل، روشی را برای تنظیم خط‌مشی RL، تعریف می‌کند.