stanford-oval/wikipedia huggingface dataset:
معروفی بلخی

ابوعبدالله محمد پسر حسن معروفی بلخی زاده شهر بلخ بود. او هم‌دوره با رودکی و شهید بلخی بوده‌است.
معروفی مدح‌کنندهٔ عبدالملک بن نوح سامانی (۳۴۳-۳۵۰ (هجری)) بوده‌است. شعر زیر از اوست:
| 0 | 1 | 2 |
| --- | --- | --- |
| این دل مسکین من اسیر هوا شد |  | پیش هزاران هزار گونه بلا شد |
| جادوکی بند کرد و حیلت بر ما |  | بندش بر ما برفت و حیله روا شد |
| حکم قضا بود و این قضا به دلم بر |  | محکم از آن شد که یار یارِ قضا شد |
| هرچه بگویم ز من، نگر که نگیری |  | عقل جدا شد ز من که یار جدا شد |
گردشگری در فرانسه

کپیتول-د-تولوز در شب
مون سن-میشل در نرماندی
سالن تئاتر باستانی، اورانژ، ووکلوز
آب آینه در بوردو
استراسبورگ
قلعه دوک بریتاگن در نانت
پارلمان بریتنی در رن
فرانسه در سال ۲۰۱۳ با ۸۴٫۷ میلیون گردشگر خارجی محبوب‌ترین مقصد گردشگری جهان و سومین کشور پر درآمد گردشگری لقب گرفت. هزینه‌هایی بیشتر گردشگران در فرانسه کمتر از نیمی از هزینه‌های آن‌ها در ایالات متحده می‌باشد.
فرانسه دارای ۳۷ جاذبه گردشگری ثبت شده در فهرست میراث جهانی یونسکو می‌باشد. امکانات بالای شهرهای فرهنگی (پاریس، تولوز، استراسبورگ، بوردو، لیون)، ساحل دریا، پیست اسکی و مناطق روستایی باعث جذب گردشگران شده و استفاده از زیبایی و آرامش طبیعت گردی در فرانسه را لذت بخش می‌کند. روستاهای کوچک و زیبا و روستاهای تاریخی که در طرح «زیباترین روستاهای فرانسه» هستند ونیز «باغهای سرشناس» که بیش از دویست عدد از این باغها توسط وزارت فرهنگ فرانسه طبقه‌بندی شده است.
در سال ۲۰۱۲، سفر و گردشگری به‌طور مستقیم توانست ۷۷٫۷ میلیارد یورو به تولید ناخالص داخلی فرانسه کمک کند، که ۳۰ درصد از آن مربوط به بازدید کنندگان بین‌المللی و ۷۰ درصد از گردشگری داخلی به دست آمده است. این مبلغ ۹٫۷ درصد از تولید ناخالص داخلی فرانسه را شامل می‌شود و باعث حمایت از ۲٫۹ میلیون شغل (۱۰٫۹ درصد از اشتغال) در فرانسه می‌شود. گردشگری به‌طور قابل توجهی به تراز پرداخت‌های فرانسه نیز کمک می‌کند.
آمار

بیشترین گردشگران ورودی به فرانسه در سال ۲۰۱۴ از کشورهای زیر بوده‌اند:
| رتبه | کشور | تعداد گردشگر |
| --- | --- | --- |
| ۱ |  آلمان | ۱۲٬۸۰۰٬۰۰۰ |
| ۲ |  بریتانیا | ۱۱٬۸۰۰٬۰۰۰ |
| ۳ |  بلژیک | ۹٬۳۰۰٬۰۰۰ |
| ۴ |  ایتالیا | ۷٬۵۰۰٬۰۰۰ |
| ۵ |  سوئیس | ۶٬۲۰۰٬۰۰۰ |
| ۶ |  اسپانیا | ۶٬۱۰۰٬۰۰۰ |
| ۷ |  هلند | ۵٬۵۰۰٬۰۰۰ |
| ۸ |  ایالات متحده آمریکا | ۳٬۲۰۰٬۰۰۰ |
| ۹ |  چین | ۱٬۷۰۰٬۰۰۰ |
| ۱۰ |  لوکزامبورگ | ۱٬۴۰۰٬۰۰۰ |
بیشترین گردشگرانی که در سال ۲۰۱۴ شب را در فرانسه اقامت داشته‌اند از کشورهای زیر بوده‌اند:
| رتبه | کشور | تعداد اقامت |
| --- | --- | --- |
| ۱ |  آلمان | ۸۶٬۴۰۰٬۰۰۰ |
| ۲ |  بریتانیا | ۷۹٬۷۰۰٬۰۰۰ |
| ۳ |  بلژیک | ۵۹٬۵۰۰٬۰۰۰ |
| ۴ |  هلند | ۴۳٬۶۰۰٬۰۰۰ |
| ۵ |  ایتالیا | ۴۲٬۷۰۰٬۰۰۰ |
| ۶ |  اسپانیا | ۳۴٬۷۰۰٬۰۰۰ |
| ۷ |  سوئیس | ۳۳٬۶۰۰٬۰۰۰ |
| ۸ |  ایالات متحده آمریکا | ۲۷٬۶۰۰٬۰۰۰ |
| ۹ |  پرتغال | ۱۲٬۰۰۰٬۰۰۰ |
| ۱۰ |  کانادا | ۱۱٬۰۰۰٬۰۰۰ |
پاریس

پاریسبه عنوان پایتخت فرانسه از نظر بیشترین بازدیدکننده در جهان رتبه سوم را به خود اختصاص داده است. پاریس برخی از بزرگ‌ترین و مشهورترین موزه‌ها را در خود جای داده است که از جمله آن‌ها می‌توان به موزه لوورکه بیشترین بازدید موزه هنر در جهان را دارد و نیز موزه اورسی که بیشتر به امپرسیونیسمو هنر معاصر اختصاص داده شده است اشاره کرد. پاریس میزبان برخی از نمادهای جهانی می‌باشد مانند برج ایفلکه بیشترین درآمد از بازدیدکنندگان امکان تاریخی در جهان را به خود اختصاص داده است، طاق پیروزی، کلیسای جامع نوتردام و کلیسای سکره کر. شهر علم و فناوری بزرگ‌ترین موزه علوم در اروپا است که در پارک لاویلت در پاریس واقع شده و در قلب مرکز فرهنگی علم و فناوری و صنعت (CCSTI) واقع شده است. در نزدیکی پاریس کاخ ورسایکه کاخ پادشاهان سابق فرانسه بوده است اکنون به یک موزه تبدیل شده است.
فرنچ ریوبرا

فرنچ ریویرا (یا کوت دازور) در جنوب شرقی فرانسه با بیش از ۱۰ میلیون گردشگر در سال دومین مقصد توریستی فرانسه پس از منطقه پاریس است. با توجه به آمار آژانس توسعه اقتصادی کوت دازور، این آژانس از ۳۰۰ روز آفتابی در سال، ۱۱۵ کیلومتر خط ساحلی، ۱۸ زمین گلف، ۱۴ پیست اسکی و ۳۰۰۰ رستوران این منطقه درآمد کسب می‌کند. هر ساله کوت دازور میزبان ۵۰ درصد از مسافران کشتی سوپریاچ است و ۹۰ درصد از مسافران سوپریاچ حداقل یک بار در طول زندگی خود از منطقه ساحلی بازدید کرده‌اند.
پروانس

بخش بزرگی از پروانس به عنوان پایتخت فرهنگی اروپا در سال ۲۰۱۳ طراحی شده است. جاذبه‌های طبیعی متعدد و مشهور را می‌توان در این منطقه پیدا کرد مانند جرج دوردون، پارک منطقه‌ای طبیعی کامارگو، پارک ملی کالانکوز و چشم‌انداز لوبرون. پروانس میزبان جاذبه‌های مشهور تاریخی مانند پون دو گار، بناهایی تاریخی ارل روم و کاخ‌های پاپ در آوینیون نیز می‌باشد. چندین شهر در منطقه نیز باعث جذب بسیاری از گردشگران می‌شود مانند اکس-آن-پروانس، مارسی، کاسیس و خط ساحلی دریای مدیترانه.
دره لویر

از دیگر جاذبه‌های مهم گردشگری فرانسه می‌توان به کاخها و قلعه‌ها در دره لویر اشاره کرد. این میراث جهانی یونسکو به دلیل کیفیت آثار معماری آن زبان زد است و آثار تاریخی آن را می‌توان در شهرهای تاریخی مانند امبیس، آنژو، بلوآ، شینون، نانت، اورلئان، سومورو تور مشاهده کرد اما به‌طور خاص می‌توان از قلعه (شاتو)هایی مانند قلعه امبیس، قلعه چمبورد، دوزی، ویلاندری و قلعه چنونسو نام برد که نشان دهنده درجه استثنایی آرمان‌گرایی در عصر رنسانس فرانسه می‌باشد.
زیباترین روستاهای فرانسه

مقالهٔ اصلی: زیباترین روستاهای فرانسه
Les Plus Beaux Villages de France ("زیباترین روستاهای فرانسه") یک انجمن مستقل ایجاد شده در سال ۱۹۸۲ است که با هدف ترویج روستاهای کوچک و زیبا برای افزایش کیفیت آثار گردشگری تأسیس شده است. در سال ۲۰۰۸، ۱۵۲ روستا در فرانسه جز "زیباترین روستاهای فرانسه" قرار گرفته‌اند.
برای ورود به این انجمن چند معیار وجود دارد: جمعیت روستا نباید بیش از ۲۰۰۰ نفر باشد. باید حداقل ۲ منطقه حفاظت شده (جاذبه طبیعی، افسانه‌ای، علمی، هنری یا تاریخی) وجود داشته باشد و تصمیم به ورود به انجمن باید توسط شورای شهر گرفته شود.
دیگر ظرفیتهای گردشگری فرانسه

در قسمت شرقی فرانسه پیست‌های اسکی در کوه‌های آلپ وجود دارد.
تماشای مسابقه دوچرخه سواری سالانه تور دو فرانس یکی دیگر از جاذبه‌های گردشگری فرانسه است.
سواحل مدیترانه‌ای فرانسه در فرنچ ریویرا، لانگداک روسیون و کرسیکا و همچنین جزایر کارائیب مارتینیک، جزیره گوادلوپ، سنت مارتین و هور از دیگر جاذبه‌های گردشگری است.
مسیر ناپلئون یکی دیگر از این جاذبه‌ها است. این مسیر توسط ناپلئون در سال ۱۸۱۵ پس از بازگشت از تبعید ساخته شده است و گلف-ژوئن را به گرنوبل در جنوب شرقی فرانسه وصل می‌کند. این مسیر به دلیل مناظر خوب آن یک مقصد محبوب گردشگری است.
همچنین تعداد بسیار زیادی از جاذبه‌های طبیعی گردشگری در فرانسه وجود دارد. برای مثال می‌توان باغ فدرال پازانین را نام برد که یکی از غنی‌ترین مجموعه جنگل‌های فرانسه به حساب می‌آید و نیز پارکهای منطقه‌ای طبیعی که در همه مناطق فرانسه پراکنده شده‌اند.
مذهبی و زیارتی

فرانسه بسیاری از زائران مذهبی در مسیر سنت جیمز یا لوردسرا به خود جذب می‌کند. یک شهر در اوت-پیرنه وجود دارد که هر ساله میزبان میلیونها بازدیدکننده می‌باشد. همچنین باید از جامعه تایز نام برد که به یکی از مهم‌ترین جاذبه‌های زیارتی مسیحی تبدیل شده است. بیش از ۱۰۰٫۰۰۰ نفر از افراد جوان از سراسر جهان هر سال برای نماز، مطالعه کتاب مقدس و اجتماع کاری در این مکان جمع می‌شوند.
پارک

دیزنی لند پاریس محبوب‌ترین پارک اروپا است که در سال ۲۰۹۹ توانست ۱۵٬۴۰۵٬۰۰۰ بازدید کنندگان را جذب کند. پارک تاریخی پو-د-فو در وانده، دومین پارک پر بازدید فرانسه می‌باشد. از دیگر پارکهایی محبوب می‌توان به فوتوروسکوپ پواتیه و پارس آستریکس اشاره کرد.
فهرست محبوب‌ترین جاذبه‌های گردشگری فرانسه

محبوب‌ترین مکان‌های گردشگری (تعداد بازدید کنندگان در سال):
موزه لوور (۸٫۵ میلیون)
برج ایفل (۶٫۲ میلیون)
کاخ ورسای (۶ میلیون)
مرکز پمپیدو (۳٫۶ میلیون)
موزه اورسی (۲٫۹ میلیون)
موزه کوآب بارنلی(۱٫۳ میلیون)
طاق پیروزی(۱٫۲ میلیون)
مون-سن-میشل (۱ میلیون)
زندان نوتردام، مارسی (800,000)
قلعه چمبورد (۷۱۱٬۰۰۰)
سن-شپل (۶۸۳٬۰۰۰)
کلیسای جامع متز (652,000)
باستیل (گرونوبل) (۶۰۰ ۰۰۰)
مرکز پمپیدو-متز (550,000)
قلعه اون کونیگزبورگ (۵۴۹٬۰۰۰)
پوی دو دم (۵۰۰٬۰۰۰)
موزه پیکاسو (۴۴۱٬۰۰۰)
کارکاسون (۳۶۲٬۰۰۰)
نگارخانه

کلیسای استراسبورگ
باغ فرانسوی در قلعه ویلاندری
سقفهای رنگارنگ در بون
مرکز پومپیدو-متز
صخره‌های سنگ آهک در اترتا، نورماندی
The پون دو گار، یک نماد روم
پارک ملی مرکانتور
پیست اسکی در مگوو
بورا بورا درپلی‌نزی فرانسه
وردون گورج مسیر معروف مسابقات کایاک
تفریح در هاسگور
شراب فرانسوی
برج ایفل
سن-تروپه در ساحل کوت دازور
قلعه چنونسو
فینیستردر لوکرونان، یکی از "زیباترین روستاهای فرانسه".
آکولی-د-میدی در کوه‌های آلپ فرانسه.
یادبود جانباختگان سومی
پارک پو-د-فو.
کاخ ورسای و باغ آن سومین مقصد محبوب گردشگری در فرانسه
یادگیری تقویتی از بازخورد انسانی

درحوزه یادگیری ماشین، یادگیری تقویتی از بازخورد انسانی (انگلیسی: Reinforcement learning from human feedback) (اختصاری RLHF) تکنیکی برای همسو کردن یک عامل هوشمند با ترجیحات انسانی است. در یادگیری تقویتی کلاسیک، هدف غایی چنین عاملی، آموزش تابعی (که خط‌مشی نامیده می‌شود) است تا رفتار آن عامل را هدایت کند. این تابع یاد می‌گیرد که چگونه بر اساس عملکرد خود، بتواند پاداش دریافتی خود را از یک تابع پاداش بیرونی به حداکثر برساند. ولی در مورد ترجیحات انسانی، تعریف دقیق تابع پاداشی که ترجیحات انسان را تقریب می‌زند، دشوار است. بنابراین، RLHF به دنبال آموزش مستقیم "مدل پاداش" از روی بازخورد انسانی است. ابتدا مدل پاداش، مستقل از خط‌مشی در حال بهینه‌سازی، به شیوه‌ای نظارت‌شده آموزش داده می‌شود. بدین روش که بر اساس داده‌های رتبه‌بندی تهیه شده توسط نظرنویسان انسانی (برچسب‌گذار)، بتواند پیش‌بینی کند که آیا پاسخ داده شده به پرسش (ورودی) خوب (پاداش بالا) است یا بد (پاداش کم). سپس این مدل در یک الگوریتم بهینه‌سازی، مانند بهینه‌سازی خط‌مشی پروگزیمال، به عنوان یک تابع پاداش برای بهبود خط‌مشی عامل مورد استفاده قرار می‌گیرد.
RLHF در حوزه‌های مختلف یادگیری ماشین کاربرد دارد، همچون وظایف پردازش زبان طبیعی (مانند خلاصه کردن متن و عامل‌های مکالمه‌کننده)، یا وظایف بینایی رایانه‌ای (مانند مدل‌های متن به تصویر ، و توسعه ربات‌های بازی‌های ویدئویی. در حالی که RLHF یک روش بهبود عملکرد در آموزش مدل به منظور انطباق با ترجیحات انسانی است، ولی در نحوه جمع‌آوری داده‌های ترجیحات انسانی با چالش‌هایی نیز مواجه است. اگرچه RLHF برای بهبود عملکرد به مقادیر زیادی داده نیاز ندارد، با این حال تامین داده‌های ترجیحی با کیفیت بالا هنوز هم یک فرآیند گران به حساب می‌آید. علاوه بر این، اگر داده‌ها از یک نمونه نماینده، به دقت جمع آوری نشده باشند، مدل به‌دست آمده ممکن است سوگیری‌های ناخواسته‌ای را نشان دهد.
نمای کلی سطح بالا - یادگیری تقویتی از بازخورد انسانی
پیشینه و انگیزه

بهینه‌سازی یک مدل بر اساس بازخورد انسانی زمانی مطلوب است که تعیین تکلیف دشوار باشد اما قضاوت آن آسان باشد. برای مثال، ممکن است در نظر داشته باشید که مدلی را آموزش دهید تا متن ایمن تولید کند که همزمان هم مفید و هم بی‌ضرر (مثلاً بدون سوگیری، غیر سمی یا بدون مضر) باشد. درخواست از انسان برای ایجاد فهرستی از نمونه‌های بی‌ضرر و مضر به صورت دستی دشوار و وقت‌گیر خواهد بود. با این حال، انسان‌ها در ارزیابی و مقایسه سریع مضرات متن‌های مختلف تولید شده توسط هوش مصنوعی ماهر هستند. بنابراین، یک راهکار عملی این است که به مدل اجازه دهیم از این نوع بازخورد انسانی برای بهبود تولید متن خود استفاده کند.
علی‌رغم مزایای واضح ادغام بازخورد انسانی در آموزش مدل‌ها، تلاش‌های اولیه با چالش‌های مهمی مواجه شدند. مشکل یادگیری تقویتی در بیشتر تلاش‌ها اول آن بود که محدود بودند و تعمیم آنها دشوار بود، و در انجام وظایف پیچیده‌تر به شکست منجر می‌شدند، و دوم این که در استفاده از توابع پاداش پراکنده (که فاقد اطلاعات خاص و ارتباط لازم با مقادیر زیادی از متن در یک زمان بودن) یا توابع پاداش با نویز بالا ( که به طور متناقض به خروجی‌های مشابه پاداش یکسان می‌دادند) با مشکلاتی مواجه بودند.
RLHF اولین روش موفق استفاده از بازخورد انسانی برای یادگیری تقویتی نبود، اما یکی از پرکاربردترین روش هاست. پایه و اساس RLHF در تلاش به منظور ایجاد یک الگوریتم عمومی برای یادگیری با استفاده از بازخورد انسانی معرفی شد. الگوریتمی که امروزه استفاده می‌شود توسط اوپن‌ای‌آی در مقاله‌ای پیرامون بهبود جریان پیشنهاد متن، یا خلاصه‌سازی بر اساس بازخورد انسانی معرفی شد. و همزمان که در مقاله دیگری در رابطه با جی‌پی‌تی ۳ (سلف چت‌جی‌پی‌تی) مورد استفاده قرار گرفت محبوبیت عمومی پیدا کرد. به‌علاوه، نشان داده شده است که RLHF استواری عامل‌های RL و ظرفیت آنها برای اکتشاف را بهبود می‌بخشد، که منجر به یک فرآیند بهینه‌سازی کاراتر در مدیریت عدم قطعیت و کاوش موثرتر محیط خود جهت به‌دست آوردن بالاترین پاداش می‌شود.
جمع آوری بازخوردهای انسانی

بازخورد انسانی معمولاً با جمع‌آوری پاسخ انسان‌ها به درخواست رتبه‌بندی رفتارهای خروجی عامل انجام می‌شود.  از این رتبه‌بندی‌ها برای امتیاز دادن به خروجی‌ها استفاده می‌شود. برای مثال، سیستم رده‌بندی الو، که الگوریتمی است برای محاسبه سطح مهارت نسبی بازیکنان در یک بازی است و به نتیجه همان بازی بستگی دارد. با وجودی که رتبه‌بندی خروجی‌ها رایج‌ترین شکل بازخورد است، تحقیقات اخیر انواع دیگری از بازخورد مانند بازخورد عددی، بازخورد زبان طبیعی، و درخواست برای ویرایش مستقیم خروجی مدل را بررسی کرده‌اند.
یکی از انگیزه‌های اولیه استفاده از RLHF این بود که به مقادیر نسبتاً کمی از داده مقایسه‌ای برای مؤثر بودن نیاز دارد. نشان داده شده که حجم کوچکی از داده‌ها می‌تواند منجر به نتایج قابل مقایسه با مقدار زیادی از داده شود. علاوه بر این، افزایش مقدار داده اثر کمتری  دارد نسبت به همان میزان افزایش در اندازه مدل پاداش. با این وجود در مواردی که گروه برچسب‌گذار نماینده یکدستی از داده‌ها نباشد، حجم وسیع‌تر و متنوع‌تر داده‌ها می‌تواند برای اجتناب از سوگیری حیاتی باشد.
در هنگام بهره‌گیری از RLHF از طریق مقایسه زوجی تحت مدل بردلی-تری-لوس (یا مدل پلاکت-لوس برای مقایسه‌های K-wise بیش از دو مقایسه)، برآورد درست‌نمایی بیشینه توابع پاداش خطی، تنها زمانی همگرا می‌شود که داده‌های مقایسه‌ای توسط یک مدل خطی خوش‌تعریف، به خوبی تولید شوند. این بدان معناست که، تحت شرایط خاص، اگر یک مدل آموزش در انتخاب بین یک (یا گروهی از) جفت گزینه‌های پیش رو، تصمیمی را بگیرد که به ترجیح انسان‌ها نزدیک‌تر است، لزوماً در پیش‌بینی ترجیحات آینده بهبود می‌یابد. انتظار بهبود در پاسخ‌ها تا زمانی برقرار است که مقایسه‌هایی که مدل از آنها می‌آموزد مبتنی بر یک قانون منسجم و ساده (غیر پیچیده) باشد.
تا اینجا با دو مدل جمع‌آوری داده آشنایی داریم. در روش جمع‌آوری داده غیربرخط، مدل در تعامل با یک مجموعه داده ایستا آموزش می‌بیند و به صورت دسته‌ای خط‌مشی خود را به‌روزرسانی می‌کند. در روش برخط، مدل به طور مستقیم با محیط پویا در تعامل است و خط‌مشی خود را بلافاصله به‌روزرسانی می‌کند. هر دو روش از نظر ریاضی مورد مطالعه قرار گرفت و به این نتیجه منتهی شد که اجرای RLHF تحت مدل‌های بازخوردی مختلف مرزهای پیچیدگی یکسانی دارد.
در مرحله آموزش خط‌مشی با استفاده از روش جمع‌آوری داده غیربرخط، استفاده از یک MLE بدبینانه دارای یک کران اطمینان پایین به عنوان تخمین پاداش، مؤثرتر خواهد بود. علاوه بر این، در صورت امکان، نشان داده شده است که استفاده مستقیم از مقایسه‌های K-wise به طور مجانبی کارآمدتر از تبدیل آنها به مقایسه‌های زوجی برای اهداف پیش‌بینی است.
در روش برخط، که بازخورد انسانی از طریق مقایسه‌های زوجی تحت مدل بردلی-تری-لوس جمع‌آوری می‌شود و هدف ما به حداقل رساندن پشیمانی الگوریتم (تفاوت عملکرد در مقایسه با عامل بهینه) است، نشان داده شده که، استفاده از یک MLE خوش بینانه با یک کران اطمینان بالا به عنوان تخمین پاداش، می‌تواند به طراحی الگوریتم‌های کارآمد منتهی شود. به این معنی که به داده‌های آموزشی نسبتا کمی نیاز داریم. یک چالش کلیدی در RLHF هنگام یادگیری از طریق مقایسه‌های زوجی (یا دوئل)، مشکل ماهیت غیر مارکوفی خط‌مشی بهینه‌سازی است. برخلاف سناریوهای ساده‌تر که در آن استراتژی بهینه نیاز به خاطر سپردن اقدامات گذشته ندارد، در RLHF، غالباً بهترین روش عملیاتی به رویدادها و تصمیم‌های قبلی بستگی دارد و استراتژی را وابسته به حافظه می‌کند.
کاربرد

RLHF در حوزه‌های مختلف پردازش زبان طبیعی (NLP)، مانند عامل‌های مکالمه‌کننده، خلاصه‌سازی متن و درک زبان طبیعی به کار گرفته شده است. در یادگیری تقویتی مرسوم عامل‌ها از اقدامات خود بر اساس یک "عملکرد پاداش" از پیش تعریف شده یاد می‌گیرند. استفاده از چنین روشی برای کاربردهای NLP دشوار خواهد بود از این جهت که تعریف یا اندازه‌گیری پاداش‌ها دشوار است. به ویژه زمانی که با وظایف پیچیده‌ای سروکار داریم که در بر گیرنده اولویت‌ها، ترجیحات و ارزش‌های انسانی است. RLHF می‌تواند به‌وسیلهٔ دریافت کردن پیشاپیش ترجیحات و اعمال آن در مدل پاداش، مدل‌های NLP (به‌ویژه مدل‌های زبانی) را طوری هدایت کند که پاسخ‌هایی منطبق بر ترجیحات انسان ارائه کند. این روش به مدلی منتهی می‌شود که قادر به ایجاد پاسخ‌های مرتبط‌تر و حذف پرس‌و‌جوهای نامناسب یا نامربوط است. برخی از نمونه‌های قابل‌توجه از مدل‌های زبان آموزش‌دیده با RLHF عبارتند از چت‌جی‌پی‌تی (و InstructGPT سلف آن) از شرکت اوپن‌ای‌آی، اسپارو (گنجشک) از شرکت دیپ‌مایند، جمینای شرکت گوگل، و کلود از شرکت آنتروپیک هستند.
در بینایی کامپیوتر، RLHF برای همسو کردن مدل‌های متن به تصویر نیز استفاده شده است. مطالعاتی که با موفقیت از RLHF برای این هدف استفاده کردند، اشاره کرده‌اند که استفاده از منظم‌سازی KL در RLHF، که با هدف جلوگیری از دور شدن بیش از حد خط‌مشی آموخته‌شده از مدل ناهمسو بکارگرفته شد، منجر به کاهش بیش‌برازش در طول آموزش مدل پاداش شد و به پایداری کل پروسه کمک کرد. خروجی‌های تصویر نهایی مدل‌های آموزش‌دیده با تنظیم KL به طور قابل توجهی کیفیت بالاتری از مدل‌های بدون آن بودند. روش‌های دیگر سعی کردند بازخورد را از طریق آموزش مستقیم‌تر - بر اساس به حداکثر رساندن پاداش بدون استفاده از یادگیری تقویتی - ترکیب کنند، اما پذیرفتند که رویکرد مبتنی بر RLHF عملکرد بهتری خواهد داشت. به‌علاوه، RLHF امکان تولید نمونه برخط را در طول به‌روزرسانی‌ها به محققان می‌داد. همین ویژگی باعث دور نگه داشته شدن بیش‌برازش تابع پاداش می‌شد.
RLHF در ابتدا در زمینه‌های دیگر مانند توسعه ربات‌های بازی‌های ویدئویی و وظایف رباتیک شبیه‌سازی شده استفاده شد. به عنوان مثال، اوپن‌ای‌آی و دیپ‌مایند عامل‌هایی را برای انجام بازی‌های آتاری بر اساس ترجیحات انسانی آموزش دادند. در آموزش کلاسیک چنین ربات‌هایی مبتنی بر روش RL، تابع پاداش به عملکرد عامل در بازی مرتبط می‌شد، که معمولاً از معیارهایی مانند امتیاز درون بازی استفاده می‌کردند. ولی در RLHF، یک انسان به طور مداوم با دو کلیپ متفاوت از رفتار عامل در بازی مواجه می‌شود و باید تصمیم بگیرد که کدام یک بهتر به نظر می‌رسد. این رویکرد می‌تواند به عامل‌ها بیاموزد که در سطح بالاتر و بدون دسترسی به امتیاز خود عمل کنند. در واقع، نشان داده شد که گاهی RLHF می‌تواند به عملکرد برتر نسبت به RL با معیارهای امتیاز منجر شود. زیرا ترجیحات انسان می‌تواند حاوی اطلاعات مفیدتری نسبت به معیارهای مبتنی بر عملکرد باشد. این عامل‌های آموزش دیده با RLHF در بسیاری از محیط‌های آزمایش‌شده به عملکرد قوی دست یافتند که اغلب از عملکرد انسان پیشی می‌گرفتند.
محدودیت‌ها

RLHF در بخش‌های جمع‌آوری بازخورد انسانی، یادگیری مدل پاداش و بهینه‌سازی خط‌مشی با چالش‌های جدی روبرو. از نظر جمع‌آوری داده‌ها، مقیاس‌پذیری و هزینه بازخورد انسانی در مقایسه با یادگیری بدون نظارت می‌تواند زمان‌بر و گران باشد. کیفیت و انسجام آن نیز ممکن است بسته به وظیفه، رابط، و ترجیحات و سوگیری‌های افراد مختلف متفاوت باشد.
اثربخشی RLHF به کیفیت بازخورد انسان بستگی دارد. به عنوان مثال، اگر بازخورد فاقد بی‌طرفی، ناسازگار یا نادرست باشد، ممکن است سوگیرانه شود و گروه‌های خاصی را بر گروه‌های دیگر ترجیح دهد. در جایی که مدل به جای یادگیری تعمیم‌یافته نمونه‌های بازخورد خاصی را حفظ می‌کند، خطر بیش‌برازش وجود دارد. برای مثال، بازخورد به‌دست آمده از یک جمعیت خاص ممکن است مدل را به یادگیری ویژگی‌ها یا نویز، همراه با همسویی متفق با آن گروه سوق دهد. همسویی بیش از حد، با بازخورد خاصی که دریافت می‌کند (یعنی سوگیری در آن) می‌تواند منجر به عملکرد ضعیف مدل در زمینه‌های جدید یا زمانی که توسط گروه‌های مختلف استفاده می‌شود، شود. یک تابع پاداش واحد نمی‌تواند همیشه نظرات گروه‌های مختلف مردم را نشان دهد. حتی با وجود یک نمونه نماینده، دیدگاه‌ها و ترجیحات متضاد ممکن است منجر به این شود که مدل پاداش به نفع نظر اکثریت باشد و به طور بالقوه به گروه‌های دارای نمایندگی کمتر آسیب برساند.
در برخی موارد، همانطور که در یادگیری تقویتی معمولی امکان‌پذیر است، ممکن است خطر یادگیری مدل برای دستکاری فرآیند بازخورد یا بازی دادن سیستم برای دستیابی به پاداش‌های بالاتر به جای بهبود واقعی عملکرد آن وجود داشته باشد. در مورد RLHF، یک مدل ممکن است یاد بگیرد که از این واقعیت استفاده کند که برای آنچه به طور مثبت ارزیابی می‌شود و نه لزوماً برای آنچه واقعا خوب است، پاداش می‌گیرد، که می‌تواند منجر به یادگیری برای دنباله‌روی و دست‌آموز شدن بشود. برای مثال، مدل‌ها ممکن است یاد بگیرند که اعتماد ظاهری، حتی اگر نادرست باشد، پاداش‌های بیشتری را به همراه دارد. چنین رفتاری، اگر کنترل نشود، نه تنها مشوق است، بلکه به دلیل پتانسیل مدل برای گمراه کردن، می‌تواند باعث ایجاد مشکلات قابل توجهی در اجرایی شدن بشود. مطالعات نشان داده‌اند که انسان‌ها در شناسایی اشتباهات در خروجی‌های LLM در کارهای پیچیده مهارت ندارند. بنابراین، مدل‌هایی که یاد می‌گیرند متنی با صدایی مطمئن و در عین حال نادرست تولید کنند، می‌توانند منجر به مشکلات مهمی در هنگام پیاده سازی شوند.
گزینه‌های جایگزین > بهینه سازی ترجیح مستقیم

در زمینه یادگیری ترجیحات انسانی، جایگزینی برای RLHF به نام بهینه سازی ترجیح مستقیم (اختصاری DPO) پیشنهاد شده است. درست مشابه RLHF، با استفاده از داده‌های ترجیحی تولید شده توسط انسان با هدف همسو کردن، به مدل زبانی بزرگ از پیش آموزش‌دیده اعمال می‌شود. با این حال، برخلاف RLHF، که ابتدا یک مدل واسط جداگانه را آموزش می‌دهند تا بفهمد نتایج خوب چگونه باید به نظر برسند و سپس آموزش مدل اصلی برای دستیابی به آن نتایج، در روش پیشنهادی DPO، با تنظیم مستقیم مدل اصلی بر اساس ترجیحات افراد، فرآیند را ساده می‌کنند. این روش برای تعریف "هزینه ترجیح" به عنوان تابعی از خط‌مشی، مستقیماً متغیرها را تغییر می‌دهد، و از این هزینه برای تنظیم دقیق مدل استفاده می‌کند. این کار به مدل کمک می‌کند ترجیحات انسانی را بدون نیاز به مراحل جداگانه درک و اولویت‌بندی کند. اساساً، این رویکرد مستقیماً تصمیمات مدل را بر اساس بازخورد مثبت یا منفی انسان شکل می‌دهد.
DPO برای پیاده سازی و آموزش ساده‌تر از RLHF است و نشان داده شده است که نتایج قابل مقایسه و گاهی بهتر را ایجاد می‌کند. با این وجود، نشان داده شده است که RLHF در برخی از مجموعه داده‌ها، به عنوان مثال، در معیارهایی که سعی در اندازه‌گیری درستی دارند، DPO را پشت سر می‌گذارد. بنابراین، انتخاب روش ممکن است بسته به ویژگی‌های داده‌های ترجیحی انسان و ماهیت کار متفاوت باشد.
مشاهدات بیشتر

انسان در حلقه
انتخاب بر اساس پاداش
سیارک ۸۴۳۸

سیارک ۸۴۳۸ (به انگلیسی: 8438 Marila، نامگذاری:4825T-1) هشت هزار و چهارصد و سی و هشتمین سیارک کشف شده است که در ۱۳ مه ۱۹۷۱ کشف شد.
قدر مطلق سیارک برابر ۱۴٫۶۰ است.
احمد جعفری

| احمد جعفری | احمد جعفری |
| --- | --- |
نام هنگام تولد: احمد جعفری
زادهٔ: ۱ بهمن ۱۳۱۶ اراک ایران
ملیت:  آمریکایی-ایرانی
محل تحصیل: دانشگاه هنر تهران دانشگاه تهران دانشگاه یوتا
پیشه: معمار
جوایز: NFFC Disney Legend Award,۲۰۰۶ّ
احمد جعفری (متولد ۱ بهمن ۱۳۱۶ در اراک) معمار برجسته ایرانی در حوزه طراحی تم‌پارک است. سبک آثار وی در حوزه طراحی فضاهای سرگرمی است.
زندگی

احمد جعفری در سال ۱۳۳۶ وارد دانشگاه تهران هنر (گروه معماری) شد و پس از فارغ‌التحصیلی و ادامهٔ تحصیل در مقطع کارشناسی ارشد از دانشگاه تهران به آمریکا مهاجرت کرد. وی پس از گذران دورهٔ مطالعاتی در دانشگاه سالت‌لیک‌سیتی در سال ۱۹۶۶، به‌عنوان معمار به استخدام شرکت دیزنی درآمد. او تا سال ۲۰۰۴ به‌عنوان طراح معماری و مدیر هنری به شرکت دیزنی خدمت کرد.
وال اچ. یوزل، مدیر اجرایی بخش معماری شرکت دیزنی پس از اهدای نشان ۳۶ سال رؤیایی با شرکت دیزنی در مورد احمد جعفری گفت:
همهٔ ما هنوز هم نشانه‌هایی از طرح‌های شما را در پارک‌های دیزنی سراسر دنیا می‌بینیم. خلاقیت شما به شناخت همگان از محیط‌های ساخته شده توسط دیزنی کمک کرد. تردیدی نیست که افراد انگشت‌شماری چون شما هستند که می‌توان ادعا کرد تا این اندازه مؤثر بوده‌اند.
برخی از جوایز و افتخارات

تشکر برای مهندسی خلاقانه رؤیایی، Walt Disney Imagineering.
Disney legend award در سال ۲۰۰۶
نشان ۱۵ سال سابقه خدمت از شرکت مهندسی WED و MAPO..
نشان ۲۵ سال سابقه ممتاز خدمت از شرکت دیزنی
نشان ۳۰ سال خدمت برجسته از شرکت دیزنی
نشان تشخّص ۳۵ سال جادویی با کمپانی Walt Disney.
برخی از پروژه‌ها

معمار ارشد شرکت معماری فرمانفرما در طراحی فرودگاه مهرآباد و ورزشگاه آزادی، تهران، ایران (۱۹۶۸–۱۹۶۹)
طراحی و ساخت طرح جامع ۱۰سالهٔ دیزنی‌لند، آمریکا، ۱۹۶۹
مرکز خرید بوئنا ویستا در والت دیزنی جهانی فلوریدا، ۱۹۷۰
معمار ارشد پروژهٔ (Big Thunder Mountain) در کنار تونی باکستر (مدیر هنری). کالیفرنیا، ایالات متحده آمریکا. (۱۹۷۲–۱۹۷۶ و افتتاح در تاریخ ۱۹۷۹)
اِپکات (Epcot)، فلوریدا، ایالات متحده آمریکا
طراح معماری بخش کانادا، ۱۹۷۷، افتتاح در سال ۱۹۸۲
طراح معماری بخش مراکش، ۱۹۸۰، افتتاح در سال ۱۹۸۴
طراح معماری بخش آفریقا، ۱۹۸۰
سرپرست طراحی و بازرس تم توکیو دیزنی لند، Urayasu)، اورایاسو (چیبا، ژاپن. ۱۹۸۲، افتتاح در سال ۱۹۸۳)
معمار ارشد وسترن لند و ادونچر لند، Marne-la-Vallée)، مارن-لا-والی) فرانسه. ۱۹۸۶–۱۹۹۲
بازرس سایت در (Fantasyland، فنتسی لند)، ۱۹۹۲
راه‌اندازی گروه طراحی CDM در لوس‌آنجلس آمریکا، ۲۰۰۰
طراح ارشد و مدیر هنری Tokyo Disney Resort)، توکیو دیزنی ریزورت)، (Tokyo Disney Sea، توکیو دیزنی سی)، هتل MiraCosta، میراکوستا) (Fantasyland، فنتسی لند)، ۲۰۰۱
طراح ارشد Animal Kingdom Resort Area و (Disney's Animal Kingdom Lodge، قلمرو حیوانات دیزنی)، فلوریدا، ایالات متحده آمریکا. ۲۰۰۱
مدیر طراحی، طراح کانسپت و توسعه طراحی هنگ کنگ دیزنی‌لند، جزیره (Lantau، لانتاو) هنگ کنگ. ۲۰۰۱–۲۰۰۴، افتتاح در سال ۲۰۰۵
مدیر طراحی پروژهٔ سرای خلیج و هتل inter continental، عقبه اردن. ۲۰۰۴–۲۰۰۷
مشاور طراحی WDI برای پروژه (Ratatouille، راتاتویی) پاریس دیزنی. ۲۰۰۹
طراحی ورودی‌ها و خیابان اصلی پارک دیزنی لند شانگهای، مشاور (WDI، دبلیو دی آی)، شانگهای، چین. ۲۰۰۱
تهران، ایران. (۲۰۱۳–۲۰۱۶):
سرپرست و ناظر تمینگ (Ocean Water Park، تم پارک آبی اوشن) اولین تم‌پارک آبی روباز در ایران در کیش
طراح پروژه (Hezaro Yek Shahr، هزار و یک شهر) نخستین تم‌پارک تهران
اِپکات، غرفه کانادا، اورلندو، فلوریدا
اِپکات، غرفه مراکش، اورلندو، فلوریدا، ۱۹۷۷