stanford-oval/wikipedia huggingface dataset:
منوچهر اقبال

| منوچهر اقبال | منوچهر اقبال |
| --- | --- |
دکتر اقبال در لباس تشریفات دربار پهلوی: دکتر اقبال در لباس تشریفات دربار پهلوی
نخست‌وزیر ایران: نخست‌وزیر ایران
دوره مسئولیت ۱۵ فروردین ۱۳۳۶ – شهریور ۱۳۳۹: دوره مسئولیت ۱۵ فروردین ۱۳۳۶ – شهریور ۱۳۳۹
پادشاه: محمدرضا پهلوی
پس از: حسین علا
پیش از: جعفر شریف امامی
وزیر دربار: وزیر دربار
متصدی: متصدی
آغاز به کار  ۱۳۳۵: آغاز به کار  ۱۳۳۵
دوره مسئولیت ۲۸ آذر (سرپرست) - ۲۲ اسفند ۱۳۲۷ (وزیر) – ۵ اسفند ۱۳۲۹: دوره مسئولیت ۲۸ آذر (سرپرست) - ۲۲ اسفند ۱۳۲۷ (وزیر) – ۵ اسفند ۱۳۲۹
نخست‌وزیر: محمد ساعد
پس از: احمد فریدونی (سرپرست)
پیش از: ابراهیم زند
وزیر بهداری: وزیر بهداری
دوره مسئولیت ۲۸ آذر – ۲۱ اسفند ۱۳۲۷: دوره مسئولیت ۲۸ آذر – ۲۱ اسفند ۱۳۲۷
نخست‌وزیر: محمد ساعد
پس از:  امیراعلم
پیش از:  اعلم‌الملک ادهم
دوره مسئولیت ۱۳۲۵ – ۱۸ آذر ۱۳۲۶: دوره مسئولیت ۱۳۲۵ – ۱۸ آذر ۱۳۲۶
نخست‌وزیر: احمد قوام
پس از:  مرتضی یزدی
پیش از:  لقمان‌الملک
دوره مسئولیت ۲۸ بهمن ۱۳۲۴ – ۱۳۲۵: دوره مسئولیت ۲۸ بهمن ۱۳۲۴ – ۱۳۲۵
پس از:  لقمان‌الملک
پیش از:  مرتضی یزدی
وزیر فرهنگ: وزیر فرهنگ
دوره مسئولیت ۱ تیر – آبان ۱۳۲۷: دوره مسئولیت ۱ تیر – آبان ۱۳۲۷
نخست‌وزیر: عبدالحسین هژیر
پس از:  علی‌اکبر سیاسی
پیش از:  محمد سجادی
وزیر راه: وزیر راه
دوره مسئولیت فروردین – ۴ تیر ۱۳۲۹: دوره مسئولیت فروردین – ۴ تیر ۱۳۲۹
نخست‌وزیر: علی منصور
پس از: محمد سعیدی (سناتور) (سرپرست)
پیش از: جعفر شریف‌امامی
وزیر پست و تلگراف: وزیر پست و تلگراف
دوره مسئولیت ۱۳۲۵ – ۱۳۲۵: دوره مسئولیت ۱۳۲۵ – ۱۳۲۵
نخست‌وزیر: احمد قوام
پس از: ذکاءالدوله غفاری
پیش از: اعزازالدوله نیک‌پی
سناتور: سناتور
استاندار آذربایجان: استاندار آذربایجان
دوره مسئولیت ۵ امرداد ۱۳۲۹ – ۱۳۳۰: دوره مسئولیت ۵ امرداد ۱۳۲۹ – ۱۳۳۰
رئیس دانشگاه تهران: رئیس دانشگاه تهران
متصدی: متصدی
آغاز به کار  ۱۳۳۴: آغاز به کار  ۱۳۳۴
پس از: علی‌اکبر سیاسی
پیش از: احمد فرهاد معتمد
رئیس دانشگاه تبریز: رئیس دانشگاه تبریز
دوره مسئولیت ۱۳۲۹ – ۱۳۳۰: دوره مسئولیت ۱۳۲۹ – ۱۳۳۰
پس از: خان‌بابا بیانی
پیش از: سید محمد سجلدی
 :  
اطلاعات شخصی: اطلاعات شخصی
زاده: ۲۱ مهر ۱۲۸۸۲۷ رمضان ۱۳۲۷ کاشمر
درگذشته: ۴ آذر ۱۳۵۶ (۶۸ سال) تهران
ملیت:  ایران
حزب سیاسی: حزب دموکرات  ایران -حزب اراده ملی  - جمعیت یاران - حزب ملیون
دیگر عضویت‌های سیاسی: حزب رستاخیز
همسر(ان): آلیس ریویر
فرزندان: هما (نیکل)، فرشته (مونیک)، مریم (فرانسوا) (همسر شهریار شفیق)
اقامتگاه: مدفون در حرم علی بن موسی‌الرضا، مشهد
محل تحصیل: پاریس
پیشه: مدیرعامل شرکت ملی نفت ایران
تخصص: پزشک و سیاستمدار
منوچهر اقبال (۲۱ مهر ۱۲۸۸ – ۴ آذر ۱۳۵۶) سیاستمدار، پزشک بیماری‌های عفونی، رئیس دانشگاه تهران، مدیرعامل شرکت ملی نفت ایران و یک دوره نخست‌وزیر ایران بود.
خانواده و تحصیلات

پدرش میرزا ابوتراب خان مقبل‌السلطنه خراسانی معروف به اقبال‌التولیه بود. پس از گذراندن تحصیلات ابتدائی در مشهد در سال ۱۳۰۰ همراه با پدرش که به نمایندگی مجلس شورای ملی (در دورهٔ چهارم) انتخاب شده بود به تهران رفت و در مدارس ثروت، علمیه و دارالفنون در سراسر دوران تحصیل شاگرد اول بود و در سال ۱۳۰۵ به هزینه پدرش برای ادامه تحصیل به فرانسه رفت.
اقبال در سال ۱۳۱۲ پس از پایان تحصیلات در دانشکده پزشکی دانشگاه پاریس و عرضه پایان‌نامه‌ای که نشان درجه اول علمی گرفت به ایران بازگشت. پس از خدمت نظام وظیفه، مدتی رئیس بهداری مشهد بود و سپس به تهران منتقل شد. در تهران در بیمارستان رازی مشغول به کار شد و به ریاست بخش بیماری‌های عفونی این بیمارستان رسید. از سال ۱۳۱۸ تدریس در دانشکده پزشکی دانشگاه تهران را آغاز کرد و صاحب کرسی بیماری‌های عفونی در این دانشکده شد.
سیاست

اقبال تصدی مشاغل مهم دولتی را با معاونت وزارت بهداری در کابینه اول قوام در سال ۱۳۲۱ آغاز کرد که در دولت‌های علی سهیلی و ساعد نیز که بعد از احمد قوام روی کار آمدند، این سمت را حفظ کرد. در شهریور ۱۳۲۳ که ساعد کابینه‌اش را ترمیم کرد، سرپرستی وزارت بهداری را به اقبال سپرد. او سپس با عضویت در حزب اراده ملی سیدضیا و حزب دموکرات قوام‌السلطنه وارد سیاست شد.
اقبال در ۲۸ بهمن ۱۳۲۴ برای نخستین بار به وزارت رسید و احمد قوام او را به عنوان وزیر بهداری به مجلس معرفی کرد. قوام در نقشه‌ای که برای جلب اعتماد شوروی جهت حل قضیه آذربایجان داشت، سه وزیر توده‌ای وارد کابینه‌اش کرد و از جمله وزارت بهداری را به مرتضی یزدی داد و اقبال را به وزارت پست و تلگراف فرستاد. پس از اجرای نقشه‌اش و حل قضیه آذربایجان، وزرای توده‌ای را کنار گذاشت و اقبال را دوباره به وزارت بهداری برگرداند.
شش ماه پس از سقوط کابینه قوام که عبدالحسین هژیر نخست‌وزیر شد، اقبال را وزیر فرهنگ کرد. او سپس در کابینه ساعد وزیر بهداری شد و همزمان وزارت کشور را هم سرپرستی می‌کرد. ترور نافرجام شاه در دوره سرپرستی او بر وزارت کشور رخ داد و گزارش ماجرا را او به مجلس داد. اقدامات دولت پس از ترور شاه باعث شد مظفر بقائی، حسین مکی و ابوالحسن حائری‌زاده دولت را به استیضاح بکشند و عمده دفاع از دولت به عهده اقبال بود. بقائی در جریان استیضاح، اقبال را «وزیر مارک‌دار» و مهره دربار و رزم‌آرا خطاب کرد.
نزدیک به پایان سال ۱۳۲۷ اقبال وزیر کشور شد. در اواخر عمر دولت ساعد از این سمت کنار رفت و در دولت بعدی که علی منصور تشکیل داد، وزیر راه شد. با روی کار آمدن سپهبد رزم‌آرا در پنجم مرداد ۱۳۲۹ به استانداری آذربایجان منصوب شد و این زمان با مهندس رفیع فرهور مدیر راه‌آهن و کشتیرانی آذربایجان آشنا شد. همزمان ریاست دانشگاه تبریز را نیز عهده‌دار بود. در سال ۱۳۳۱ به اروپا رفت و پس از کودتای ۲۸ مرداد ۱۳۳۲ به ایران بازگشت و سناتور انتصابی تهران شد و سپس به وزارت دربار رسید.
اقبال در ۱۵ فروردین ۱۳۳۶ به نخست‌وزیری منصوب شد و تا شهریور ۱۳۳۹ این سمت را داشت. در دوران نخست‌وزیری او حزب مِلّیون به رهبری او و حزب مردم به رهبری امیراسدالله علم تشکیل شد.انتخابات دوره بیستم مجلس شورای ملی در دوران نخست‌وزیری اقبال انجام گرفت. بعد از اعتراض‌هایی که از سوی احزاب و مردم شد، شاه این انتخابات را مردود اعلام کرد و منوچهر اقبال از سمت خود استعفاء داد.
وی در انتخابات دوره بیستم مجلس شورای ملی برای حوزه انتخابیه کاشمر شرکت کرد و از ۱۱٬۳۹۶ رأی ۵٬۷۸۰ رأی را کسب کرد که در ۵ بهمن ۱۳۳۹ استعفا داد و ابوالقاسم تفضلی جای او را گرفت شد.
جعفر شریف امامی که بعد از منوچهر اقبال به نخست‌وزیری رسید علت سقوط دولت اقبال را به سه دلیل دانسته است: اول: وضع نامطلوب اقتصادی کشور به دلیل عدم دقت در مصارف ارزی به نحوی که بانک مرکزی سخت نگران وضع ارزی شده بود.
دوم:مسئله انتخابات و جنجال‌ها و بدگویی‌هایی که بخاطر رقابت دو حزب مِلّیون و حزب مردم صورت گرفته بود و در اذهان اثر بدی گذاشته بود. سوم: سیاست خارجی اقبال که بخاطر سخنانی باعث رنجش شوروی شده بود بدون اینکه منفعت ملی برای کشور داشته باشد
اقبال پس از نخست‌وزیری به ریاست دانشگاه تهران منصوب شد. دانشجویان در تظاهراتی اتومبیلش را آتش کشیدند. پس از این اقبال از ایران خارج شد. در سال ۱۳۴۲ که به ایران بازگشت به سمت مدیرعامل شرکت ملی نفت ایران منصوب شد و تا پایان حیات خود در این سمت باقی ماند.
منوچهر اقبال مؤسس سازمان نظام پزشکی بود.
اقبال، در تاریخ ۴ آذر ۱۳۵۶ بر اثر سکته در ۶۸ سالگی بدرود حیات گفت.
کسپر (فیلم)

| کسپر | کسپر |
| --- | --- |
کارگردان: برد سیلبرلینگ فیل نیبلینک
تهیه‌کننده: جرالد آر. مولن استیون اسپیلبرگ استیو واترمن
نویسنده: شری استانر دینا الیور
بر پایه: کسپر روح خوش‌رفتار اثر سیمور ریت جو اریولو
بازیگران: بیل پولمن کریستینا ریچی دوون ساوا کتی موریارتی اریک آیدل ایمی برنمن چانسی لئوپاردی بن استاین براد گرت کلینت ایستوود دن اکروید دان نوولو فرد راجرز جو آلاسکی مالاکی پیرسن مل گیبسون رودنی دنجرفیلد جان کسیر
موسیقی: جیمز هورنر
فیلم‌بردار: دین کندی
تدوین‌گر: مایکل کان
شرکت تولید: امبلین اینترتینمنت کمپانی هاروی اینترتینمنت
توزیع‌کننده: یونیورسال استودیوز
تاریخ‌های انتشار:  ۲۶ مه ۱۹۹۵ (۱۹۹۵-0۵-۲۶)  
مدت زمان: ۱۰۰ دقیقه
کشور: آمریکا
زبان: انگلیسی 
هزینهٔ فیلم: ۵۵ میلیون دلار
فروش گیشه: ۲۸۷٫۹ میلیون دلار
کسپر (انگلیسی: Casper) فیلمی در ژانر کمدی، خانوادگی و فانتزی به کارگردانی برد سیلبرلینگ است که در سال ۱۹۹۵ منتشر شد.
فیلم در آمریکا و سایر کشورها اکران شد، و از لحاظ گیشه فروش خوبی داشته‌است.
بازیگران

بیل پولمن
کریستینا ریچی
دوون ساوا
کتی موریارتی
اریک آیدل
ایمی برنمن
چانسی لئوپاردی
بن استاین
براد گرت
کلینت ایستوود
دن اکروید
دان نوولو
فرد راجرز
مل گیبسون
لنارت نیلسون

| لنارت نیلسون | لنارت نیلسون |
| --- | --- |
لنارت نیلسون در استکهلم، مارس ۲۰۱۴: لنارت نیلسون در استکهلم، مارس ۲۰۱۴
نام هنگام تولد: Lars Olof Lennart Nilsson
زادهٔ: ۲۴ اوت ۱۹۲۲ استرنگنس
درگذشت: ۲۸ ژانویهٔ ۲۰۱۷ (۹۴ سال) استکهلم
ملیت: سوئد
شناخته‌شده برای: عکاسی
آثار برجسته: The Saga of Life (1982) The Miracle of Life (1983)
لنارت نیلسون (به انگلیسی: Lennart Nilsson) زادهٔ ۲۴ اوت ۱۹۲۲ – درگذشتهٔ ۲۸ ژانویه ۲۰۱۷) عکاس، دانشمند و نویسنده اهل سوئد بود که با تصاویر مشهورش از جنین‌ها و دیگر موضوعات پزشکی که به نظر قابل عکس‌برداری نمی‌آیند شناخته شده‌است.
نیلسون پیش از روی آوردن به عکاسی از اتفاقات داخلی بدن انسان، به عنوان عکاس خبری برای نشریاتی همچون پیکچرپست، لایف، و نشریه سوئدی se کار می‌کرد.
وی همچنین برندهٔ جوایزی همچون جایزه هاسلبلاد در سال ۱۹۸۰و جایزه ورلدپرس‌فتو در سال ۱۹۹۱ در بخش علم و فناوریشده‌است.
کنجکاوی و کمال‌گرا بودن نیلسون او را به یک عکاس پیشگام و نوگرا تبدیل کرده بود.
عکاسی از جنین

نخستین بار، اواخر دهه ۱۹۴۰ و هنگام تهیه گزارشی از بیمارستان sabbatsbergs از جنین انسان که در شیشه نگه‌داری می‌شد عکاسی کرد. سال‌ها بعد این عکس‌ها را به مجله لایف ارائه کرد و در این نشریه چاپ شد.
لایف همچنین نیلسون را به دنبال کردن این سوژه تشویق کرد. لنارت نیلسون با استفاده از میکروسکوپ به کنکاش ادامه داد و در دهه ۱۹۶۰ از آندوسکوپ فوق‌العاده باریکی استفاده کرد که به او این امکان را داد تا بیش از پیش به سوژه‌هایش نزدیک بشود و از داخل بدن عکس بگیرد.
او جنین انسان را در تمامی مراحل رشد ثبت کرد و ۴ سال طول کشید تا مجموعه جامعی از آفرینش بشر تهیه کند. گزارش او که نخستین بار سال ۱۹۶۵در مجله لایف منتشر شد، به همان میزان که علمی بود جذابیت تصویری داشت و احساسات آنی را در پی داشت. این گزارش با عمقی که به پیکرشناسی زندگی بشر داد، موفق شد مخاطبان گسترده‌ای را در مجلات سراسر دنیا به دست بیاورد.
زمانی که مجله لایف در سال ۱۹۶۵ این تصویر را تحت عنوان «درام زندگی قبل از تولد» منتشر کرد، این مسئله در نزد افکار عمومی آن زمان بسیار مورد توجه و مقبول بود. شاید به دلیل هم‌زمانی با این شرایط خوب بود که عکس نیلسون به چاپ رسید، تصویری که وضعیت جنین انسان در حال رشد را در معرض دید بینندگان قرار داد و پرسش‌های تازه‌ای در مورد زمان آغاز حیات به وجود آورد.
شیوه فعالیت عکاسی

مجله لایف دربارهٔ شیوهٔ کار نلسون توضیح داده که این جنین‌ها از درون رحم و به دلایل پزشکی خارج شده‌اند. در واقع نیلسون قبلاً با یک بیمارستان در شهر استکهلم صحبت کرده و از پزشکان قول گرفته بود که در صورت وجود جنینی مناسب برای ثبت این تصویر، با او تماس بگیرند.
از طرف دیگر اتاقی مجهز به نور مناسب و عدسی‌های مخصوص نیز برای انجام این پروژه مهیا شده بود.
نیلسون فضا را به گونه‌ای طراحی کرده بود که به نظر برسد جنین هنوز در رحم مادر است. از زمانی که این تصویر منتشر شد، تاکنون بارها از آن بدون اجازه عکاس و برای مصارف گوناگون استفاده شده‌است. از جمله فعالان مخالف با سقط جنین بارها از آن برای اعتراضات خود استفاده کردند. اما صرف‌نظر از این مسائل، این تصویر نمایشی کامل، واضح و تماشایی از جزییاتی است که زندگی بشر را در همان نخستین روزهای تکوین به روشنی به نمایش گذاشته‌است.
روز پیروزی در اروپا

| روز پیروزی در اروپا | روز پیروزی در اروپا |
| --- | --- |
نام رسمی: روز پیروزی در اروپا
نام خودمانی: V-E Day VE Day
برپایی توسط: متفقین جنگ جهانی دوم
اهمیت: پایان جنگ جهانی دوم در اروپا
تاریخ: ۷/۸ می
مرتبط با: روز پیروزی بر ژاپن
روز پیروزی در اروپا (به انگلیسی: V-E Day) پایان جنگ جهانی دوم. ۸ مه ۱۹۴۵
تاریخی که نیروهای متفقین در جنگ جهانی دوم رسماً تسلیم بدون قید و شرط آلمان را پذیرفتند و پایان رایش سوم آدولف هیتلر.
روز پیروزی در ۸ ماه مه در سراسر کشورهای اروپای غربی جشن گرفته می‌شود. چندین کشور هر ساله این روز را تعطیلات عمومی در نظر گرفته‌اند و به نامهای مختلف از جمله روز پیروزی بر فاشیسم، روز آزادی یا به سادگی روز پیروزی خوانده می‌شود.
روسیه، بلاروس و صربستان نیز مانند ۹ کشور بلوک شوروی سابق ۹ ماه مه را جشن می‌گیرند. اسرائیل همچنین به دلیل وجود تعداد زیادی از مهاجران از اتحاد جماهیر شوروی، هرچند که این یک تعطیلات عمومی نیست، روز پیروزی را در ۹ ماه مه به رسمیت می‌شناسد. اصطلاح روز پیروزی از اوایل سپتامبر ۱۹۴۴ در حالی که مردم در  انتظار پیروزی بودند به کار برده می‌شد.
روز پیروزی شوروی

قرارداد تسلیم در ۷ مه ۱۹۴۵ امضا شد و تصریح کرد که تمام خصومت‌ها باید در ساعت ۲۳:۰۱ (به وقت اروپای مرکزی) در ۸ مه ۱۹۴۵، فقط یک ساعت قبل از نیمه شب متوقف شود. از آنجا که این زمان در اتحاد جماهیر شوروی ۹ ماه مه بود، اکثر ایالت‌های اتحاد جماهیر شوروی از جمله روسیه، ۹ ماه مه را به عنوان روز پیروزی جشن گرفتند.
روز پیروزی بر ژاپن
رزوه (چادگان)

| رزوه | رزوه |
| --- | --- |
کشور:  ایران
استان: اصفهان
شهرستان: چادگان
بخش: مرکزی
نام(های) دیگر: روزبه ، رودبه
نام(های) پیشین: کبوترسرخ
سال شهرشدن: 1377
مردم: مردم
جمعیت: ۴،۳۳۲ نفر (۱۳۹۵)
رشد جمعیت: 1.4
جغرافیای طبیعی: جغرافیای طبیعی
مساحت: 170h
میانگین دمای سالانه: 5
میانگین بارش سالانه: 250
روزهای یخبندان سالانه: 90
اطلاعات شهری: اطلاعات شهری
شهردار: مهندس جعفر یادگاری
تأسیس شهرداری: ۱۳۷۷
پیش‌شمارهٔ تلفن: ۰۳۱۵۷۷۰
شناسهٔ ملی خودرو:  ایران
کد آماری: ۲۳۵۲
  رزوه  روی نقشه ایران ۳۲°۵۰′۱۴″شمالی ۵۰°۳۳′۵۱″شرقی﻿ / ﻿۳۲٫۸۳۷۲۳۱°شمالی ۵۰٫۵۶۴۱۳۹°شرقی﻿ / 32.837231; 50.564139   :   رزوه  روی نقشه ایران ۳۲°۵۰′۱۴″شمالی ۵۰°۳۳′۵۱″شرقی﻿ / ﻿۳۲٫۸۳۷۲۳۱°شمالی ۵۰٫۵۶۴۱۳۹°شرقی﻿ / 32.837231; 50.564139   
 :  
رزوه شهری از توابع  بخش مرکزی  شهرستان چادگان در استان اصفهان ایران واقع شده‌ است.
موقعیت

این شهر در شش کیلومتری شهر چادگان، مرکز شهرستان و بیست و پنج کیلومتری شهر داران مرکز شهرستان فریدن واقع شده است.
جغرافیا

رزوه در منطقه‌ای پایکوهی واقع و دارای آب و هوای معتدل و خشک است. رشته کوه دالان کوه در هفت کیلومتری شمال و شمال شرقی آن قرار دارد
جمعیت

جمعیت آن در سال ۱۳۹۰ برابر ۴۵۳۶ نفر گزارش شده‌است.
ولی بدلیل نبود شغل و صنعت در شهر و خشکسالی مردم شهر شروع به مهاجرت به مرکز استان نمودند و در سرشماری سال ۹۵ جمعیت رسمی شهر به ۴۳۳۲ نفر کاهش یافته
مردم

مردم این شهر ترک هستند و‌ به زبان ترکی صحبت میکنند.
تقسیمات

رزوه در سال ۱۳۷۷ به جرگهٔ شهرهای ایران پیوست. این شهر به سه بخش محله امامزاده، مرکز شهر و محله قلعه بالا تقسیم می‌شود. این سه محله توسط پلی که بر روی رودخانهٔ فصلی رزوه احداث گردیده با یکدیگر ارتباط دارند.
کشاورزی

این شهر بهترین نقطه برای کشت سیب زمینی در استان اصفهان به دلیل کم نشاسته بودن و ماندگاری زیاد می‌باشد. از ویژگی‌های این شهر دارا بودن آب شیرین دارای املاح معدنی است. در سال 1369 حاج حبیب صالحی رزوه سه روش نوین کشت سیب زمینی در سطح کشوری ارائه داد که برای اولین بار جایزه سالانه ی کشت سیب زمینی به کشاورزی از رزوه تعلق گرفت
اماکن

از اماکن زیارتی شهر رزوه امامزاده عبدالله ابن زید حسنی است که پدر شاه عبدالعظیم شهرری می‌باشد. این شهر در منطقهٔ فریدن به علت وجود امامزاده عبدالله زید حسنی به شهر مذهبی معروف شده‌است.
یادگیری تقویتی

یادگیری نیروافزوده یا یادگیری تقویتی یا یادگیری پاداش و تاوان یکی از گرایش‌های یادگیری ماشینی است که از روان‌شناسی رفتارگرایی الهام می‌گیرد. این روش بر رفتارهایی تمرکز دارد که ماشین باید برای بیشینه کردن پاداشش انجام دهد. این مسئله، با توجه به گستردگی‌اش، در زمینه‌های گوناگونی بررسی می‌شود. مانند: نظریه بازی‌ها، نظریه کنترل، تحقیق در عملیات، نظریه اطلاعات، سامانه چندعامله، هوش ازدحامی، آمار، الگوریتم ژنتیک، بهینه‌سازی بر مبنای شبیه‌سازی. در مبحث تحقیق در عملیات و در ادبیات کنترل، حوزه‌ای که در آن روش یادگیری نیروافزوده مطالعه می‌شود برنامه‌نویسی تخمینی پویای (approximate dynamic programming) خوانده می‌شود. این مسئله در تئوری کنترل بهینه نیز مطالعه شده است. البته دغدغه اصلی بیشتر مطالعات در این زمینه، اثبات وجود پاسخ بهینه و یافتن ویژگی‌های آن است و به دنبال جزئیات یادگیری یا تخمین نیست. یادگیری نیروافزوده در اقتصاد و نظریه بازیها بیشتر به بررسی تعادل‌های ایجاد شده تحت عقلانیت محدود می‌پردازد.
در یادگیری ماشینی با توجه به این که بسیاری از الگوریتم‌های یادگیری نیروافزوده از تکنیک‌های برنامه‌نویسی پویا استفاده می‌کنند معمولاً مسئله تحت عنوان یک فرایند تصمیم‌گیری مارکف مدل می‌شود. تفاوت اصلی بین روش‌های سنتی و الگوریتم‌های یادگیری نیروافزوده این است که در یادگیری نیروافزوده نیازی به داشتن اطلاعات راجع به فرایند تصمیم‌گیری ندارد و این که این روش روی فرایندهای مارکف بسیار بزرگی کار می‌کند که روش‌های سنتی در آنجا ناکارآمدند.
یادگیری نیروافزوده با یادگیری با نظارت معمول دو تفاوت عمده دارد، نخست اینکه در آن زوج‌های صحیح ورودی و خروجی در کار نیست و رفتارهای ناکارامد نیز از بیرون اصلاح نمی‌شوند، و دیگر آنکه تمرکز زیادی روی کارایی زنده وجود دارد که نیازمند پیدا کردن یک تعادل مناسب بین اکتشاف چیزهای جدید و بهره‌برداری از دانش اندوخته شده دارد. این سبک-سنگین کردن بین بهره‌برداری و اکتشاف در یادگیری نیروافزوده برای فرایندهای مارکف متناهی، تقریباً به‌طور کامل در مسئلهٔ راهزن چند دست بررسی شده است.
تفاوت یادگیری تقویتی با سایر روش‌های یادگیری ماشین

یادگیری تقویتی را می‌توان شاخه‌ای مجزا در یادگیری ماشین در نظر گرفت؛ هرچند شباهت‌هایی هم با سایر روش‌های یادگیری ماشین دارد. برای دریافتن این شباهت‌ها و تفاوت‌ها بهتر است نگاهی به سایر روش‌های یادگیری ماشین هم نگاهی داشته باشیم.
تفاوت یادگیری تقویتی با سایر روش‌های یادگیری ماشین > یادگیری نظارتی (supervised learning)

در یادگیری نظارتی، الگوریتم‌ها با استفاده از یک سری داده برچسب‌دار آموزش داده می‌شوند. این الگوریتم‌ها فقط ویژگی‌هایی را یادمی‌گیرند که در دیتاست مشخص شده است و به آنها هدف یا target گفته می‌شود. در واقع «هدف» در این نوع یادگیری کاملاً تعریف شده است و نمونه‌های از داده و پاسخ درست در اختیار مدل قرار می‌گیرد تا با استفاده از آنها بتواند هر دادهٔ جدیدی را که می‌بیند برچسب بزند. یکی از رایج‌ترین کاربردهای یادگیری نظارتی، مدل‌های تشخیص تصویر است. این مدل‌ها یک مجموعه عکس برچسب‌دار دریافت می‌کنند و یادمی‌گیرند بین ویژگی‌های متداول آنها تمایز قائل شوند. به عنوان مثال با دریافت عکس‌هایی از صورت انسان‌ها، می‌توانند اجزای صورت را تشخیص دهند. یا بین دو یا چند حیوان تمایز قائل شوند.
تفاوت یادگیری تقویتی با سایر روش‌های یادگیری ماشین > یادگیری نیمه نظارتی (semi supervised learning)

این روش، روشی بینابینی است. توسعه‌دهندگان، یک مجموعه نسبتاً کوچک از داده‌های برچسب‌دار و یک مجموعه بزرگ‌تر از داده بدون برچسب آماده می‌کنند. سپس از مدل خواسته می‌شود، براساس چیزی که از داده‌های برچسب‌دار یادمی‌گیرد، درمورد داده‌های بدون برچسب هم پیش‌بینی انجام دهد و در نهایت داده‌های بدون برچسب و برچسب‌دار را به عنوان یک مجموعه داده کل درنظر بگیرد و نتیجه‌گیری نهایی را انجام دهد.
تفاوت یادگیری تقویتی با سایر روش‌های یادگیری ماشین > یادگیری غیر نظارتی (unsupervised learning)

در یادگیری غیرنظارتی، فقط داده‌های بدون برچسب در اختیار الگوریتم قرار داده می‌شود. این الگوریتم‌ها بدون اینکه مستقیم به آنها گفته شده باشد دنبال چه ویژگی‌ها بگردند، براساس مشاهده‌های خودشان آموزش می‌بینند. نمونه‌ای از کاربرد این نوع یادگیری، خوشه‌بندی مشتری‌ها است.
تفاوت یادگیری تقویتی با سایر روش‌های یادگیری ماشین > یادگیری تقویتی (Reinforcement Learning)

رویکرد یادگیری تقویتی کاملاً متفاوت است. در این روش، یک عامل در محیط قرار می‌گیرد تا با آزمون و خطا یاد بگیرد کدام کارها مفید و کدام کارها غیرمفید هستند و در نهایت به یک هدف مشخص برسد. از این جهت که درمورد یادگیری تقویتی هم هدف مشخصی از یادگیری وجود دارد، می‌توان آن را شبیه یادگیری نظارتی دانست. اما وقتی که اهداف و پاداش‌ها مشخص شدند، الگوریتم به صورت مستقل عمل می‌کند و نسبت به یادگیری نظارتی تصمیمات آزادانه‌تری می‌گیرد. به همین علت است که برخی یادگیری تقویتی را در دسته نیمه نظارتی جای می‌دهند. اما با توجه به آنچه گفته شد، منطقی‌تر این است که یادگیری تقویتی را به عنوان یک دسته جدا در یادگیری ماشین در نظر گرفت.
مقدمه

یک مدل ابتدایی یادگیری نیروافزوده از:
S یک مجموعه از حالات مختلف مسئله.
A یک مجموعه از تصمیمات قابل اتخاذ.
قوانینی برای گذار از حالات مختلف به یکدیگر.
قوانینی برای میزان پاداش به ازای هر تغییر وضعیت.
قوانینی برای توصیف آنچه که ماشین می‌تواند مشاهده کند.
معمولاً مقدار پاداش به آخرین گذار مربوط است. در بسیاری از کارها ماشین می‌تواند وضعیت فعلی مسئله را نیز به‌طور کامل (یا ناقص) مشاهده کند. گاهی نیز مجموعه فعالیت‌های ممکن محدود است (مثلاً این که ماشین نتواند بیشتر از مقدار پولی که دارد خرج کند)
در یادگیری نیروافزوده ماشین می‌تواند در گام‌های زمانی گسسته با محیط تعامل کند. در هر لحظهٔ مفروض  t، ماشین یک مجموعه مشاهدات  o_{t} را دریافت می‌کند که معمولاً شامل پاداش  r_{t} نیز می‌شود و پس از آن یک واکنش  a_{t} از بین واکنش‌های ممکن از خود نشان می‌دهد که به محیط ارسال می‌شود. سپس وضعیت به حالت  s+1 گذار می‌کند و پاداش  r+1 نیز مشخص می‌شود که مربوط به گذار حاصل از  (s_{t},a_{t}) است؛ و این پاداش قبل از انجام حرکت بعدی ماشین همراه با  o_{t+1} به ماشین داده می‌شود تا بر اساس آن  a_{t+1} را انتخاب کند. هدف ماشین هم طبیعتاً این است که بیشترین پاداش ممکن را کسب کند. ماشین می‌تواند هر تصمیماتش را به صورت تابعی از روند تغییر بازی تا وضعیت حاضر یا حتی به صورت تصادفی انتخاب کند.
نکتهٔ مهمی که در اینجا وجود دارد این است که یادگیری نیروافزوده برای مسائلی که در آن‌ها بیشترین سود در کوتاه مدت تضمین کنندهٔ بیشترین سود در دراز مدت نیست بسیار مناسب است؛ مثلاً من برای اینکه در بزرگسالی درآمد بیشتری داشته باشیم بهتر است که به دانشگاه بروم و درس بخوانم در حالی که این امر در حال حاضر از نظر مالی برای من بهینه نیست. دلیل وجود این برتری در روش یادگیری نیروافزوده نیز این است که ماشین در هر مرحله لزوماً بهترین راه را انتخاب نمی‌کند و در نهایت هم سعی دارد مجموع پاداش. این روش به شکل موفقیت‌آمیزی بر روی مسائل مختلفی نظیر: کنترل ربات‌ها، برنامه‌ریزی آسانسورها، مخابرات، تخته نرد، چکرز(Sutton and Barto 1998, Chapter 11) و بازی گو (آلفاگو) استفاده شده است.
دو عامل مهم هستند که باعث برتری این روش می‌شوند: استفاده از نمونه‌ها برای بهینه‌سازی کارایی و استفاده از تخمین توابع برای تعامل با محیط‌های پیچیده در هریک از حالات زیر:
برای مسئله یک مدل وجود دارد اما راه حل تحلیلی‌ای وجود ندارد.
فقط یک محیط شبیه‌سازی شده از مسئله در دسترس است (موضوع بحث بهینه‌سازی بر مبنای شبیه‌سازی)
هنگامی که تنها راه برای به دست آوردن اطلاعات از محیط تعامل با آن باشد.
دو حالت اول را می‌توان تحت عنوان مسائل برنامه‌ریزی بررسی کرد. (با توجه به این که مدل‌هایی از مسئله موجود است)، در حالی که سومی را باید به عنوان یک مسئلهٔ یادگیری صرف در نظر گرفت. در هر حال در چهارچوب یادگیری نیروافزوده هر سه مسئله به یک مسئلهٔ یادگیری ماشین تبدیل می‌شوند.
اکتشاف

مسئلهٔ یادگیری نیروافزوده همان‌طور که توصیف شد، نیازمند یک راهکار هوشمندانه برای اکتشاف است. تصمیم‌گیری‌های تصادفی بدون استفاده از یک توزیع احتمال برآورد شده، معمولاً کارای بسیار ضعیفی دارد. برای فرایندهای مارکف کوچک و محدود مسئله در حال حاضر تا حدود خوبی حل شده است. اما با توجه به این که بیشتر الگوریتم‌ها به درستی با زیاد شدن تعداد حالات کارایی خود را حفظ نمی‌کنند (مخصوصا برای تعداد حالات نامتناهی)، در دنیای واقعی افراد به همان راه‌های ساده اکتشاف بسنده می‌کنند. یکی از این راه‌ها الگوریتم  \epsilon -حریصانه نام دارد که در آن ماشین تصمیمی را که به اعتقاد او بیشترین سود را در درازمدت به همراه خواهد داشت به احتمال  1-\epsilon  انتخاب می‌کند و با احتمال یکنواخت نیست یکی از کارهای دیگر را انجام می‌دهد. در اینجا  0<\epsilon <1 یک متغیر برای تنظیم کردن میزان اکتشاف است و بعضاً چه به دلیل وجود یک برنامهٔ زمانبندی مشخص (کم کردن مقدار اکتشاف با گذشت زمان) و چه به دلایل ابتکاری تغییر می‌کند.
الگوریتم‌های یادگیری کنترلی

اگر مشکل اکتشاف را نادیده بگیریم و فرض کنیم که حالت فعلی کاملاً قابل مشاهده است (که این موضوع از اینجا به بعد مفروض است)، مسئله به این تبدیل می‌شود که چه اعمالی با توجه به تجربیات گذشته بهتر هستند.
الگوریتم‌های یادگیری کنترلی > معیار بهینگی

برای سادگی، فرض کنید مسئله به صورت دنباله‌ای از قسمت‌های مستقل باشد، که هر کدام از این قسمت‌ها با رسیدن به یک حالت انتهایی به پایان می‌رسد، (برای مثال اگر قرار باشد ماشین خروج از اتاق را یاد بگیرد، به محض خروج یک قسمت تمام می‌شود و ماشین پاداش  R_{t} را دریافت می‌کند همچنین، فرض کنید مستقل از این که ماشین چه تصمیماتی را به چه ترتیبی اتخاذ کند، رسیدن به این حالت انتهایی اجتناب ناپذیر باشد. تحت چند شرط دیگر برای تعادل و نظم مسئله انتظار ما از پاداش نهایی به ازای هر رویکرد انتخاب شده توسط ماشین و هر شرایط اولیه‌ای تعریف شده خواهد بود. در اینجا یک رویکرد یعنی یک توزیع احتمال بر روی تمام تصمیمات ممکن ماشین بسته به روند طی شده برای رسیدن به حالت حاضر.

اگر توزیع احتمال  \mu  در نظر گرفته شده باشد، ما می‌توانیم  \rho ^{\pi } را به عنوان امید ریاضی پاداش مربوط به رویکرد انتخابی  \pi  در نظر بگیریم:
که در اینجا متغیر تصادفی  R نشاندهندهٔ مقدار خروجی است و به این صورت تعریف می‌شود:
که در اینجا  r_{t+1} پاداش دریافتی بعد از گذار  tام است حالت اولیه در  \mu ، و تصمیمات گرفته شده با توجه به رویکرد در  \pi  نمود پیدا کرده‌اند. در اینجا،  N نشان دهندهٔ زمان تصادفی‌ای است که حالت انتهایی فرا می‌رسد و قسمت یادگیری حاضر به پایان می‌رسد.

در مسئله‌هایی که به این شکل از قسمت‌های مستقل تشکیل نشده‌اند، معمولاً از خروجی کاسته می‌شود.
در اینجا  0\leq \gamma \leq 1 اصطلاحاً ضریب نزول خوانده می‌شود.
الگوریتم‌های یادگیری کنترلی > جستجوی جامع

روش جستجوی جامع از دو مرحلهٔ زیر تشکیل شده است:
به ازای همهٔ رویکردهای ممکن، در حین دنبال کردن آن‌ها از پاداش‌ها نمونه برداری کن.
رویکردی را که بیشترین مجموع پاداش را دارد انتخاب کن.
مشکل اصلی این روش این است که تعداد حالات ممکن است بسیار زیاد یا حتی نامتناهی باشد؛ و دیگر اینکه ممکن است خروجی‌ها بسیار متنوع باشند که این حالت نیازمند نمونه برداری بسیار گسترده‌ای برای تخمین خروجی نهایی هر رویکرد است.
انواع یادگیری تقویتی

با توجه به رویکردهای متفاوتی که الگوریتم‌های یادگیری عمیق در سه مرحله جمع‌آوری داده، تخمین تابع ارزش و بهینه‌سازی سیاست در پیش می‌گیرند، می‌توان آنها را از مناظر مختلف دسته‌بندی کرد که در ذیل به دسته‌بندی‌ها رایج در این حوزه اشاره می‌گردد: