موضوع مقاله: کیو-یادگیری | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # کیو-یادگیری | مقدمه: یکی از نقاط قوت این روش، توانایی یادگیری تابع مذکور بدون داشتن مدل معینی از محیط می‌باشد. | ## بخش 1: کیو-یادگیری | اخیراً در این روش اصلاحی با نام کیو-یادگیری تأخیری انجام شده که بهبود قابل توجهی ایجاد نموده‌است. با انجام یک اقدام ، عامل یا بازیگر از یک وضعیت به وضعیت بعدی حرکت کرده و هر وضعیت پاداشی به عامل می‌دهد. الگوریتم دارای تابعی است که ترکیب حالت/اقدام را محاسبه می‌نماید: قبل از شروع یادگیری، جدول کیو مقدار ثابتی را که توسط طراح انتخاب شده برمی‌گرداند. سپس هر بار که به عامل پاداش داده می‌شود، مقادیر جدیدی برای هر ترکیب وضعیت/اقدام محاسبه می‌گردد. مقدار عامل تخفیف بگونه است که فرمول فوق معادل عبارت زیر است: یک اپیزود الگوریتم وقتی به وضعیت نهایی می سد پایان می‌یابد. توجه کنید که برای همه وضعیت‌های نهایی و مربوطه هیچگاه بروز نمی‌شود و مقدار اولیه خود را حفظ می‌کند. تأثیر متغیرها بر الگوریتم نرخ یادگیری این نرخ تعیین می‌کند که تا چه میزان اطلاعات به‌دست آمده جدید بر اطلاعات قدیمی ترجیح داده شود. مقدار صفر باعث می‌شود عامل چیزی یادنگیرد و مقدار یک باعث می‌شود عامل فقط اطلاعات جدید را ملاک قرار دهد. مقدار صفر باعث می‌شود عامل ماهیت فرصت طلبانه گرفته و فقط پاداش‌های فعلی را مد نظر قرار می‌دهد. | ## بخش 2: کیو-یادگیری | در حالی که مقدار یک عامل را ترغیب می‌کند برای یک دوره زمانی طولانی برای پاداش تقلا کند. شرایط اولیه (Q_0) از آنجایی که یادگیری کیو یک الگوریتم تکرار شونده است، شرایط اولیه را به‌صورت شهودی فرض می‌کند و سپس بروزشدن‌ها از آن آغاز می‌شود. شرایط اولیه خوشبینانه باعث می‌شود خیلی سریع ماتریس کیو به یک مقدار مشخص همگرا شود و در مقایسه با شرایط اولیه تصادفی، به نتایج بهتری در زمان آموزش مدل خواهد رسید ولی در هنگام کارکردن با آن در داده‌های تست، این موضوع برقرار نیست. کارایی عملی در ساده‌ترین شکل کیو-یادگیری از جداول برای ذخیره داده استفاده می‌شود. تخمین‌گر تابع گاهی اوقات که فضای حالت ما بزرگ می‌شود یا به سمت پیوسته می‌رود، دیگر بصرفه نیست از ماتریس کیو معمولی استفاده کنیم، زیرا که اردر محاسباتی و فضا، بالا خواهد رفت. یک راه برای تشکیل تخمین‌گر تابع، استفاده از شبکه عصبی مصنوعی است و راه دیگر، استفاده از قوانین فازی پراکنده خواهد بود. هرچند ماتریس کیو گسسته، درک بیشتری برای انسان داشت، اما تخمینگر تابع سرعت پردازش را بهبود و اردر فضایی را کاهش می‌دهد زیرا در بعضی اوقات تجربیات قبلی را به تجربیات فعلی تعمیم می‌دهد. در این بازی ما یک حالت را به وسیلهٔ موقعیت انگشت در فضا بر روی چوب، سرعت، زاویه چوب و سرعت زاویه ای مشخص می‌کنند. اما مشکل در این است که ممکن است بینهایت حالت وجود داشته باشد؛ مثلاً موقعیت انگشت در فضا بر روی چوب، از نقطهٔ شروع خود می‌تواند بینهایت فاصله ممکن داشته باشد. | ## بخش 3: کیو-یادگیری | ما به وسیله گسسته سازی می‌توانیم حالت‌های نزدیک به هم را در یک دسته قرار دهیم و فضای حالت را محدود تر کنیم. واتکینز اولین بار در مقاله ای با عنوان «یادگیری از پاداش تاخیری» در رسالهٔ دکترایش به این موضوع اشاره کرد. هشت سال زودتر در سال ۱۹۸۱ مسئله ای با عنوان «یادگیری تقویتی تاخیری» توسط بولونسزکی حل شد. درسال۲۰۱۴ تیم گوگل دیپ مایند یادگیری کیو را با یادگیری عمیق ترکیب کرد و با نام «یادگیری عمیق کیو» منتشر کرد که می‌توانست بازی آتاری۳۶۰۰ را در سطح انسان بازی کند. در این الگوریتم به‌جای ماترس کیو اولیه، ما از یک شبکه عصبی استفاده می‌کنیم و هر اکشن را با توجه به خروجی شبکه عصبی پیش‌بینی می‌کنیم. یادگیری دوگانه کیو همان‌طور که دیدیم، یادگیری کیو معمولی بر اساس تخمین پاداش در آینده عمل می‌کرد و اکشن مناسب را انتخاب می‌کرد. اما گاهی اوقات و به‌خصوص در مسائل نویزی، یادگیری کیو معمولی به سختی به جواب بهینه، همگرا می‌شوند و ممکن است در داخل یک حلقه تکرار شونده تا بی‌نهایت پیش روند و خیلی کند یا حتی هرگز به جواب بهینه برسند. این روش، دو ماتریس کیو دارد که هردو به‌وسیلهٔ تجربیات مجزا و مستقل از یکدیگر آموزش دیده‌اند: و در هنگام اتخاذ تصمیم برا اساس ماتریس کیو، اگر یکی از این دو ماتریس به وسیلهٔ نویزها یا تغیرات تصادفی دچار مشکل شود، ماتریس دیگر این مشکل را حل می‌کند و الگوریتم به سمت همگرا شدن پیش خواهد رفت. | ## جمع‌بندی | در سال ۲۰۱۵ نیز روش یادگیری دوگانه کیو با یادگیری عمیق کیو ترکیب شد و روشی جدید به نام یادگیری عمیق دوگانه کیو را به‌وجود آورد که برآیند دو روش ذکر شده در بالا هستند.