موضوع مقاله: یادگیری تقویتی چندعاملی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # یادگیری تقویتی چندعاملی | مقدمه: هر عامل با به خاطر پاداش هایش انگیزه میگیرد و اقدام هایی را برای پیش بردن منافع خود انجام می دهد. | ## بخش 1: یادگیری تقویتی چندعاملی | امکان دارد این منافع با منافع بقیه عوامل اختلاف داشته باشد که منجر به پویایی پیچیده گروه می شود . یادگیری تقویتی چند عاملی ارتباط نزدیکی با نظریه بازی و به ویژه بازی های تکراری دارد. مطالعه آن، جستجوی یافتن الگوریتم‌های ایدئال را که پاداش‌ها را به حداکثر می‌رسانند، با مجموعه‌ای جامعه‌شناختی از مفاهیم ترکیب می‌کند. در حالی که تحقیق در یادگیری تقویتی تک عاملی به یافتن الگوریتمی می‌پردازد که بیشترین امتیاز را برای یک عامل کسب می‌کند، تحقیقات در یادگیری تقویت چند عاملی معیارهای اجتماعی مانند همکاری, متقابل, حقوق صاحبان سهام, نفوذ اجتماعی, زبان و تبعیض را ارزیابی و کمی می‌کند. تعریف مشابه یادگیری تقویت تک عامل, یادگیری تقویتی چند عاملی به عنوان فرآیند تصمیم گیری فرایند تصمیم گیری مارکوف مدل می شود: مجموعه ای از حالت های محیطی . در تنظیمات با اطلاعات کامل مانند بازی های شطرنج و برو گروه دموکراتیک کاملاً قابل مشاهده است. در تنظیمات با اطلاعاتی که کامل نیست، به ویژه در برنامه های کاربردی دنیای واقعی مانند اتومبیل های خودران, هر عامل به مشاهده ای دسترسی خواهد داشت که فقط قسمتی از اطلاعات مربوط به وضعیت فعلی را دارد. همکاری در مقابل رقابت هنگامی که چندین عامل در یک محیط مشترک عمل می کنند، ممکن است علایق آنها همسو یا نادرست باشد. MARL اجازه می دهد تا تمام هم ترازی های مختلف و نحوه تأثیر آنها بر رفتار عامل ها را بررسی کنید: در تنظیمات رقابت خالص پاداش های نمایندگان دقیقا مخالف یکدیگر هستند و بنابراین بازی می کنند در برابر همدیگر را. تنظیمات همکاری خالص افراطی دیگر هستند که عوامل دقیقا همان پاداش ها را دریافت می کنند و بنابراین بازی می کنند با همدیگر را. تنظیمات رقابت خالص هنگامی که دو عامل در حال بازی یک بازی با حاصل جمع صفر در رقابت محض با یکدیگر هستند. بسیاری از بازی های سنتی مانند شطرنج و برو سقوط تحت این دسته, به عنوان انجام انواع دو نفره از بازی های مدرن مانند استارکرافت. از آنجایی که هر نماینده فقط می تواند با هزینه نماینده دیگر برنده شود، بسیاری از پیچیدگی ها از بین می روند. هیچ چشم‌اندازی برای ارتباط یا دوراهی‌های اجتماعی وجود ندارد، زیرا هیچ یک از نمایندگان برای انجام اقداماتی که به نفع حریف خود هستند، تشویق نمی‌شوند. | ## بخش 2: یادگیری تقویتی چندعاملی | این دیپ بلو و الفاگو پروژه ها نشان می‌دهند که چگونه می‌توان عملکرد عوامل را در تنظیمات رقابتی خالص بهینه کرد. همانطور که خط مشی عوامل با استفاده از خود بازی, ممکن است چندین لایه یادگیری رخ دهد. تنظیمات همکاری خالص MARL برای بررسی چگونگی ارتباط عوامل مجزا با علایق یکسان و همکاری با یکدیگر استفاده می شود. تنظیمات همکاری خالص بازی‌های تعاونی تفریحی مورد بررسی قرار می گیرد مانند بازی های تعاونی و بیش از حد پخته شده, و همچنین سناریوهای دنیای واقعی در رباتیک بررسی می‌شوند. در محیط‌های همکاری خالص، همه عوامل پاداش‌های یکسانی دریافت می‌کنند، به این معنی که معضلات اجتماعی رخ نمی‌دهد. تنظیمات مختلط اکثر سناریوهای دنیای واقعی که شامل چندین عامل است، عناصری از همکاری و رقابت دارند. برای مثال وقتی چند اتومبیل های خودران در حال برنامه ریزی مسیرهای مربوط به خود هستند که هر یک از آنها علایق متفاوتی دارند اما منحصر به فرد نیستند: هر خودرو مدت زمان لازم برای رسیدن به مقصد را به حداقل می رساند، اما همه خودروها دارای علاقه مشترکی برای اجتناب از برخورد ترافیک هستند. معضلات اجتماعی همانطور که در نظریه بازی ها , بسیاری از تحقیقات در MARL حول معضلات اجتماعی, مانند معضل زندانیان, مرغ و شکار گوزن می چرخد. در حالی که تحقیقات تئوری بازی ممکن است بر تعادل نش و اینکه یک سیاست ایدئال برای یک عامل می‌تواند باشد تمرکز کند، تحقیقات MARL بر چگونگی یادگیری این سیاست‌های ایدئال با استفاده از فرآیند آزمون و خطا تمرکز دارد. الگوریتم‌های یادگیری تقویتی که برای آموزش عوامل استفاده می‌شوند، پاداش خود عامل را به حداکثر می‌رسانند. تکنیک های مختلف به منظور القای همکاری در عوامل مورد بررسی قرار گرفته است: اصلاح قوانین محیطی, افزودن پاداش‌های درونی, و موارد دیگر. معضلات اجتماعی متوالی معضلات اجتماعی مانند معضل زندانی، شکار مرغ و گوزن «بازی‌های ماتریسی» هستند. هر عامل تنها یک اقدام را از بین دو اقدام ممکن انجام می‌دهد و یک ماتریس ساده 2x2 برای توصیف پاداشی که هر عامل با توجه به اقداماتی که هر عامل انجام می‌دهد، استفاده می‌شود. عوامل در طول زمان اقدامات متعددی را انجام می دهند و تمایز بین همکاری و نقص به اندازه بازی های ماتریس واضح نیست. | ## بخش 3: یادگیری تقویتی چندعاملی | مفهوم یک معضل اجتماعی متوالی در سال 2017 به عنوان تلاشی برای مدل سازی این پیچیدگی معرفی شد. تحقیقات مداومی برای تعریف انواع SSD ها و نشان دادن رفتار مشارکتی در عواملی که در آنها عمل می کنند وجود دارد. اتوکورریکول برنامه خودکار (جمع: برنامه های خودکار) یک مفهوم یادگیری تقویتی است که در آزمایش‌های چند عاملی برجسته است. حلقه بازخورد منجر به چندین مرحله مجزا از یادگیری می شود که هر کدام به مرحله قبلی بستگی دارد. برنامه‌های آموزشی خودکار به‌ویژه در محیط‌های متخاصم، که در آن هر گروه از عوامل برای مقابله با استراتژی فعلی گروه مقابل رقابت می‌کنند، آشکار است. در این تجربه، گروهی از جویندگان در حال رقابت با گروهی از مخفی کنندگان هستند.زمانی که یکی از گروه ها نقشه جدیدی را یاد می گیرد، گروه مقابل نقشه خود را برای ارائه بهترین ضد ممکن تطبیق می دهد. زمانی که مخفی کنندگان یاد می‌گیرند که از جعبه‌ها برای درست کردن پناهگاه استفاده کنند، جویندگان با یادگیری استفاده از سطح شیب دار برای نفوذ به آن پناهگاه پاسخ می‌دهند. مخفی کننده‌ها با قفل کردن رمپ‌ها پاسخ می‌دهند و آن‌ها را برای استفاده جویندگان از دسترس خارج می‌کنند. سپس جویندگان با «گشت‌سواری در جعبه» پاسخ می‌دهند و از یک نقص در بازی برای نفوذ به پناهگاه سوء استفاده می‌کنند. برنامه های خودکار در تجربیات یادگیری تقویتی با مراحل مقایسه می شوند تکامل زندگی روی زمین و توسعه فرهنگ انسانی. یک مرحله مهم در تکامل 2-3 میلیارد سال پیش اتفاق افتاد اشکال زندگی فتوسنتز کننده شروع به تولید مقادیر عظیم از اکسیژن, تغییر تعادل گازها در جو. در مراحل بعدی تکامل, اشکال زندگی اکسیژن تنفس تکامل یافته, در نهایت منجر به زمین پستانداران و انسان است. این مراحل بعد تنها پس از مرحله فتوسنتز اکسیژن به طور گسترده ای در دسترس ساخته شده اتفاق می افتد. محدودیت ها بعضی از مشکل های ذاتی در مورد یادگیری تقویت عمیق چند عاملی وجود دارد. | ## جمع‌بندی | محیط زیست است ساکن نیست, بنابراین املاک مارکوف نقض می شود: انتقال و پاداش تنها به وضعیت فعلی یک عامل بستگی ندارد.