موضوع مقاله: اوپن‌ای‌آی فایو | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # اوپن‌ای‌آی فایو | مقدمه: در همان سال این هوش مصنوعی به گونه ای توسعه یافت که بتواند یک تیم کامل ۵ نفره را هدایت کند. | ## بخش 1: اوپن‌ای‌آی فایو | سپس شروع به رقابت در مقابل تیم‌های حرفه ای کرد و قابلیت خود را برای شکست دادن آن‌ها را نمایان کرد. شرکت OpenAI با این هدف به سراغ توسعه این هوش مصنوعی رفت تا نشان دهد که یادگیری ماشین می‌تواند در بازی پیچیده‌ای چون Dota 2 نیز عملکرد خوبی داشته باشد. این مورد خود لازم تصمیم‌گیری در شرایط عدم قطعیت و اعمال اکشن‌های پیوسته بر خلاف گسسته‌است. در دنیای واقعی اکثر تصمیمات پیوسته هستند و در شرایطی تصمیمات گرفته می‌شوند که عدم قطعیت و اطلاعات ناقص وجود دارد. این هوش مصنوعی با این ایده که در آینده یادگیری ماشین بتواند مسئله‌ها را به‌طور کلی تری حل کند توسعه یافت. این شرکت به دلایلی همچون محبوبیت بالای این بازی، پشتیبانی از لینوکس و وجود واسط برنامه‌نویسی کاربردی‌های قابل توسعه، بازی Dota 2 که یک بازی رقابتی ۱۰ نفره است را انتخاب کرد. همچنین وی خاطرنشان کرد که این هوش مصنوعی قدمی رو به جلو در سوی ساختن هوش مصنوعی‌هایی برای انجام دادن فعالیت‌های فوق پیشرفته نظیر جراحی بر روی انسان است. بدین معنا که این هوش مصنوعی از طریق هزاران بازی در طی روز با خود، به مرور زمان یادمی‌گیرد که بازی اش را ارتقا بخشد. در تاریخ ژوئن ۲۰۱۸ این هوش مصنوعی قادر گردید که یک تیم کامل ۵ نفره از هوش مصنوعی‌ها را هدایت کند. با وجود باخت در هر دو بازی، این هوش مصنوعی نمونه یک هوش مصنوعی موفق از دید تحلیلگران شمرده شد و بسیاری از تحلیلگران معتقد بودند که این هوش مصنوعی به آن‌ها این قابلیت را می‌دهد که استراتژی‌های پنهان و موفقی را از این هوش مصنوعی یاد بگیرند. همچنین شرکت OpenAI اقدام به برگزاری رویدادی ۴ روزه کرد که طی آن بازیکنان مختلف از سرتاسر جهان می‌توانستند به رقابت در مقابل این هوش مصنوعی بپردازند. در طی این ۴ روز OpenAI Five از ۴۲۷۲۹ بازی که انجام داد موفق شد ۹۰٫۴۳٪ از بازی‌ها را برنده شود که آمار بسیار موفقی به‌شمار می‌آید. یادگیری تقویتی به این شکل است که مدل از طریق سعی و خطا و بازخوردی که از کنش‌ها و تجربه‌های خود کسب می‌کند، آموزش می‌بیند. انواع پاداش: صفر و یک: به خروجی‌هایی که به صورت «من بردم» یا «تو باختی» گفته می‌شود. برای مثال اگر یک برج (از ۹ برجی که داخل بازی وجود دارد) توسط تیم حریف نابود شود، تیم حریف ۱ امتیاز بدست آورده و تیم دیگر ۱ امتیاز از دست خواهد داد. پاداش تیمی: از آنجایی که بازی Dota یک بازی تیمی است، برای پیروز شدن نیازمند همکاری و کار تیمی هست. به همین دلیل یک معیار ارزیابی مبتنی بر کار تیمی در بازی وجود دارد که هر عامل توسط وضعیت باقی عامل‌ها نیز سنجیده می‌شود. این کار باعث می‌شود تا هر عامل وضعیت هم تیمی‌های خود را نیز در نظر بگیرد و سپس کنش خود را انجام دهد. | ## بخش 2: اوپن‌ای‌آی فایو | برای مثال اگر در یک درگیری تیمی، یک عامل انتخاب این را داشته باشد که یار خود را نجات دهد یا به قهرمان حریف حمله کند، ترجیح خواهد داد یار خود را نجات دهد. پاداش بر اساس زمان: بازی Dota بر اساس زمانی به ۳ زمان تقسیم می‌شود: اول بازی، وسط بازی و آخر بازی. در هر یک از بازه‌های زمانی عامل‌ها نوع خاصی از تاکتیک‌ها را برمی‌گزینند؛ مثلاً در آخر بازی، همه قهرمان‌ها قوی تر شده و قابلیت‌های بیشتری به دست آورده‌اند. به همین دلیل در آخر بازی بازیکننان ترجیح می‌دهند تا با هم درگیر شوند و برج‌های همدیگر را تخریب کنند. از طرفی به این دلیل که بازیکن‌ها در اول بازی ضعیف هستند، پاداش بیشتری به ازای تخریب برج‌ها و کشتن قهرمان‌های حریف بدست می‌آورند. این باعث می‌شود که عامل‌ها بتوانند استراتژی‌های خود را بر اساس زمان بازی اولویت بندی کنند و با توجه به زمان، استراتژی بهینه را انتخاب کنند. نکتهٔ مهمی که در اینجا وجود دارد این است که برای مسائلی که در آن‌ها بیشترین سود در کوتاه مدت تضمین کنندهٔ بیشترین سود در دراز مدت نیست بسیار مناسب است. دلیل وجود این برتری در روش یادگیری تقویتی نیز این است که عامل در هر مرحله لزوماً بهترین راه را انتخاب نمی‌کند و در نهایت هم سعی دارد مجموع پاداش. دو عامل مهم هستند که باعث برتری این روش می‌شوند: استفاده از نمونه‌ها برای بهینه‌سازی کارایی و استفاده از تخمین توابع برای تعامل با محیط‌های پیچیده در هریک از حالات زیر: برای مسئله یک مدل وجود دارد اما راه حل تحلیلی‌ای وجود ندارد. فقط یک محیط شبیه‌سازی شده از مسئله در دسترس است (موضوع بحث بهینه‌سازی بر مبنای شبیه‌سازی) هنگامی که تنها راه برای به دست آوردن اطلاعات از محیط تعامل با آن باشد. (با توجه به این که مدل‌هایی از مسئله موجود است)، در حالی که سومی را باید به عنوان یک مسئلهٔ یادگیری صرف در نظر گرفت. در هر حال در چهارچوب یادگیری نیروافزوده هر سه مسئله به یک مسئلهٔ یادگیری ماشین تبدیل می‌شوند. یادگیری به واسطه بازی کردن با خود یکی از بزرگ‌ترین مشکلاتی که متوجه این سیستم است، این است که چگونه OpenAI Five می‌خواهد داده‌های لازم برای آموزش دادن این مدل را فراهم کند؟ این مکانیزم مدل را قادر می‌سازد تا بدون اینکه نیازمند داده‌های حجیمی از جانب انسان‌ها باشد، خودش به طریق بازی کردن با خود، آموزش ببیند و یاد بگیرد چگونه خود را شکست دهد. در ابتدای پروسه یادگیری، عامل‌ها بی هدف در اطراف نقشه بازی می‌چرخیدند و همدیگر را می‌زدند. OpenAI از ۲۵۶ کارت گرافیک P100 استفاده کرده‌است برای هر عامل که می‌تواند ۱۸۰ سال بازی را در هر روز انجام دهد. هرکدام از این ربات‌ها یک شبکه عصبی یک لایه ۴۰۹۶ واحدی از حافظه طولانی کوتاه-مدت را دارند. برای مثال Action Headهای داریم برای اینکه کدام کنش را از میان کنش‌های ممکن انجام بدهد، چند واحد زمانی کنش خود را به تأخیر بندازد یا کدام مختصات را برای حرکت انتخاب کند و … هرکدام از این سرکنش‌ها به صورت مستقل محاسبه می‌شوند. | ## بخش 3: اوپن‌ای‌آی فایو | این سامانه هوش مصنوعی دنیای بازی را به صورتی لیستی از ۲۰۰۰۰ عدد می‌بیند و کنش خود را استفاده از یک لیست ۸ مقداره انجام می‌دهد. همچنین این هوش مصنوعی کنش‌ها و هدف‌های مختلفی را انتخاب می‌کند تا بفهمد که چگونه می‌تواند هر کنش را بر اساس مشاهده اش از جهان بازی کدگذاری کند. زیرساخت Rapid شامال دو لایه است: لایه اول وظیفه دارد تا هزاران ماشینی که وجود دارند را به هم متصل کند تا بتوانند با هم اطلاعات رد و بدل کنند و لایه دوم نیز نرم‌افزار را اجرا می‌کند. دید بلند مدت: ربات‌ها در ۳۰ فریم بر ثانیه برای هر بازی که به‌طور متوسط ۴۵ دقیقه طول می‌کشد اجرا می‌شوند. برای مقایسه شطرنج معمولاً در کمتر از ۴۰ حرکت و بازی گو در کمتر از ۱۵۰ حرکت تمام می‌شود. دید جزئی از حالت بازی: هر بازیکن و هم تیمی‌هایش فقط بخش‌هایی از نقشه که در محدوده دیدشان هست را می‌توانند مشاهده کنند و بقیه نقشه توسط مه احاطه شده‌است که دشمنان و حرکت‌هایشان را مخفی نگه می‌دارد. به همین دلیل بازی کردن Dota 2 نیازمند نتیجه‌گیری و تصمیم‌گیری بر اساس اطلاعات ناقص است و از طرفی باید حرکات و کنش‌های دشمنان را نیز همزمان پیش‌بینی کرد. به عنوان مثال شطرنج و Go دو بازی هستند که هردو تمام اطلاعات بازی در اختیار هر دو بازیکن است. فضای کنش پیوسته: هر کاراکتر در Dota 2 که به آن قهرمان گفته می‌شود می‌تواند کنش‌های مختلفی در بازی داشته باشد. در این بازی برای هر قهرمان فضای کنشمان شامل ۱۷۰۰۰۰ کنش به ازای هر قهرمان می‌باشد. فضای مشاهده پیوسته: بازی Dota 2 در یک نقشه بزرگ با ۱۰ بازیکن بازی می‌شود که در هر تیم ۵ بازیکن وجود دارد و چندین ساختمان و موجود غیرقابل کنترل نیز موجود هست. این‌ها اطلاعاتی هستند که هر انسان زمانی که بازی می‌کند می‌تواند به آن دسترسی داشته باشد. برای مثال بیل گیتس مؤسس شرکت مایکروسافت آن را یک «قضیه مهم» خواند زیرا پیروزی در این بازی «نیازمند کار تیمی و همکاری است». با توجه به اینکه Dota 2 یک «بازی بسیار پیچیده» است، حتی شکست دادن بازیکنان غیرحرفه ای نیز تحسین‌برانگیز است. نشریه پی‌سی گیمر نیز نوشت که پیروزی آن‌ها مقابل بازیکنان حرفه‌ها یک رویداد قابل توجه در یادگیری ماشین است. در مقابل نشریه Motherboard نوشت که پیروزی آن‌ها «رسما تقلب» بوده‌است زیرا ربات‌ها دسترسی مستقیم به API بازی دارند به جای اینکه از طریق بینایی کامپیوتر و تفسیر پیکسل‌های بازی اطلاعات خود را کسب کنند. شرکت OpenAI امید دارد که این تکنولوژی کاربردی‌های خارج از دنیای دیجیتال نیز داشته باشد. | ## جمع‌بندی | Dactyl یک دست رباتی است که با استفاده از شبکه عصبی ساخته شده‌است تا بتواند با اشیای فیزیکی تعامل داشته باشد.