اوپن‌ای‌آی فایو
نحوه کارکرد

OpenAI Five به واسطه یک تکنیک یادگیری ماشین یعنی یادگیری تقویتی آموزش داده شده‌است. یادگیری تقویتی به این شکل است که مدل از طریق سعی و خطا و بازخوردی که از کنش‌ها و تجربه‌های خود کسب می‌کند، آموزش می‌بیند. یک سیستم یادگیری تقویتی به شکل زیر است:
عامل: واحد قابل کنترل که می‌تواند کنش‌های خاصی را انجام دهد.
کنش: مجموعه ای از کنش‌ها که می‌تواند انجام شود.
محیط: دنیای فیزیکی بازی
حالت: وضعیت فعلی که توسط عامل مشاهده می‌شود.
پاداش: بازخوردی که از محیط دریافت می‌شود. مثبت به معنای پاداش و منفی به معنای مجازات است.
انواع پاداش:
صفر و یک: به خروجی‌هایی که به صورت «من بردم» یا «تو باختی» گفته می‌شود. مجموع خروجی نهایی صفر خواهد بود. برای مثال اگر یک برج (از ۹ برجی که داخل بازی وجود دارد) توسط تیم حریف نابود شود، تیم حریف ۱ امتیاز بدست آورده و تیم دیگر ۱ امتیاز از دست خواهد داد.
پاداش تیمی: از آنجایی که بازی Dota یک بازی تیمی است، برای پیروز شدن نیازمند همکاری و کار تیمی هست. به همین دلیل یک معیار ارزیابی مبتنی بر کار تیمی در بازی وجود دارد که هر عامل توسط وضعیت باقی عامل‌ها نیز سنجیده می‌شود. این کار باعث می‌شود تا هر عامل وضعیت هم تیمی‌های خود را نیز در نظر بگیرد و سپس کنش خود را انجام دهد. برای مثال اگر در یک درگیری تیمی، یک عامل انتخاب این را داشته باشد که یار خود را نجات دهد یا به قهرمان حریف حمله کند، ترجیح خواهد داد یار خود را نجات دهد.
پاداش بر اساس زمان: بازی Dota بر اساس زمانی به ۳ زمان تقسیم می‌شود: اول بازی، وسط بازی و آخر بازی. در هر یک از بازه‌های زمانی عامل‌ها نوع خاصی از تاکتیک‌ها را برمی‌گزینند؛ مثلاً در آخر بازی، همه قهرمان‌ها قوی تر شده و قابلیت‌های بیشتری به دست آورده‌اند. به همین دلیل در آخر بازی بازیکننان ترجیح می‌دهند تا با هم درگیر شوند و برج‌های همدیگر را تخریب کنند. از طرفی به این دلیل که بازیکن‌ها در اول بازی ضعیف هستند، پاداش بیشتری به ازای تخریب برج‌ها و کشتن قهرمان‌های حریف بدست می‌آورند. این باعث می‌شود که عامل‌ها بتوانند استراتژی‌های خود را بر اساس زمان بازی اولویت بندی کنند و با توجه به زمان، استراتژی بهینه را انتخاب کنند.
نکتهٔ مهمی که در اینجا وجود دارد این است که برای مسائلی که در آن‌ها بیشترین سود در کوتاه مدت تضمین کنندهٔ بیشترین سود در دراز مدت نیست بسیار مناسب است. دلیل وجود این برتری در روش یادگیری تقویتی نیز این است که عامل در هر مرحله لزوماً بهترین راه را انتخاب نمی‌کند و در نهایت هم سعی دارد مجموع پاداش. این روش به شکل موفقیت‌آمیزی بر روی مسائل مختلفی نظیر: کنترل ربات‌ها، برنامه‌ریزی آسانسورها، مخابرات، تخته نرد، چکرز(Sutton and Barto 1998, Chapter 11) و بازی گو (آلفاگو) استفاده شده‌است.
دو عامل مهم هستند که باعث برتری این روش می‌شوند: استفاده از نمونه‌ها برای بهینه‌سازی کارایی و استفاده از تخمین توابع برای تعامل با محیط‌های پیچیده در هریک از حالات زیر:
برای مسئله یک مدل وجود دارد اما راه حل تحلیلی‌ای وجود ندارد.
فقط یک محیط شبیه‌سازی شده از مسئله در دسترس است (موضوع بحث بهینه‌سازی بر مبنای شبیه‌سازی)
هنگامی که تنها راه برای به دست آوردن اطلاعات از محیط تعامل با آن باشد.
دو حالت اول را می‌توان تحت عنوان مسائل برنامه‌ریزی بررسی کرد. (با توجه به این که مدل‌هایی از مسئله موجود است)، در حالی که سومی را باید به عنوان یک مسئلهٔ یادگیری صرف در نظر گرفت. در هر حال در چهارچوب یادگیری نیروافزوده هر سه مسئله به یک مسئلهٔ یادگیری ماشین تبدیل می‌شوند.
OpenAI Five جوری آموزش دیده‌است که پاداش بلند مدت را بیشینه کند و نگاه کوتاه مدت ندارد. آخرین مدل، پاداش‌های آینده را با نیمه عمر ۵ دقیقه ای ارزش گذاری می‌کند.