أوبن إيه آي فايف

أوبن أيه آي فايف OpenAI Five- هو برنامج حاسوبي من تطوير OpenAI، مصمم للتعامل مع لعبة الفيديو دوتا Dota 2 بخمسة لاعبين ضد خمسة. وقد ظهر البرنامج لأول مرة بشكل علني عام 2017م، حيث تم عرضه في مباراة فردية مباشرة ضد اللاعب المحترف Dendi، الذي خسر أمامه. وفي العام التالي، تطور النظام ليصبح قادرًا على اللعب كفريق كامل من خمسة لاعبين، وبدأ بمواجهة فرق محترفة وإظهار قدرته على هزيمتها.

ومن خلال اختيار لعبة معقدة مثل Dota 2 لدراسة التعلم الآلي، اعتقدت OpenAI أنها ستتمكن من محاكاة عدم القدرة على التنبؤ والاستمرارية الموجودة في العالم الحقيقي بدقة أكبر، وبالتالي بناء أنظمة أكثر عمومية لحل المشكلات. وقد استُخدمت الخوارزميات والبرمجيات التي استخدمها OpenAI Five لاحقًا في شبكة عصبية أخرى كانت الشركة تُطوّرها، والتي كانت تتحكم بيد روبوتية مادية. وقد تمت مقارنة OpenAI Five بحالات أخرى مماثلة للذكاء الاصطناعي الذي لعب ضد البشر وهزمهم، مثل AlphaStar في لعبة الفيديو StarCraft II، وAlphaGo في لعبة Go، و ديب بلو في الشطرنج، و الحاسوب واتسون في برنامج المسابقات التلفزيوني المحك.

 تاريخ 
بدأ تطوير الخوارزميات المستخدمة في الروبوتات في نوفمبر 2016م. وقد قررت OpenAI استخدام لعبة Dota 2، وهي لعبة فيديو تنافسية خماسية، كأساس لها نظرًا لشعبيتها على منصة البث المباشر Twitch، ودعمها الأصلي لنظام Linux، وتوفر واجهة برمجة تطبيقات (API) لها. قبل أن يصبح الفريق مكونًا من خمسة أفراد، عُرضت الروبوتات لأول مرة في بطولة The International 2017 في أغسطس، وهي البطولة السنوية الأبرز للعبة، حيث خسر اللاعب الأوكراني المحترف Dendi أمام روبوت OpenAI في مباراة فردية مباشرة. وبعد المباراة، أوضح المدير التقني جريج بروكمان أن الروبوت تعلم من خلال اللعب ضد نفسه لمدة أسبوعين في الوقت الفعلي، وأن برنامج التعلم هذا يمثل خطوة في اتجاه إنشاء برامج قادرة على التعامل مع مهام معقدة "مثل الجراحة". واستخدمت OpenAI منهجية تُسمى التعلم المعزز، حيث تتعلم الروبوتات بمرور الوقت من خلال اللعب ضد نفسها مئات المرات يوميًا لعدة أشهر، وتُكافأ على أفعال مثل قتل عدو وتدمير الأبراج.

وبحلول يونيو 2018م، تطورت قدرات الروبوتات لتلعب كفريق كامل مكون من خمسة لاعبين، واستطاعت هزيمة فرق من اللاعبين الهواة وشبه المحترفين. في بطولة The International 2018م، خاض فريق OpenAI Five مباراتين ضد فرق محترفة، إحداهما ضد فريق paiN Gaming البرازيلي، والأخرى ضد فريق من نخبة اللاعبين الصينيين السابقين. ورغم خسارة الروبوتات في المباراتين، اعتبرت OpenAI التجربة ناجحة، مشيرةً إلى أن اللعب ضد بعض أفضل لاعبي Dota 2 سمح لها بتحليل خوارزمياتها وتعديلها للمباريات القادمة. وكان آخر عرض علني للروبوتات في أبريل 2019م، حيث فازت في سلسلة من ثلاث مباريات ضد فريق OG، بطل نسخة The International 2018، في حدث مباشر في سان فرانسيسكو. كما أُقيم حدثٌ عبر الإنترنت لمدة أربعة أيام للعب ضدّ البرامج الآلية، وكان مفتوحًا للجمهور، في الشهر نفسه. حيث لعبت البرامج الآلية في ٤٢,٧٢٩ مباراة عامة، وفازت بنسبة ٩٩.٤٪ من إجمالي تلك المباريات.

 بنيان 
كل روبوت من روبوتات OpenAI Five عبارة عن شبكة عصبية تتكون من طبقة واحدة تضم 4096 وحدة  من نوع LSTM، تراقب حالة اللعبة الحالية المستخرجة من واجهة برمجة تطبيقات مطوري Dota. وتُنفذ الشبكة العصبية الإجراءات عبر العديد من رؤوس الإجراءات الممكنة (دون تدخل أي بيانات بشرية)، ولكل رأس دلالة محددة. على سبيل المثال، عدد الدورات الزمنية لتأخير إجراء ما، ونوع الإجراء المطلوب تحديده - إحداثيات X أو Y لهذا الإجراء في شبكة محيطة بالوحدة. وبالإضافة إلى ذلك، تُحسب رؤوس الإجراءات بشكل مستقل. يراقب نظام الذكاء الاصطناعي العالم كقائمة من 20,000 رقم، ويتخذ إجراءً من خلال تنفيذ قائمة من ثماني قيم تعداد. كما يختار إجراءات وأهدافًا مختلفة لفهم كيفية ترميز كل إجراء ومراقبة العالم.

تم تطوير OpenAI Five كنظام تدريب عام للتعلم المعزز على بنية "Rapid" التحتية. تتكون Rapid من طبقتين: الأولى تُشغّل آلاف الأجهزة وتساعدها على التواصل فيما بينها، والثانية تُشغّل البرمجيات. وبحلول عام 2018م، كان OpenAI Five قد لعب ما يُعادل 180 عامًا من الألعاب في مجال التعلم المعزز، مُشغّلاً على 256 وحدة معالجة رسومية و128,000 نواة معالجة مركزية،  باستخدام خوارزمية Proximal Policy Optimization، وهي طريقة تعتمد على تدرج السياسة.
+مخطط المقارنة روبوت OpenAI للمبارزات الفردية (2017) OpenAI Five (2018) وحدات المعالجة المركزية 60 ألف نواة معالجة مركزية على مايكروسوفت أزور 128000 نواة معالجة مركزية قابلة للمقاطعة على منصة جوجل السحابية (GCP) وحدات معالجة الرسومات 256 وحدة معالجة رسومية K80 على Azure 256 وحدة معالجة رسومية من طراز P100 على منصة جوجل السحابية الخبرة المكتسبة حوالي 300 سنة في اليوم حوالي 180 سنة في اليوم حجم الملاحظة حجمها حوالي 3.3 كيلوبايت حجمها حوالي 36.8 كيلوبايت عدد المشاهدات في الثانية الواحدة من اللعب 10 7.5 حجم الدفعة 8,388,608 مشاهدة 1,048,576 مشاهدة عدد الدفعات في الدقيقة حوالي 20 حوالي 60

 مقارنات مع أنظمة الذكاء الاصطناعي الأخرى للألعاب 
قبل ظهور OpenAI Five، استُخدمت وبنجاح أنظمة وتجارب أخرى للذكاء الاصطناعي في مواجهة البشر، مثل برنامج المحك مع الحاسوب واتسون، والشطرنج مع ديب بلو، ولعبة غو مع ألفا غو. وبالمقارنة مع الألعاب الأخرى التي استخدمت أنظمة الذكاء الاصطناعي للعب ضد لاعبين بشريين، تختلف لعبة Dota 2 كما هو موضح أدناه:

نظرة على المدى البعيد: تعمل الروبوتات بمعدل 30 إطارًا في الثانية لمدة مباراة متوسطة تبلغ 45 دقيقة، ما ينتج عنه 80,000 دورة لكل لعبة. يراقب برنامج OpenAI Five كل إطار رابع، مُولِّدًا 20,000 نقلة. للمقارنة، وتنتهي لعبة الشطرنج عادةً قبل 40 نقلة، بينما تنتهي لعبة غو قبل 150 نقلة.

حالة اللعبة التي تُرى جزئيًا: لا يستطيع اللاعبون وحلفاؤهم رؤية سوى الخريطة المحيطة بهم مباشرةً. أما باقي الخريطة فيُغطى بضباب الحرب الذي يُخفي وحدات الأعداء وتحركاتهم. لذا، تتطلب لعبة Dota 2 استنتاجات مبنية على هذه البيانات غير الكاملة، بالإضافة إلى توقع ما قد يفعله الخصم في الوقت نفسه. بالمقارنة، تُعتبر الشطرنج والجو "ألعابًا كاملة المعلومات"، إذ لا تُخفي أي عناصر عن اللاعب الخصم.

مساحة الحركة المستمرة: يمكن لكل شخصية قابلة للعب في لعبة Dota 2، والمعروفة باسم البطل، القيام بعشرات الحركات التي تستهدف إما وحدة أخرى أو موقعًا محددًا. يتيح مطورو OpenAI Five مساحة حركة تصل إلى 170,000 حركة ممكنة لكل بطل. وبدون احتساب الجوانب المستمرة للعبة، يوجد ما يقارب 1,000 حركة صالحة في كل دورة. للمقارنة، يبلغ متوسط عدد الحركات في الشطرنج 35 حركة، وفي لعبة Go 250 حركة.

مساحة مراقبة مستمرة: تُلعَب لعبة Dota 2 على خريطة كبيرة تضم عشرة أبطال، خمسة في كل فريق، بالإضافة إلى عشرات المباني ووحدات الشخصيات غير القابلة للعب (NPC). يراقب نظام OpenAI حالة اللعبة من خلال واجهة برمجة تطبيقات الروبوتات الخاصة بالمطورين، وذلك عبر 20,000 رقم تمثل جميع المعلومات التي يُسمح للإنسان بالوصول إليها. تُمثَّل رقعة الشطرنج بحوالي 70 قائمة، بينما تحتوي رقعة لعبة Go على حوالي 400 تعداد.

 استقبال 
حظيت روبوتات OpenAI Five بتقدير واسع من مجتمع الذكاء الاصطناعي والتكنولوجيا وألعاب الفيديو. ووصفها مؤسس مايكروسوفت، بيل غيتس، بأنها "إنجاز كبير"، إذ أن انتصاراتهم "تطلبت عملاً جماعياً وتعاوناً". وصرح بطل الشطرنج غاري كاسباروف، الذي خسر أمام روبوت ديب بلو عام 1997م، بأنه على الرغم من خسارتهم في بطولة The International 2018م، فإن هذه الروبوتات ستصل في النهاية "إلى القمة، وبشكل أسرع مما كان متوقعاً".

وفي حوار مع مجلة MIT Technology Review، اعتبر خبراء الذكاء الاصطناعي نظام OpenAI Five إنجازًا هامًا، مشيرين إلى أن لعبة Dota 2 "لعبة معقدة للغاية"، لذا فإن حتى الفوز على لاعبين غير محترفين يُعد إنجازًا مثيرًا للإعجاب. وكتبت مجلة PC Gamer أن انتصاراتهم على اللاعبين المحترفين تُعد حدثًا بارزًا في مجال تعلم الآلة. في المقابل، كتبت مجلة Motherboard أن الفوز كان "غشًا صريحًا" نظرًا لتبسيط قوائم الأبطال لدى كلا الفريقين، فضلًا عن منح الروبوتات وصولًا مباشرًا إلى واجهة برمجة التطبيقات (API)، بدلًا من استخدام الرؤية الحاسوبية لتفسير وحدات البكسل على الشاشة. وكتبت مجلة The Verge أن الروبوتات دليل على أن نهج الشركة في التعلم المعزز وفلسفتها العامة حول الذكاء الاصطناعي "يحققان إنجازات بارزة".

وفي عام ٢٠١٩م، كشفت شركة ديب مايند عن روبوت مشابه للعبة ستار كرافت ٢، وهو ألفا ستار. وكما هو الحال مع أوبن إيه آي فايف، استخدم ألفا ستار التعلم المعزز واللعب الذاتي. وذكر موقع ذا فيرج أن "الهدف من هذا النوع من أبحاث الذكاء الاصطناعي ليس مجرد سحق البشر في مختلف الألعاب لإثبات إمكانية ذلك، بل إثبات أنه - مع الوقت والجهد والموارد الكافية - يمكن لبرامج الذكاء الاصطناعي المتطورة أن تتفوق على البشر في أي تحدٍّ معرفي تنافسي تقريبًا، سواء أكانت لعبة لوحية أم لعبة فيديو حديثة". وأضاف الموقع أن انتصارات ديب مايند وأوبن إيه آي كانت أيضًا دليلًا على قوة بعض استخدامات التعلم المعزز.

كان أمل OpenAI أن تُستخدم هذه التقنية خارج النطاق الرقمي. في عام 2018م، تمكنوا من إعادة استخدام خوارزميات التعلم المعزز نفسها وشفرة التدريب من OpenAI Five لروبوت Dactyl، وهو يد روبوتية تُحاكي يد الإنسان مزودة بشبكة عصبية مصممة للتعامل مع الأجسام المادية. وفي عام 2019، تمكن Dactyl من حل مكعب روبيك.

 مراجع 

 روابط خارجية 




تصنيف:تعلم الآلة التطبيقي
تصنيف:الذكاء الاصطناعي في ألعاب الفيديو
تصنيف:أوبن أيه آي
تصنيف:تعلم بالتعزيز