ميوزيرو

تصغير
**ميوزيرو MuZero-** هو برنامج حاسوبي طورته شركة DeepMind، التابعة لشركة جوجل والمتخصصة في أبحاث الذكاء الاصطناعي، بهدف إتقان الألعاب دون معرفة قواعدها وآلياتها.    تضمن إصداره عام 2019م معايير لقياس أدائه في ألعاب غو Go والشطرنج والشوغي، بالإضافة إلى مجموعة من 57 لعبة مختلفة من ألعاب أتاري. تعتمد خوارزمية البرنامج على نهج مشابه لنهج ألفازيرو AlphaZero ، حيث يتم استخدام مزيج من البحث القائم على الشجرة ونموذج مُدرَّب. وقد حقق ميوزيرو أداءً مماثلاً لأداء ألفازيرو في الشطرنج والشوغي، وتفوق عليه في لعبة غو Go، كما تفوق على أحدث التقنيات في إتقان مجموعة من 57 لعبة من ألعاب أتاري (بيئة التعلم في صالات الألعاب)، وهي بيئة معقدة بصريًا.

تم تدريب برنامجميوزيرو من خلال اللعب الذاتي، دون الوصول إلى القواعد أو كتب الافتتاح أو قواعد بيانات نهاية اللعبة. استخدمت الخوارزمية المدربة نفس البنية الالتفافية والمتبقية المستخدمة في ألفازيرو، ولكن مع عدد خطوات حسابية أقل بنسبة 20% لكل عقدة في شجرة البحث. 

## تاريخ
يكتشف برنامج MuZero بنفسه كيفية بناء نموذج وفهمه انطلاقاً من المبادئ الأساسية.— ديفيد سيلفر، ديب مايند، *وايرد*

 في 19 نوفمبر 2019م، أصدر فريق ديب مايند نسخة أولية تقدم ميوزيرو.

### الاشتقاق من ألفا زيرو
يُعدّ ميوزيرو (MZ) مزيجًا من التخطيط عالي الأداء لخوارزمية ألفازيرو (AZ) مع أساليب التعلّم المعزز غير المعتمد على النماذج. يتيح هذا المزيج تدريبًا أكثر كفاءة في أنظمة التخطيط التقليدية، مثل لعبة غو Go، مع القدرة على التعامل مع مجالات ذات مدخلات أكثر تعقيدًا في كل مرحلة، مثل ألعاب الفيديو المرئية.

وتم اشتقاق ميوزيرو مباشرة من كود ألفازيرو، ويشترك معه في قواعد ضبط المعطيات الفائقة. تشمل الاختلافات بين النهجين ما يلي: 

* تعتمد عملية التخطيط في AZ على محاكاة. تعرف هذه المحاكاة قواعد اللعبة، ويجب برمجتها بشكل صريح. ثم تقوم شبكة عصبية بالتنبؤ بالسياسة وقيمة أي موقع مستقبلي. تُستخدم المعرفة التامة بقواعد اللعبة في نمذجة انتقالات الحالة في شجرة البحث، والإجراءات المتاحة عند كل عقدة، وإنهاء فرع من فروع الشجرة. أما MZ فلا تملك إمكانية الوصول إلى القواعد، بل تتعلمها باستخدام الشبكات العصبية.
* لدى AZ نموذج واحد للعبة (من حالة اللوحة إلى التنبؤات)؛ لدى MZ نماذج منفصلة *لتمثيل* الحالة الحالية (من حالة اللوحة إلى تضمينها الداخلي)، *وديناميكيات* الحالات (كيف تغير الإجراءات تمثيلات حالات اللوحة)، *والتنبؤ* بالسياسة وقيمة الموقف المستقبلي (بالنظر إلى تمثيل الحالة).
* قد يكون النموذج الخفي لـ MZ معقدًا، وقد يتبين أنه قادر على استضافة العمليات الحسابية؛ ويُعد استكشاف تفاصيل النموذج الخفي في نسخة مدربة من MZ موضوعًا يستحق الاستكشاف في المستقبل.
* لا تتوقع خوارزمية MZ لعبة ثنائية اللاعبين يفوز فيها الفائز بكل شيء. فهي تعمل مع سيناريوهات التعلم المعزز القياسية، بما في ذلك بيئات الوكيل الواحد مع مكافآت وسيطة مستمرة، قد تكون ذات قيمة عشوائية ومع خصم زمني. أما خوارزمية AZ فقد صُممت لألعاب ثنائية اللاعبين يمكن الفوز فيها أو التعادل أو الخسارة.

### مقارنة مع R2D2
في وقت سابق كانت أحدث التقنيات لتعلم لعب مجموعة ألعاب أتاري هي R2D2، وهي تقنية إعادة التشغيل المتكررة الموزعة DQN. 

وقد تفوق ميوزيرو على كل من متوسط أداء R2D2 ومتوسط أدائه في جميع الألعاب، على الرغم من أنه لم يكن أفضل في كل لعبة.

## التدريب والنتائج
استخدم ميوزيرو 16 وحدة معالجة تينسر من الجيل الثالث (TPUs) للتدريب، و1000 وحدة معالجة تينسر للعب الذاتي لألعاب الطاولة، مع 800 محاكاة لكل خطوة و8 وحدات معالجة تينسر للتدريب و32 وحدة معالجة تينسر للعب الذاتي لألعاب أتاري، مع 50 محاكاة لكل خطوة.

واستخدمت ألفا زيرو 64 وحدة معالجة من الجيل الثاني للتدريب، و5000 وحدة معالجة من الجيل الأول للعب الذاتي. ونظرًا لتحسن تصميم وحدات المعالجة (حيث أن رقائق الجيل الثالث أقوى بمرتين من رقائق الجيل الثاني، مع مزيد من التقدم في عرض النطاق الترددي والشبكات بين الرقائق في الوحدة)، فإن هذه الإعدادات التدريبية متقاربة.

وقد تم تدريب الروبوت R2D2 لمدة 5 أيام من خلال 2 مليون خطوة تدريبية.

### النتائج الأولية
حقق ميوزيرو أداءً مماثلاً لأداء ألفازيرو في الشطرنج والشوغي بعد حوالي مليون خطوة تدريبية. كما حقق أداءً مماثلاً لأداء AZ في لعبة غو بعد 500 ألف خطوة تدريبية، وتفوق عليه بمليون خطوة. وحقق أيضاً أداءً مماثلاً لأداء R2D2 المتوسط والوسيط في جميع ألعاب أتاري بعد 500 ألف خطوة تدريبية، وتفوق عليه بمليون خطوة، مع أنه لم يحقق أداءً جيداً في 6 ألعاب من هذه المجموعة.

## ردود الفعل والأعمال ذات الصلة
اعتُبرت ميوزيرو تطورًا هامًا مقارنةً بـألفازيرو، وخطوةً عامة نحو الأمام في تقنيات التعلم غير الخاضع للإشراف.   واعتُبر هذا العمل بمثابة تطوير لفهم كيفية بناء الأنظمة من مكونات أصغر، وهو تطوير على مستوى الأنظمة أكثر من كونه تطويرًا للتعلم الآلي البحت. 

وعلى الرغم من أن فريق التطوير لم ينشر سوى الشفرة الزائفة، غير أن فيرنر دوفود أنتج تطبيقًا مفتوح المصدر بناءً على ذلك. 

تم استخدام ميوزيرو بوصفه تطبيق مرجعي في أعمال أخرى، على سبيل المثال كوسيلة لتوليد سلوك قائم على النموذج. 

في أواخر عام 2021م، تم اقتراح نسخة أكثر كفاءة من برنامج ميوزيرو، أطلق عليها اسم EfficientZero. وقد حققت هذه النسخة "أداءً بشريًا متوسطًا بنسبة 194.3% وأداءً وسيطًا بنسبة 109.0% على معيار Atari 100k بعد ساعتين فقط من تجربة اللعب في الوقت الفعلي". 

وفي أوائل عام 2022م، تم اقتراح نسخة معدلة من ميوزيرو للعب الألعاب العشوائية (على سبيل المثال 2048، الطاولة)، تسمى Stochastic MuZero، والتي تستخدم ديناميكيات الحالة اللاحقة ورموز الاحتمالية لمراعاة الطبيعة العشوائية للبيئة عند تدريب شبكة الديناميكيات. 

## انظر أيضاً

* اللعب العام
* التعلم غير الخاضع للإشراف

## مراجع

## روابط خارجية

* النسخة الأولية من MuZero
* تطبيقات مفتوحة المصدر

تصنيف:برمجيات 2019
تصنيف:ألفا غو
تصنيف:تعلم الآلة التطبيقي