خليط الخبراء

**خليط الخبراء** أو **تَوْلِيفَة الخبراء** (**إم أو إي**) (بالإنجليزية: **Mixture of experts**) هو أسلوب التعلم الآلي حيث يتم استخدام شبكات الخبراء المتعددة (المتعلمين) لتقسيم مساحة المشكلة إلى مناطق متجانسة. وهو يختلف عن تقنيات المجموعة حيث أنه بالنسبة لأسلوب مزيج من الخبراء، عادةً ما يتم تشغيل نموذج واحد أو عدد قليل من نماذج الخبراء لكل مدخل، بينما في تقنيات المجموعة (أي التعلم الجماعي)، يتم تشغيل جميع النماذج على جميع المدخلات.

## النظرية الأساسية
يتكون خليط الخبراء دائمًا من المكونات التالية، ولكنها تنفذ وتدمج بطرائق مختلفة وفقا للمشكلة المراد حلها:

* **الخبراء** f_n, ..., f_1، يأخذ كل منهم الدخل x نفسه، وينتج المخرجات f_n(x), ..., f_1(x).
* **دالة التثقيل** (تعرف أيضا باسم **دالة التوجيه**) w، تأخذ الدخل x وتنتج متجهة من المخرجات (w(x)_n, ..., w(x)_1). قد يكون هذا توزيعا احتماليًا أو لا يكون، ولكن في كلتا الحالتين، تكون مدخلاته غير سالبة.
* \theta = (\theta_0, \theta_1, ..., \theta_n) هي مجموعة المُعاملات. المعامِل \theta_0 مخصص لدالة التثقيل. والمُعامِلات \theta_1, \dots, \theta_n مخصصة للخبراء.
* عند إعطاء دخل x، يُنتج **خليط الخبراء** مخرجا واحدا عبر دمج f_1(x), ..., f_n(x) وفقًا للأوزان w(x)_1, ..., w(x)_n بطريقة ما، وعادة ما تكون عبر الدالة التالية: f(x) = \sum_i w(x)_i f_i(x).

يتم تدريب كل من الخبراء ودالة التثقيل عبر تدنية دالة خسارة محددة، ويتم ذلك عمومًا عبر الانحدار المتدرج. توجد حرية كبيرة في اختيار الشكل الدقيق للخبراء، ودالة التثقيل، ودالة الخسارة.

### شبكة ميتا-باي

**شبكة ميتا-باي**، التي أوردها هامبشاير ووايبل، تستخدم f(x) = \sum_i w(x)_i f_i(x) كمخرج. يُدرَّب النموذج عبر إجراء الانحدار المتدرج على متوسط مربع الخطأ L := \frac 1N \sum_k \|y_k - f(x_k)\|^2. يمكن للخبراء أن يكونوا أي دوال اختيارية.

في منشورهما الأصلي، كانا يحلان مشكلة تصنيف الصوتيات في إشارة كلامية لستة متحدثين يابانيين مختلفين، سيدتان وأربعة رجال. قاما بتدريب 6 خبراء، كل منهم عبارة عن "شبكة عصبية ذات تأخير زمني" (وهي بالأساس شبكة التفافية متعددة الطبقات فوق
).
وجدا أن خليط الخبراء الناتج خصص 5 خبراء لخمسة من المتحدثين، لكن المتحدث السادس (رجل) لم يحظ بخبير مخصص له، وبدلا من ذلك، صُنِّف صوته عبر توليفة خطية من الخبراء المخصصين للمتحدثين الرجال الثلاثة الآخرين.

### خليط الخبراء المحليين التكييفي

يستخدم **خليط الخبراء المحليين التكييفي**  نموذج الخليط الغاوسي. يتنبأ كل خبير ببساطة بتوزيع غاوسي، ويتجاهل الدخل تماما. تحديدا، يتنبأ الخبير رقم i بأن المخرج هو y \sim N(\mu_i, I)، حيث \mu_i هي معامل قابل للتعلم.

دالة التثقيل هي دالة خطي-سوفت ماكس:
w(x)_i = \frac{e^{k_i^T x + b_i}}{\sum_j e^{k_j^T x + b_j}}

يتنبأ خليط الخبراء بأن المخرج مُوزَّع وفقا لـ دالة كثافة الاحتمال اللوغاريتمية:
\ln f_\theta(y|x) 
= \ln\left[\sum_i \frac{e^{k_i^T x + b_i}}{\sum_j e^{k_j^T x + b_j}} N(y | \mu_i, I)\right] 
= \ln\left[(2\pi)^{-d/2} \sum_i \frac{e^{k_i^T x + b_i}}{\sum_j e^{k_j^T x + b_j}} e^{-\frac 12 \|y-\mu_i\|^2}\right]

يُدرَّب (النموذج) عبر تقدير الإمكان الأقصى، أي، التصاعد المتدرج على f(y|x). التدرج للخبير i هو:
\nabla_{\mu_i} \ln f_\theta(y|x) = 
\frac{w(x)_i N(y|\mu_i, I)}{\sum_j w(x)_j N(y|\mu_j, I)}\; (y-\mu_i) 

والتدرج لدالة التثقيل هو:
\nabla_{[k_i, b_i]}\ln f_\theta(y|x) = \begin{bmatrix}x\\ 1\end{bmatrix} \frac{w(x)_i}{\sum_j w(x)_j N(y|\mu_j, I)} 
(f_{i}(x)- f_\theta(y|x))

لكل زوج دخل-خرج (x, y)، تُعدَّل دالة التثقيل لزيادة الوزن المعطى لجميع الخبراء الذين كان أداؤهم أعلى من المتوسط، وتقليل الوزن المعطى للخبراء الذين كان أداؤهم أدنى من المتوسط. وهذا يحفز دالة التثقيل على تعلم انتقاء الخبراء الذين يقدمون التنبؤات الصحيحة لكل دخل فقط.

يُعدَل الخبير درجة i ليجعل تنبؤه أقرب إلى y، ولكن مقدار التغيير يتناسب طرديا مع w(x)_i N(y|\mu_i, I). لهذا الأمر تفسير بايزي. عند إعطاء الدخل x، فإن الاحتمال المسبق لكون الخبير i هو الخبير الصحيح هو w(x)_i، وتُمثِّل N(y|\mu_i, I) دالة الإمكان للدليل y. وعليه، فإن \frac{w(x)_i N(y|\mu_i, I)}{\sum_j w(x)_j N(y|\mu_j, I)} هو الاحتمال البعدي للخبير i، وبذلك يكون معدل التغير للخبير i متناسبا مع احتماله البعدي.

بعبارة أخرى، يُطلَب من الخبراء الذين يتبين (بعد تقييم النتيجة) أنهم كانوا الخيار الجيد للاستشارة، أن يتعلموا من المثال. أما الخبراء الذين يتبين أنهم لم يكونوا كذلك، فيتركون دون تعديل.

الأثر المشترك هو أن الخبراء يصبحون متخصصين: لنفترض أن خبيرين كلاهما جيد في التنبؤ بنوع معين من الدخل، ولكن أحدهما أفضل بقليل، ستتعلم دالة التثقيل في نهاية المطاف تفضيل الخبير الأفضل. وبعد حدوث ذلك، يعجز الخبير الأقل جودة عن الحصول على إشارة تدرج عالية، ويصبح أداؤه أسوأ في التنبؤ بهذا النوع من الدخل. وعلى العكس من ذلك، يمكن للخبير الأقل جودة أن يصبح أفضل في التنبؤ بأنواع أخرى من الدخل، وينجذب تدريجيا نحو منطقة أخرى. لهذا تأثير تغذية راجعة إيجابية، مما يدفع كل خبير للابتعاد عن الآخرين والتكفل بمنطقة محلية بمفرده (ومن هنا جاءت تسمية "الخبراء *المحليين*").

### خليط الخبراء الهرمي
**خليط الخبراء الهرمي** يستخدم مستويات متعددة من التوجيه في بنية شجرية. كل عملية توجيه هي توزيع احتمالي على المستوى التالي من التوجيهات، ويتواجد الخبراء على "العقد" الورقية للشجرة. هذا الخليط يشبه أشجار القرار.

على سبيل المثال، خليط خبراء هرمي ذو مستويين سيكون لديه دالة توجيه من الرتبة الأولى w_i، ودوال توجيه من الرتبة الثانية w_{j|i}، وخبراء f_{j|i}. ويكون التنبؤ الإجمالي حينها \sum_i w_i(x) \sum_j w_{j|i}(x) f_{j|i}(x).

### صيغ مختلفة
خليط الخبراء، لكونه مشابهًا لنموذج الخليط الغاوسي، يمكن أيضا تدريبه باستخدام خوارزمية تعظيم التوقع، تماما مثل نماذج الخليط الغاوسي.

تحديدا، خلال خطوة التوقع، يُسنَد "عبء" تفسير كل نقطة بيانات إلى الخبراء، وخلال خطوة التعظيم، يُدرَّب الخبراء على تحسين التفسيرات التي حصلوا على عبء عال بشأنها، بينما تُدرَّب (دالة) التوجيه على تحسين إسنادها للعبء. يمكن أن يتقارب هذا بشكل أسرع من التصاعد المتدرج على (دالة) الإمكان اللوغاريتمي.

عادة ما يكون اختيار دالة التوجيه هو الدالة الأسية المُطبَّعة (دالة سوفت ماكس). بخلاف ذلك، قد يستخدم التوجيه التوزيعات الغاوسية و
.

بدلا من إجراء جمع مُثقَّل لجميع الخبراء، في *خليط الخبراء الصارم* (Hard MoE)، يتم اختيار الخبير الأعلى تصنيفا فقط. أي أن، f(x) = f_{\arg\max_i w_i(x)}(x). يمكن لهذا تسريع وقت التدريب والاستدلال.

يمكن للخبراء استخدام أشكال أعم من توزيعات غاوسية متعددة المتغيرات. على سبيل المثال، اقترح (جوردان وجاكوبس) f_i(y|x) = N(y | A_i x + b_i, \Sigma_i)، حيث A_i, b_i, \Sigma_i هي معاملات قابلة للتعلم. بعبارة أخرى، يتعلم كل خبير إجراء الانحدار الخطي، مع تقدير ارتياب قابل للتعلم.

يمكن للمرء استخدام خبراء مختلفين عن التوزيعات الغاوسية. على سبيل المثال، يمكن استخدام توزيع لابلاس، أو توزيع ستيودنت الاحتمالي. وبالنسبة ل التصنيف الثنائي، اقتُرِح أيضا خبراء الانحدار اللوجستي، مع:
f_i(y|x) = \begin{cases}
\frac{1}{1+e^{\beta_i^T x + \beta_{i,0}}}, & y = 0 \\
1-\frac{1}{1+e^{\beta_i^T x + \beta_{i,0}}}, & y= 1
\end{cases}    
حيث \beta_{i}, \beta_{i, 0}     هي معاملات قابلة للتعلم. عُمم هذا لاحقا للتصنيف متعدد الفئات، مع خبراء .

اقترحت إحدى الأوراق البحثية **خليط [[دالة سوفت ماكس|السوفت ماكس]]** لنمذجة اللغة ذاتية الانحدار. تحديدا، لننظر في نموذج لغوي يتنبأ بالكلمة التالية x عند إعطائه نصا سابقا c. تُرمِّز الشبكة النص إلى مُتَّجِه v_c، وتتنبأ بالتوزيع الاحتمالي للكلمة التالية كـ \mathrm{Softmax}( v_c W ) لمصفوفة تضمين W.

في خليط السوفت ماكس، يخرج النموذج متجِهات متعددة v_{c, 1}, \dots, v_{c, n}، ويتنبأ بالكلمة التالية كالعلاقة التالية \sum_{i=1}^n p_i \; \mathrm{Softmax}( v_{c,i} W_i ) ، حيث p_i  هي توزيع احتمالي ناتج عن عملية "خطي-سوفت ماكس" تجرى على تنشيطات العصبونات الخفية داخل النموذج.

أظهرت الورقة الأصلية فعالية هذا النهج لـلشبكات العصبية التكرارية. ووجد لاحقا أنه يعمل مع المحولات أيضا.

## مراجع

تصنيف:ذكاء اصطناعي
تصنيف:تعلم الآلة