المعطى الفائق (التعلم الآلي)

في تعلم الآلة، تُعد المعلمة الفائقة (Hyperparameter) هي معلمة يمكن ضبطها من أجل تحديد أي جزء قابل للتكوين من عملية تعلم النموذج. يمكن تصنيف المعلمات الفائقة إما كمعلمات فائقة للنموذج (مثل طوبولوجيا وحجم الشبكة العصبونية) أو معلمات فائقة للخوارزمية (مثل معدل التعلم وحجم الدفعة (batch size) في ). تُسمى هذه المعلمات "فائقة" (hyper) لتمييزها عن الـ معلمات العادية، وهي الخصائص التي يتعلمها النموذج من البيانات نفسها.

لا تتطلب جميع النماذج أو الخوارزميات معلمات فائقة؛ فبعض الخوارزميات البسيطة مثل انحدار المربعات الصغرى العادية لا تتطلب أيًا منها. ومع ذلك، تضيف خوارزمية  (LASSO)، على سبيل المثال، معلمة فائقة للتسوية (regularization) إلى المربعات الصغرى العادية، والتي يجب ضبطها قبل التدريب. وحتى النماذج والخوارزميات التي لا تفرض متطلبات صارمة لتحديد المعلمات الفائقة قد لا تعطي نتائج ذات معنى إذا لم يتم اختيار هذه المعلمات بعناية. ومع ذلك، ليس من السهل دائمًا التنبؤ بالقيم المثلى للمعلمات الفائقة؛ فقد لا يكون لبعضها تأثير ملموس، أو قد يعتمد متغير مهم واحد على قيمة متغير آخر. وغالبًا ما تكون هناك حاجة إلى عملية منفصلة تسمى ضبط المعلمات الفائقة للعثور على توليفة مناسبة للبيانات والمهمة المطلوبة.

بالإضافة إلى تحسين أداء النموذج، يمكن للباحثين استخدام المعلمات الفائقة لإضفاء المتانة وقابلية التكرار على أعمالهم، خاصة إذا كانت تستخدم نماذج تدمج توليد الأرقام العشوائية.

 اعتبارات 
يمكن أن يعتمد الوقت المطلوب لتدريب واختبار النموذج على اختيار معلماته الفائقة. وعادة ما تكون المعلمة الفائقة من النوع المستمر أو النوع الصحيح، مما يؤدي إلى ظهور مشكلات تحسين من النوع المختلط. كما أن وجود بعض المعلمات الفائقة يكون مشروطًا بقيمة معلمات أخرى، على سبيل المثال، يمكن أن يكون حجم كل طبقة مخفية في الشبكة العصبونية مشروطًا بعدد الطبقات.

 معلمات يصعب تعلمها 
عادة ما تكون دالة الهدف غير قابلة للاشتقاق بالنسبة للمعلمات الفائقة. ونتيجة لذلك، في معظم الحالات، لا يمكن تعلم المعلمات الفائقة باستخدام طرق التحسين القائمة على التدرج (مثل الانحدار المتدرج)، والتي تُستخدم عادةً لتعلم معلمات النموذج. هذه المعلمات الفائقة هي تلك المعلمات التي تصف تمثيل النموذج والتي لا يمكن تعلمها بطرق التحسين الشائعة، ولكنها مع ذلك تؤثر على دالة الخسارة. ومن الأمثلة على ذلك معلمة التسامح (tolerance) الفائقة للأخطاء في آلات المتجهات الداعمة.

 معلمات غير قابلة للتدريب 
أحيانًا، لا يمكن تعلم المعلمات الفائقة من بيانات التدريب لأنها تزيد بقوة من سعة النموذج ويمكن أن تدفع دالة الخسارة إلى حد أدنى غير مرغوب فيه (فرط التخصيص للبيانات)، بدلاً من رسم بنية البيانات الغنية بشكل صحيح. على سبيل المثال، إذا تعاملنا مع درجة المعادلة متعددة الحدود التي تناسب نموذج الانحدار كـ معلمة قابلة للتدريب، فإن الدرجة ستزداد حتى يتناسب النموذج تمامًا مع البيانات، مما يؤدي إلى خطأ تدريب منخفض، ولكن أداء تعميم سيء.

 قابلية الضبط 
يمكن عزو معظم التباين في الأداء إلى عدد قليل فقط من المعلمات الفائقة. وتُعد قابلية ضبط الخوارزمية، أو المعلمة الفائقة، أو المعلمات الفائقة المتفاعلة، مقياسًا لمقدار الأداء الذي يمكن اكتسابه عن طريق ضبطها. فبالنسبة لشبكة ذاكرة قصيرة المدى مطولة (LSTM)، بينما يعد معدل التعلم يليه حجم الشبكة من أهم معلماتها الفائقة، فإن تجميع الدفعات (batching) والزخم (momentum) ليس لهما تأثير كبير على أدائها.

على الرغم من أن بعض الأبحاث دعت إلى استخدام أحجام دفعات صغيرة (mini-batch sizes) بالآلاف، فقد وجدت أعمال أخرى أن أفضل أداء يكون مع أحجام دفعات تتراوح بين 2 و 32.

 المتانة 
إن العشوائية المتأصلة في التعلم تعني مباشرة أن الأداء التجريبي للمعلمة الفائقة ليس بالضرورة أداءها الحقيقي. والأساليب التي لا تتمتع بالمتانة تجاه التغييرات البسيطة في المعلمات الفائقة، أو البذور العشوائية، أو حتى التنفيذات المختلفة لنفس الخوارزمية، لا يمكن دمجها في أنظمة التحكم ذات المهام الحرجة دون تبسيط وتعزيز كبير للمتانة.

وتتطلب خوارزميات التعلم المعزز، على وجه الخصوص، قياس أدائها عبر عدد كبير من البذور العشوائية، وأيضًا قياس حساسيتها لخيارات المعلمات الفائقة. ذلك أن تقييمها بعدد صغير من البذور العشوائية لا يلتقط الأداء بشكل كافٍ بسبب التباين العالي. وبعض طرق التعلم المعزز، مثل DDPG (Deep Deterministic Policy Gradient)، أكثر حساسية لاختيارات المعلمات الفائقة من غيرها.

 التحسين 
يجد تحسين المعلمات الفائقة مجموعة (tuple) من المعلمات الفائقة التي تنتج نموذجًا مثاليًا يقلل من دالة الخسارة المحددة مسبقًا على بيانات اختبار معينة. تأخذ دالة الهدف مجموعة من المعلمات الفائقة وتعيد الخسارة المرتبطة بها. وعادةً لا تكون هذه الطرق قائمة على التدرج، وبدلاً من ذلك تطبق مفاهيم من  أو تحسين الصندوق الأسود.

 قابلية التكرار 
بصرف النظر عن ضبط المعلمات الفائقة، يتضمن تعلم الآلة تخزين وتنظيم المعلمات والنتائج، والتأكد من أنها قابلة للتكرار. في ظل غياب بنية تحتية قوية لهذا الغرض، غالبًا ما يتطور كود البحث بسرعة ويقوض الجوانب الأساسية مثل مسك الدفاتر وقابلية التكرار. وتذهب منصات التعاون عبر الإنترنت لتعلم الآلة إلى أبعد من ذلك من خلال السماح للعلماء بمشاركة وتنظيم ومناقشة التجارب والبيانات والخوارزميات تلقائيًا. ويمكن أن تكون قابلية التكرار صعبة بشكل خاص لنماذج التعلم العميق. على سبيل المثال، أظهرت الأبحاث أن نماذج التعلم العميق تعتمد بشكل كبير جدًا حتى على اختيار البذرة العشوائية لمولد الأرقام العشوائية.Bethard, S. (2022). We need to talk about random seeds. ArXiv, abs/2210.13393.

 انظر أيضا 
 ذكاء اصطناعي
 أزمة التكرار

 المراجع 

تصنيف:تعلم الآلة
تصنيف:ذكاء اصطناعي
تصنيف:علوم عصبية حاسوبية
تصنيف:تقنية افتراضية
تصنيف:رياضيات