بيانات التدريب، التحقق والاختبار

في التعلم الآلي ، تعد دراسة وبناء الخوارزميات التي يمكن أن تتعلم من البيانات وتصدرها مهمة شائعة.  تعمل مثل هذه الخوارزميات عن طريق إجراء تنبؤات أو قرارات تستند إلى البيانات من خلال بناء نموذج رياضي من البيانات المدخلة.

عادةً ما تأتي البيانات المستخدمة لبناء النموذج النهائي من مجموعات بيانات متعددة. على وجه الخصوص ، يتم استخدام ثلاث مجموعات من البيانات بشكل شائع في المراحل المختلفة من إنشاء النموذج.

بيانات التدريب 
بيانات التدريب هي مجموعة بيانات من الأمثلة المستخدمة للتعلم ، وهي تناسب المتغيرات (مثل القيم) ، على سبيل المثال ، المصنف.

تميل معظم المقاربات التي تبحث من خلال بيانات التدريب عن العلاقات التجريبية إلى مناسبة البيانات ، بمعنى أنه يمكنها تحديد العلاقات الواضحة في بيانات التدريب التي لا تتم بشكل عام.

بيانات التحقق 
مجموعة بيانات التحقق عبارة عن مجموعة بيانات من الأمثلة المستخدمة لضبط بنية المتغيرات من المصنف. يسمى أحيانًا مجموعة التطوير . في الشبكات العصبية الاصطناعية ، تكون بنية المتغيرات hyperparameter ، على سبيل المثال ، عدد الوحدات المخفية.  يجب أن تتبع مجموعة الاختبار (كما ذكر أعلاه) نفس التوزيع الاحتمالي مثل مجموعة بيانات التدريب.

بيانات الاختبار 

مجموعة بيانات الاختبار هي مجموعة بيانات مستقلة عن مجموعة بيانات التدريب ، ولكنها تتبع نفس توزيع الاحتمالية كمجموعة بيانات تدريبية. إذا كان النموذج المناسب لمجموعة بيانات التدريب مناسبًا أيضًا لمجموعة بيانات الاختبار ، فقد حدث الحد الأدنى من المطابقة الزائدة (انظر الشكل أدناه). عادةً ما يشير التركيب الأفضل لمجموعات البيانات التدريبية بخلاف مجموعة بيانات الاختبار إلى المطابقة الزائد.
وبالتالي ، فإن مجموعة الاختبار هي مجموعة من الأمثلة المستخدمة فقط لتقييم الأداء (أي التعميم) لمصنف محدد بالكامل.

البيانات المعزولة 
ببساطة جزء من مجموعة البيانات الأصلية يمكن أن تكون جانبا و تستخدم كمجموعة الاختبار.

المراجع 

تعلم الآلة