ชุดข้อมูลฝึกฝน ตรวจสอบ และทดสอบ

งานทั่วไปในการเรียนรู้ของเครื่อง คือการศึกษาและสร้างขั้นตอนวิธี ที่สามารถเรียนรู้และคาดการณ์เกี่ยวกับข้อมูลได้ ขั้นตอนวิธีดังกล่าวทำงานโดยการสร้างแบบจำลองทางคณิตศาสตร์จากข้อมูลป้อนเข้าเพื่อคาดการณ์และตัดสินใจโดยใช้ข้อมูล ข้อมูลป้อนเข้าที่ใช้ในการสร้างแบบจำลองโดยทั่วไปจะแบ่งออกเป็นชุดข้อมูลหลายชุด โดยทั่วไปชุดข้อมูล 3 ชุด ได้แก่ ชุดข้อมูลฝึกฝน (training data set), ชุดข้อมูลตรวจสอบ (validation data set) และ ชุดข้อมูลทดสอบ (test data set) จะถูกใช้ในแต่ละขั้นตอนของการสร้างแบบจำลอง 

ขั้นแรกแบบจำลองจะทำการฝึกฝนเพื่อปรับค่าพารามิเตอร์ให้เหมาะที่สุดโดยใช้ ชุดข้อมูลการฝึกฝน ตัวอย่างเช่น แบบจำลองอย่างการจำแนกแบบเบส์อย่างง่ายได้รับการฝึกฝนโดยใช้เทคนิคการเรียนรู้แบบมีผู้สอน กับชุดข้อมูลการฝึกฝน ในทางปฏิบัติ ชุดข้อมูลฝึกฝนมักประกอบด้วยแถวลำดับของข้อมูลป้อนเข้า และค่าคำตอบที่ถูกต้องสำหรับค่าป้อนเข้านั้น (มักเรียกว่าเป็น "ฉลากกำกับ") ในกรณีนี้ แบบจำลองจะใช้ชุดข้อมูลฝึกฝนเพื่ออนุมานและสร้างผลลัพธ์แล้วนำมาเปรียบเทียบกับคำตอบจริงภาคพื้นดินสำหรับค่าป้อนเข้าแต่ละตัวในชุดข้อมูลการฝึก จากนั้นพารามิเตอร์ของแบบจำลองจะได้รับการปรับค่าโดยขึ้นอยู่กับผลการเปรียบเทียบ โดยวิธีการปรับค่าจะต่างกันไปขึ้นกับประเภทของขั้นตอนวิธีการเรียนรู้

จากนั้นแบบจำลองที่ผ่านการฝึกฝนแล้วจะถูกนำมาทำนายชุดข้อมูลชุดอีกชุด เรียกว่า ชุดข้อมูลตรวจสอบ ในขณะที่ปรับไฮเปอร์พารามิเตอร์ จะใช้ชุดข้อมูลการตรวจสอบเพื่อประเมินความเหมาะสมของแบบจำลองกับชุดข้อมูลการฝึกอย่างเป็นกลาง  ชุดข้อมูลการตรวจสอบยังมีประโยชน์สำหรับการทำให้เป็นระเบียบโดยการหยุดเร็ว

ในขั้นตอนสุดท้าย ชุดข้อมูลทดสอบ จะถูกนำมาใช้ในการประเมินความเหมาะสมของแบบจำลอง อย่างไรก็ตาม ชุดข้อมูลทดสอบก็อาจถูกเรียกว่าชุดข้อมูลตรวจสอบ โดยเฉพาะเมื่อชุดข้อมูลเดิมถุกแบ่งเป็นแค่ 2 ส่วนคือชุดข้อมูลฝึกฝนกับชุดข้อมูลตรวจสอบ (=ทดสอบ) ไม่ได้แยกชุดข้อมูลตรวจสอบกับชุดข้อมูลทดสอบ

การกำหนดสัดส่วนว่าจะแบ่งข้อมูลเป็นชุดฝึกฝน, ชุดตรวจสอบ และชุดทดสอบเท่าไหร่นั้นขึ้นอยู่กับปัญหาและข้อมูลที่มีอยู่

 อ้างอิง 

หมวดหมู่:สถิติศาสตร์
หมวดหมู่:ข้อมูลคอมพิวเตอร์
หมวดหมู่:การเรียนรู้ของเครื่อง