Grupi i të dhënave të trajnimit, vlefshmërisë dhe testimit

Në mësimin makinerik, një detyrë e zakonshme është studimi dhe konstruktimi i algoritmeve që mund të mësojnë nga të dhënat dhe të bëjnë parashikime bazuar në to. Algoritmet e tilla funksionojnë duke bërë parashikime ose vendime të cilat janë të bazuara në të dhëna, nëpermjet ndërtimit të një modeli matematikor nga të dhënat hyrëse. Këto të dhëna hyrëse përdoren për të ndërtuar modelin dhe zakonisht ndahen në disa grupe të dhënash. Në veçanti, tre grupe të dhënash përdoren zakonisht në faza të ndryshme të krijimit të modelit: trajnimi, vlefshmëria dhe testimi.

Modeli fillimisht përshtatet me një grup të dhënash trajnimi,  i cili është një grup shembujsh që përdoren për të përshtatur parametrat (p.sh. peshat e lidhjeve midis neuroneve në rrjetat artificiale neurale) të modelit. Modeli (p.sh. një klasifikues naiv Bayes) është i trajnuar në grupin e të dhënave të trajnimit duke përdorur një metodë të mësimit të mbikëqyrur, për shembull duke përdorur metoda optimizimi si zbritja gradiente ose zbritja stokastike e gradientit. Në praktikë, grupi i të dhënave të trajnimit shpesh përbëhet nga çifte të një vektori hyrës (ose skalarit) dhe vektorit përkatës të daljes (ose skalarit), ku qelësi i përgjigjjes së saktë zakonisht shënohet si target (ose etiketë). Modeli aktual ekzekutohet me grupin e të dhënave të trajnimit dhe kthen një rezultat, i cili më pas krahasohet me targetin, për secilin vektor hyrës në grupin e të dhënave të trajnimit. Bazuar në rezultatin e krahasimit dhe algoritmin specifik të të mësuarit që përdoret, parametrat e modelit rregullohen. Përshtatja e modelit mund të përfshijë si përzgjedhjen e variablave poashtu edhe vlerësimin e parametrave.

Me radhë, modeli i përshtatur përdoret për të parashikuar përgjigjet për vëzhgimet në një grup të dytë të dhënash të quajtur grupi i të dhënave të validimit . James, Gareth (2013). An Introduction to Statistical Learning: with Applications in R. Springer. p. 176. ISBN 978-1461471370. Grupi i të dhënave të validimit ofron një vlerësim të paanshëm të përshtatjes së modelit në grupin e të dhënave të trajnimit, ndërsa akordon hiperparametrat e modelit  (p.sh. numri i njësive të fshehura - shtresat dhe gjerësitë e shtresave - në një rrjet nervor Ripley, Brian (1996). Pattern Recognition and Neural Networks. Cambridge University Press. p. 354. ISBN 978-0521717700. ). Grupet e të dhënave të validimit mund të përdoren për rregullim duke ndaluar herët (duke ndaluar trajnimin kur gabimi në grupin e të dhënave të validimit rritet, pasi kjo është një shenjë e mbipërshtatjes në grupin e të dhënave të trajnimit).  Kjo procedurë e thjeshtë është e ndërlikuar në praktikë nga fakti se gabimi i grupit të të dhënave të validimit mund të luhatet gjatë trajnimit, duke prodhuar minimume të shumëfishta lokale. Ky ndërlikim ka çuar në krijimin e shumë rregullave ad-hoc për të vendosur se kur mbipërshtatja ka filluar vërtet. 

Së fundmi, grupi i të dhënave të testimit është një grup të dhënash i përdorur për të ofruar një vlerësim të paanshëm të përshtatjes së një modeli në grupin e të dhënave të trajnimit. Brownlee, Jason (2017-07-13). "What is the Difference Between Test and Validation Datasets?". Retrieved 2017-10-12. Kur të dhënat në grupin e të dhënave të testimit nuk janë përdorur kurrë (për shembull në validimin e kryqëzuar ), grupi i të dhënave të testimit quhet grup i të dhënave mbajtëse . Termi "grup validimi" ndonjëherë përdoret në vend të "grupit të testimit" në disa literaturë (p.sh., nëse grupi origjinal i të dhënave është ndarë vetëm në dy nëngrupe, grupi i testimit mund të quhet grupi i validimit). 

Vendosja e madhësive dhe strategjive për ndarjen e grupeve të të dhënave në grupet e trajnimit, testimit dhe validimit varet shumë nga problemi dhe të dhënat e disponueshme. 

 Seti i të dhënave të trajnimit 

Kategoria:Grupe të të dhënave në mësimin makinerik