Galat generalisasi
caption: Gambar ini menggambarkan hubungan antara overfitting dan galat generalisasi I [ fn ] - IS [ fn ]. Titik-titik data dihasilkan dari hubungan y = x dengan penambahan noise putih pada nilai y. Di kolom kiri, satu set titik pelatihan ditampilkan dalam warna biru. Fungsi polinomial urutan ketujuh diestimasi pada data pelatihan. Di kolom kanan, fungsi tersebut diuji pada data yang diambil dari distribusi probabilitas bersama yang mendasarinya dari x dan y.
Pada baris atas, fungsi tersebut diestimasi pada kumpulan data sampel sebanyak 10 titik data. Pada baris bawah, fungsi tersebut diestimasi pada kumpulan data sampel sebanyak 100 titik data. Seperti yang dapat kita lihat, untuk ukuran sampel yang kecil dan fungsi yang kompleks, galat pada set latih itu kecil, tetapi kesalahan pada distribusi data yang mendasarinya besar dan kita telah overfitting data tersebut. Akibatnya, galat generalisasinya besar. Seiring dengan peningkatan jumlah titik sampel, kesalahan prediksi pada data latih dan uji konvergen, dan galat generalisasi menuju 0..