訓練・検証・テストデータセット
そして、適合されたモデルは、検証データセット(validation data set)と呼ばれる2番目のデータセットに対する応答を予測する。モデルのハイパーパラメータ(英語版)を調整する間、検証データセットを使用して、訓練データセットに適合したモデルを先入観なく評価する。検証データセットは、早期打ち切り(英語版)による正則化にも役立つ。。この単純な手順では、訓練中に検証データセットに対する誤差の変動による複数の極小値が生じる可能性があるため、実際にはより複雑なものとなる。この複雑さにより、過剰適合(オーバーフィッティング)が実際にいつ始まったかを判断するための、多くの場当たり的な規則が作られることになった。
最後に、テストデータセット(test data set)は、訓練データセットに対する「最終モデル」(final model)の適合を公平に評価するためのデータセットである。テストデータセットのデータが一度も訓練で使用されたことがない場合(たとえば交差検証の場合)、テストデータセットはホールドアウトデータセット(holdout data set)とも呼ばれる。文献によっては、「テストセット」の代わりに「検証セット」という用語が使われることもある。たとえば、元のデータセットが2つのサブセットだけに分割されている場合、テストセットは検証セットと呼ばれる。
データを訓練セット、テストセット、検証セットに分割するサイズと戦略を決定することは、その問題と利用可能なデータに大きく依存する。