分類タスクの場合、教師あり学習アルゴリズムは、訓練データセットを調べて、優れたを生成するための変数の最適な組み合わせを決定、または学習する。その目標は、新しい未知のデータにうまく汎化（はんか）するよう訓練された（適合した）モデルを作成することである。適合したモデルは、ホールドアウトデータセットからの「新しい事例」に対して評価され、未知データを分類する際のモデルの精度を推定する。 過剰適合のような問題が生じるリスクを軽減するために、検証データセットとテストデータセット内の事例は、モデルの訓練に使用するべきではない。
経験的な関係を求めて訓練データを探索するほとんどの手法は、データに過剰適合する傾向がある。すなわち、一般的には成立しないような見かけ上の関係を訓練データから特定し、利用してしまう。
検証データセット.
で検証データセットを使用する基本的なプロセス（訓練データセット、検証データセット、およびテストデータセットの一部として）は次のとおりである。
このプロセスの応用としてがある。候補モデルは同一ネットワークの連続した反復であり、検証セットでの誤差が増大した時点で訓練を停止し、前のモデル（誤差が最小のもの）を選択する。
テストデータセット.
テストデータセットとは、訓練データセットから独立しているが、訓練データセットと同じ確率分布に従うデータセットである。訓練データセットに適合したモデルがテストデータセットにもよく適合する場合、過剰適合は最小限に抑えられている（下図を参照）。しかし、テストデータセットよりも訓練データセットの方が適合度が高い場合は、通常、過剰適合を意味している。したがって、テストセットは、十分に検討された分類器の性能（すなわち汎化）を評価するためだけに使用される事例の集合である。この手順を行うためには最終モデルを使用してテストセット内の事例の分類を予測する。モデルの精度を評価するために、その予測結果と、事例の真の分類とを比較する。
用語の混乱.
交差検証.
アリス (暗号通信)
ボブ (暗号通信)
データセット (機械学習)
教師データ
トレーニングデータ
訓練データ
学習データ
検証データ
テストセット
作品.
関連作.
訓練、検証、テスト用のデータセット
馬名の意味は、「彼は恋している」。母名より連想。
戦績.
競走成績.
歴史.