訓練・検証・テストデータセット
訓練データセットは、たとえば分類器のパラメータ(例:重み)を調整するために、訓練プロセスで使用される事例のデータセットである。
分類タスクの場合、教師あり学習アルゴリズムは、訓練データセットを調べて、優れた予測モデル(英語版)を生成するための変数の最適な組み合わせを決定、または学習する。その目標は、新しい未知のデータにうまく汎化(はんか)するよう訓練された(適合した)モデルを作成することである。適合したモデルは、ホールドアウトデータセットからの「新しい事例」に対して評価され、未知データを分類する際のモデルの精度を推定する。 過剰適合のような問題が生じるリスクを軽減するために、検証データセットとテストデータセット内の事例は、モデルの訓練に使用するべきではない。
経験的な関係を求めて訓練データを探索するほとんどの手法は、データに過剰適合する傾向がある。すなわち、一般的には成立しないような見かけ上の関係を訓練データから特定し、利用してしまう。