訓練・検証・テストデータセット
テストデータセットとは、訓練データセットから独立しているが、訓練データセットと同じ確率分布に従うデータセットである。訓練データセットに適合したモデルがテストデータセットにもよく適合する場合、過剰適合は最小限に抑えられている(下図を参照)。しかし、テストデータセットよりも訓練データセットの方が適合度が高い場合は、通常、過剰適合を意味している。したがって、テストセットは、十分に検討された分類器の性能(すなわち汎化)を評価するためだけに使用される事例の集合である。この手順を行うためには最終モデルを使用してテストセット内の事例の分類を予測する。モデルの精度を評価するために、その予測結果と、事例の真の分類とを比較する。
検証データセットとテストデータセットの両者が使用されるシナリオでは、テストデータセットは、通常、検証プロセスで選択された最終モデルを評価するために使用される。元のデータセットが2つのサブセット(訓練データセットとテストデータセット)に分割されている場合、テストデータセットはモデルを一度だけ評価する(たとえばホールドアウト法(英語版))。ただし、このような方法を推奨しない文献もあることに注意されたい。しかし、交差検証(クロスバリデーション)のような方法を使用する場合、2つの分割で十分かつ効果的である。それは、モデルの訓練とテストを繰り返した後に結果を平均化することで、バイアスとばらつきが低減するためである。