交差検証
初期標本群から事例を無作為に選択してテスト事例を形成し、残る事例を訓練事例とする。テスト事例に使われるのは初期の標本群の3分の1以下の場合が多い。ただし一般にホールドアウト検証は交差検証には分類されない。なぜなら、データを交差させることがないためである。
交差検証を使い、モデル選択やハイパーパラメータの決定が行われるが、この行為自体は、訓練データ+テストデータ全体に対して過剰適合を招き、交差検証の結果自体は信用できない結果となる。特定の公開データセットに対して、新しい機械学習のモデルで交差検証の結果が改善したという論文発表が多数あるが、そのような手法はその公開データセットに対する過剰適合の可能性がある。