訓練・検証・テストデータセット
検証データセットは、分類器のハイパーパラメータ(英語版)(すなわちアーキテクチャ)を調整するために使用される事例のデータセットである。場合によって「開発セット」(development set, dev set)と呼ばれることもある。人工ニューラルネットワークにおけるハイパーパラメータとして、各層の隠れユニットの数がある。この検証データセットも、(後述する)テストセットも、訓練データセットと同じ確率分布に従うべきである。
分類器のパラメータを調整する場合、過剰適合を避けるために、訓練データセットとテストデータセットに加え、検証データセットを用意する必要がある。たとえば、ある問題に最適な分類器を探す場合は、訓練データセットでさまざまな分類器の候補を訓練し、次に検証データセットでそれらの性能を比較してどれを採用するかを決定し、最後にテストデータセットで正確度、感度、特異度、F値などの性能特性を得る。検証データセットはハイブリッドとして機能する。これはテストに使用される訓練データであるが、低レベルの訓練の一部でも最終テストの一部でもない。
モデル選択(英語版)で検証データセットを使用する基本的なプロセス(訓練データセット、検証データセット、およびテストデータセットの一部として)は次のとおりである。
このプロセスの応用として早期打ち切り(英語版)がある。候補モデルは同一ネットワークの連続した反復であり、検証セットでの誤差が増大した時点で訓練を停止し、前のモデル(誤差が最小のもの)を選択する。