訓練・検証・テストデータセット
テスト(test)とは、何かについて調べようとして試すことであり、検証(validate)とは、何かが有効であることを証明することである。このような観点から、テストセットと検証セットという用語の最も一般的な使い方は、ここで説明したものになる。しかし、産業界でも学術界でも、内部手順ではさまざまななモデルを改良するためにテストし(開発セットとしてのテストセット)、最終的なモデルは未知のデータ(検証セット)で実際に使用する前に検証する必要があることを考慮し、用語が入れ替わることがある。機械学習の文献では、しばしば「検証セット」と「テストセット」の意味が逆転している。これは、人工知能研究に蔓延する用語の混乱の最も顕著な例である。とはいえ、押さえておくべき重要な概念は、テストセットと呼ぼうが検証セットと呼ぼうが、最終的なセットは最終的な実験にのみ使用されるべきということになる。