訓練・検証・テストデータセット
機械学習における共通作業は、データから学習し、データについて予測することができるアルゴリズムの研究と構築である。そのようなアルゴリズムは、入力データから数学的モデルを構築して、データ駆動型の予測や決定を行うことで機能する。モデルを構築するために使用される入力データは通常、いくつかのデータセットに分割される。一般に、モデル構築のいくつかの段階で、訓練セット、検証セット、テストセットという3つのデータセットが使用される。
モデルはまず、モデルのパラメータを調整するための事例の集めた訓練データセット(training data set)に対して適合(フィッティング)される。たとえば単純ベイズ分類器のようなモデルは、教師あり学習法の最適化手法と訓練データセットを使用して訓練される。実際には、訓練データセットは、入力ベクトル(またはスカラー)とこれに対応する出力ベクトル(またはスカラー)の組から構成されることが多い。一般に、正解リストは「ターゲット」または「ラベル」と呼ばれる。この場合、モデルは訓練データセットを使用して推論を行い、結果を生成し、訓練データセットの各入力ベクトルについて正解となるターゲットと比較される。比較結果と使用された学習アルゴリズムの種類に基づいて、モデルのパラメータが調整される。モデルのフィッティングには、特徴の選択と、パラメータの推定(英語版)の双方が含まれることがある。