分類 (統計学)
分類手法は多数存在するが、それらは3つの相互に関連する数学的問題のいずれかを解決する。
第一の問題は、特徴空間(一般に多次元のベクトル空間)からラベルの集合への写像を求める問題である。これは、特徴空間を領域分割して、各領域にラベルを割り当てるのと同じである。このようなアルゴリズム(例えばk近傍法)は事後処理を行わないとクラス確率を生成できないのが一般的である。この問題を解く別のアルゴリズムとしては、特徴空間への教師なし クラスタリングの適用をし、次いで各クラスターまたは領域にラベルを付ける。
第二の問題は、統計分類を一種の予測問題とみなし、以下のような形式の関数を予測することを目標とするものとみなす。
P ( c l a s s | x → ) = f ( x → ; θ → ) {\displaystyle P({\rm {class}}|{\vec {x}})=f\left({\vec {x}};{\vec {\theta }}\right)}
ここで、特徴ベクトル入力が x → {\displaystyle {\vec {x}}} であり、関数 f は一般に θ → {\displaystyle {\vec {\theta }}} の一部によってパラメータ化される。この問題のベイズ推定的アプローチでは、唯一のパラメータベクトル θ → {\displaystyle {\vec {\theta }}} を選ぶのではなく、考えられる全てのθの積分が結果となり、各θが訓練データ D によって与えられる確率で重み付けされる。