分類 (統計学)
P ( c l a s s | x → ) = ∫ f ( x → ; θ → ) P ( θ → | D ) d θ → {\displaystyle P({\rm {class}}|{\vec {x}})=\int f\left({\vec {x}};{\vec {\theta }}\right)P({\vec {\theta }}|D)d{\vec {\theta }}}
第二の問題とも関連するが、第三の問題は条件付き確率 P ( x → | c l a s s ) {\displaystyle P({\vec {x}}|{\rm {class}})} を推測する問題であり、それに第二の問題のようにクラス確率を生成するためにベイズの定理を利用する。
主な統計分類アルゴリズム:
線形分類器 フィッシャーの線形判別分析 ロジスティック回帰 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン
二次分類器 二次判別分析
その他、非線形など k近傍法 ブースティング 決定木 ニューラルネットワーク ベイジアンネットワーク サポートベクターマシン 隠れマルコフモデル
問題の性質(分類すべきデータ)と各種分類アルゴリズム(分類器)の性能の関係は、未だ解決されていない興味深い問題である。Van der Walt と Barnard(参考文献参照)は特定の人工的なデータ群を使って、どの分類器がよい性能を示すかを研究した。
分類器の性能は分類すべきデータの特性に大きく依存する。あらゆる問題について最高の性能を示す分類器は存在しない(ノーフリーランチ定理と同様の現象である)。分類器の性能を比較し、データの特性を特定するために各種実験的検証を実施して分類器の性能を決定する。ただし、ある問題に適した分類器を特定する手法は科学というよりも技能である。