線形分類器
線形分類器(英: Linear classifier)は、特徴の線形結合の値に基づいて分類を行う確率的分類器である。機械学習において、分類は項目群を特徴値に基づいてグループに分類することを目的とする。
線形分類器 w → {\displaystyle {\vec {w}}} のパラメータを決定する方法には、生成的モデルと識別的モデルという2つの大分類がある。1番目の生成的モデルは、条件付き確率 P ( x → | c l a s s ) {\displaystyle P({\vec {x}}|{\rm {class}})} をモデル化したものである。そのようなアルゴリズムの例として次のようなものがある。
線形判別分析 (LDA) - 正規分布モデルかつ等分散性を仮定する。
単純ベイズ分類器 - 独立二項分布モデルを仮定する。
2番目の識別モデルは、訓練例(英語版)の出力の品質を最大化しようとするものである。訓練コスト関数に項を追加することで、最終モデルの正則化を容易に行うことができる。線形分類器の識別的な訓練例として次のようなものがある。
ロジスティック回帰 - 観測された訓練例が分類器の出力に依存した二項分布モデルで生成されたものと見なし、 w → {\displaystyle {\vec {w}}} を最尤推定する。