識別的モデル
0-1損失関数は決定理論で一般的に使用される関数であることから、条件付き確率分布 P ( y | x ; w ) {\displaystyle P(y|x;w)} をロジスティック回帰モデルで次のように書き直すことができる(ここで、 w {\displaystyle w} は訓練データを最適化するためのパラメータベクトル)。
P ( y | x ; w ) = 1 Z ( x ; w ) exp  ( w T φ ( x , y ) ) {\displaystyle P(y|x;w)={\frac {1}{Z(x;w)}}\exp(w^{T}\phi (x,y))}
Z ( x ; w ) = ∑ y exp  ( w T φ ( x , y ) ) {\displaystyle Z(x;w)=\textstyle \sum _{y}\displaystyle \exp(w^{T}\phi (x,y))}
2つの式はいずれもロジスティック回帰を表し、主な違いは、事後確率の導入方法である。事後確率は、パラメトリックモデルから推測され、次の式でパラメータを最大化することができる。
L ( w ) = ∑ i log  p ( y i | x i ; w ) {\displaystyle L(w)=\textstyle \sum _{i}\displaystyle \log p(y^{i}|x^{i};w)}
この方程式は、対数損失方程式で置き換えることもできる。
ロジスティック回帰と単純ベイズモデルを適用した二値分類タスクの実験を繰り返すと、識別的学習では漸近誤差が小さく、生成的学習では漸近誤差の増大が早くなることが分かった。しかし、UlusoyとBishopは共同研究「物体検出と分類のための生成的手法と識別的手法の比較(Comparison of Generative and Discriminative Techniques for Object Detection and Classification)」において、この結果はモデルがデータに適している場合、すなわち生成的モデルがデータ分布を正確にモデル化している場合にのみ成り立つと述べている。
識別的モデルの例としては、つぎのようなものがある。
ロジスティック回帰は、一般化線形回帰(GLM)の一種で、2値またはカテゴリ出力(英語版)の予測に使用される(最大エントロピー分類器(英語版)としても知られる)。
ブースティング(メタアルゴリズム)
条件付き確率場
線形回帰
ランダムフォレスト