識別的モデル
一般的に生成的モデルは、複雑な学習課題における依存関係をより柔軟に表現することができる。また、ほとんどの識別的モデルは本質的に教師あり学習で、教師なし学習をサポートしない。最終的に、識別的モデルと生成的モデルのどちらを選択するかは、特定のアプリケーションの要件に依存する。識別的モデルと生成的モデルは、事後確率の導入方法が異なる。識別的モデルでは、パラメトリックモデルから事後確率 P ( y | x ) {\displaystyle P(y|x)} を推定し、訓練データからパラメータを得る。パラメータの推定は、パラメータに対する尤度の最大化または分布計算によって得られる。これに対し、生成的モデルは同時確率に着目し、ベイズの定理におけるクラス事後確率 P ( k ) {\displaystyle P(k)} を考慮する。したがって、クラス事後確率は、
P ( y | x ) = p ( x | y ) p ( y ) ∑ i p ( x | i ) p ( i ) = p ( x | y ) p ( y ) p ( x ) {\displaystyle P(y|x)={\frac {p(x|y)p(y)}{\textstyle \sum _{i}p(x|i)p(i)\displaystyle }}={\frac {p(x|y)p(y)}{p(x)}}} として求められる。