生成的モデル
ある条件付き確率のモデルと、変数 X と Y の推定確率分布 P ( X ) {\displaystyle P(X)} と P ( Y ) {\displaystyle P(Y)} があれば、ベイズの定理を使用して反対の条件付き確率を推定することができる: P ( X ∣ Y ) P ( Y ) = P ( Y ∣ X ) P ( X ) {\displaystyle P(X\mid Y)P(Y)=P(Y\mid X)P(X)} 。
たとえば、 P ( X ∣ Y ) {\displaystyle P(X\mid Y)} の生成的モデルがあれば、
P ( Y ∣ X ) = P ( X ∣ Y ) P ( Y ) / P ( X ) {\displaystyle P(Y\mid X)=P(X\mid Y)P(Y)/P(X)}
を推定でき、 P ( Y ∣ X ) {\displaystyle P(Y\mid X)} の識別的モデルがあれば、
P ( X ∣ Y ) = P ( Y ∣ X ) P ( X ) / P ( Y ) {\displaystyle P(X\mid Y)=P(Y\mid X)P(X)/P(Y)}
を推定できる。
なお、ベイズの定理(一方の条件付き確率を他方の条件付き確率で計算する)と条件付き確率の定義(条件付き確率を同時分布で計算する)は混同されがちである。
統計的分類では、生成的アプローチと識別的アプローチの2つの主要な手法がある。これらのアプローチでは、分類指標(英語版)を計算するために異なる方法論を用いており、その統計的モデリングの程度もさまざまである。使用される用語は一貫していないが、Jebara (2004)によれば、主に3つの種類に分けられる。
生成的モデル(generative model)は、観測可能変数X と目的変数(英語版)Y の同時確率分布 P ( X , Y ) {\displaystyle P(X,Y)} に基づく統計モデルである。
識別的モデル(discriminative model)は、観測値 x が与えられたときの、目的変数 Y の条件付き確率 P ( Y ∣ X = x ) {\displaystyle P(Y\mid X=x)} に基づく統計モデルである。
さらに、確率モデルを使用せずに計算される分類指標も、漠然と「識別的(discriminative)」と呼ばれる。
この最後の2つの種類は一貫して区別されておらず、Jebara (2004)はこの3種類を生成的学習(generative learning)、条件付き学習(conditional learning)、識別的学習(discriminative learning)と呼んでいるが、Ng & Jordan (2002)は後者の2つを区別せずに、生成的分類指標(generative classifiers、同時分布)と識別的分類指標(discriminative classifiers、条件分布または無分布)と2つしか区別しない。