生成的モデル
同様に、生成的モデルに基づく分類器を生成的分類器(generative classifier)、識別的モデルに基づく分類器を識別的分類器(discriminative classifier)と呼ぶが、後者はモデルに基づかない分類器も指すこともある。
それぞれの標準的な例は次のとおりで、すべて線形分類器である。
生成的分類指標: 単純ベイズ分類器、および 線形識別解析(英語版)
識別的モデル: ロジスティック回帰
分類に適用する場合、その目的は観測値 x からラベル y (またはラベルに対する確率分布)を決定することである。そのための3種類の手法があり、1番目は確率分布を用いずに直接計算する方法(distribution-free classifier、分布によらない分類器)、2番目は観測値からラベルの確率 P ( Y | X = x ) {\displaystyle P(Y|X=x)} を推定し、それを基に分類する方法(discriminative model、識別的モデル)、3番目は同時分布 P ( X , Y ) {\displaystyle P(X,Y)} を推定し、そこから条件付き確率 P ( Y | X = x ) {\displaystyle P(Y|X=x)} を計算し、それを基に分類する方法(generative model、生成的モデル)である。これらの手法は、ますます間接的ではあるが、ますます確率的であり、より多くのドメイン知識と確率理論を使用することができるようになる。実際には、実際の問題に応じてさまざまな手法が選択され、複数の方法の長所を組み合わせたハイブリッド法も可能である。
k-最近傍アルゴリズム
ロジスティック回帰
サポートベクターマシン
決定木学習
ランダムフォレスト
最大エントロピー・マルコフ・モデル(英語版)
条件付き確率場