識別的モデル
生成的モデル - 観測可能変数と目的変数との同時確率分布に基づく統計モデル
このように、2つのモデリングには長所と短所が存在し、両方のアプローチを組み合わせた手法により、実用化において優れた結果が得られている。たとえば、Marrasの論文「A Joint Discriminative Generative Model for Deformable Model Construction and Classification」では、モデルの顔分類に両モデルを組み合わせて適用した結果、従来の手法よりも高い精度が得られた。
Kelmの論文「Combining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning」でも、ピクセル分類のために2つのモデリングの統合が提案されている。
識別的モデルは、一般的に、分類の前に複数のサブタスクの組み合わせが含まれる。たとえばクラスタリング前に識別的な特徴抽出をする場合、主成分分析(PCA)がよく使用されるが、PCAはクラスの違いを考慮しないため、必ずしも最も効果的な識別的手法とは言えない。一方、線形判別分析(英語版)(LDA。潜在的ディリクレ配分法(英語版)と混同しないこと)は、クラス間の差異を明示的にモデル化して次元を削減しようとするため、上記の短所に対する適切な解決策を提供する。
識別的モデルには、次のような大きな利点がある。
より高い精度を得、主に学習結果の向上につながる。
入力を簡素化し、条件付確率 P ( y | x ) {\displaystyle P(y|x)} への直接なアプローチが可能。
計算資源を節約できる。
漸近的誤差が小さい。
生成的モデルの利点と比較すると、識別的モデルは次のような特徴がある。
生成的モデルは、すべてのデータを考慮することで、処理速度が遅くなる制約がある。
識別的モデルは、より少ない訓練サンプルで済む。
また、他のアプリケーションのニーズと容易に連携できる柔軟なフレームワークを提供する。