識別的モデル
これらのモデリング手法は、訓練データセット D = { ( x i ; y i ) | i ≤ N ∈ Z } {\displaystyle D=\{(x_{i};y_{i})|i\leq N\in \mathbb {Z} \}} が提供されていることを前提としており、入力 x i {\displaystyle x_{i}} に対応する出力を y i {\displaystyle y_{i}} とする。
m {\displaystyle m} 個のクラスラベル(分類)と n {\displaystyle n} 個の特徴変数 Y : { y 1 , y 2 , ... , y m } , X : { x 1 , x 2 , ... , x n } {\displaystyle Y:\{y_{1},y_{2},\ldots ,y_{m}\},X:\{x_{1},x_{2},\ldots ,x_{n}\}} を持つ訓練サンプルが与えられたとする。
生成的モデルは、 入力 x {\displaystyle x} 、ラベル y {\displaystyle y} の同時確率 P ( x , y ) {\displaystyle P(x,y)} を用いて、ベイズの定理を適用して未知入力 x ~ {\displaystyle {\widetilde {x}}} に対してもっとも可能性のある既知のラベル y ~ ∈ Y {\displaystyle {\widetilde {y}}\in Y} を予測する。
一方、識別的モデルは、観測変数と目的変数の同時分布からサンプルを生成することはできないが、同時分布を必要としない分類や回帰のようなタスクでは、生成的モデルよりも優れた性能を発揮することができる(計算する変数が少ないことも一つの理由)。