識別的モデル

識別的モデル（しきべつてきモデル、discriminative models）は、条件付きモデル（じょうけんつきモデル、conditional models）とも呼ばれ、分類や回帰に使用されるロジスティックモデルの一種である。これらのモデルは、合格／不合格、勝ち／負け、生／死、健康／病気など、観測データに基づいて決定境界を設定する。
代表的な識別的モデルの例として、ロジスティック回帰（LR）、条件付き確率場（CRF）（無向グラフで指定される）、決定木などがある。一方、生成的モデルの代表例としては、単純ベイズ分類器、、変分オートエンコーダ、敵対的生成ネットワークなどがある。
定義.
識別的モデルは、観測されていない変数（ターゲット）formula_1 を、観測された変数（訓練サンプル）に基づくクラスラベル formula_2 に対応付ける条件付き確率分布 formula_3 に焦点を当てた研究である。
この点において、同時確率分布 formula_4 を研究する生成的モデルとは異なる。
たとえば物体認識では、formula_1 は通常、画像の生の画素または画像の生の画素から抽出された特徴のベクトルを表す。確率論的な枠組みで条件付き確率分布 formula_3 をモデル化することで、formula_1 から formula_2 を予測することができる。
条件付きモデルと識別的モデルは別物であるが、単純に識別的モデルとしてまとめられることが多い。
純粋な識別的モデルと条件付きモデルの比較.
上述のように、条件付きモデルは、条件付き確率分布をモデル化するものである。一方、従来の識別的モデルは、最適化のために最も類似した訓練済みサンプルに入力をマッピングすることに焦点を当てている。
識別的モデリングの代表的な手法.
これらのモデリング手法は、訓練データセット formula_9 が提供されていることを前提としており、入力 formula_10 に対応する出力を formula_11 とする。
線形分類器.
線形分類法を用いて訓練データセットで観察される挙動をシミュレートするため、関数 formula_12 と結合特徴ベクトル formula_13 を使用する。決定関数は次のように定義される。
Memisevicの解釈では、formula_15 は formula_16 とも呼ばれ、入力 formula_1 と潜在的出力 formula_2 との適合性を測るスコアを計算する。そして、もっとも高いスコアを持つクラスが formula_19 を用いて決定される。
ロジスティック回帰 (LR).
0-1損失関数は決定理論で一般的に使用される関数であることから、条件付き確率分布 formula_20 をロジスティック回帰モデルで次のように書き直すことができる（ここで、formula_21 は訓練データを最適化するためのパラメータベクトル）。
2つの式はいずれもロジスティック回帰を表し、主な違いは、事後確率の導入方法である。事後確率は、パラメトリックモデルから推測され、次の式でパラメータを最大化することができる。
この方程式は、対数損失方程式で置き換えることもできる。
対数損失は微分可能であるため、勾配に基づく手法でモデルの最適化を行うことができる。目的関数は凸であるため、大域的な最適化が保証される。対数尤度の勾配は次のように表される。
ここで formula_27 は formula_28 の期待値である。
この方法は、比較的少数の分類数に対して効率的である。
識別的モデルと生成的モデルの比較.
手法の対照.
formula_29 個のクラスラベル（分類）と formula_30 個の特徴変数 formula_31 を持つ訓練サンプルが与えられたとする。
生成的モデルは、 入力 formula_1、ラベル formula_2 の同時確率 formula_4 を用いて、ベイズの定理を適用して未知入力 formula_35 に対してもっとも可能性のある既知のラベル formula_36 を予測する。
一方、識別的モデルは、観測変数と目的変数の同時分布からサンプルを生成することはできないが、同時分布を必要としない分類や回帰のようなタスクでは、生成的モデルよりも優れた性能を発揮することができる（計算する変数が少ないことも一つの理由）。一般的に生成的モデルは、複雑な学習課題における依存関係をより柔軟に表現することができる。また、ほとんどの識別的モデルは本質的に教師あり学習で、教師なし学習をサポートしない。最終的に、識別的モデルと生成的モデルのどちらを選択するかは、特定のアプリケーションの要件に依存する。識別的モデルと生成的モデルは、事後確率の導入方法が異なる。識別的モデルでは、パラメトリックモデルから事後確率 formula_37 を推定し、訓練データからパラメータを得る。パラメータの推定は、パラメータに対する尤度の最大化または分布計算によって得られる。これに対し、生成的モデルは同時確率に着目し、ベイズの定理におけるクラス事後確率 formula_38 を考慮する。したがって、クラス事後確率は、
応用における長所と短所.
ロジスティック回帰と単純ベイズモデルを適用した二値分類タスクの実験を繰り返すと、識別的学習では漸近誤差が小さく、生成的学習では漸近誤差の増大が早くなることが分かった。しかし、UlusoyとBishopは共同研究「物体検出と分類のための生成的手法と識別的手法の比較（"Comparison of Generative and Discriminative Techniques for Object Detection and Classification"）」において、この結果はモデルがデータに適している場合、すなわち生成的モデルがデータ分布を正確にモデル化している場合にのみ成り立つと述べている。
長所.
識別的モデルには、次のような大きな利点がある。
生成的モデルの利点と比較すると、識別的モデルは次のような特徴がある。
応用における最適化.
このように、2つのモデリングには長所と短所が存在し、両方のアプローチを組み合わせた手法により、実用化において優れた結果が得られている。たとえば、Marrasの論文「"A Joint Discriminative Generative Model for Deformable Model Construction and Classification"」では、モデルの顔分類に両モデルを組み合わせて適用した結果、従来の手法よりも高い精度が得られた。
Kelmの論文「"Combining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning"」でも、ピクセル分類のために2つのモデリングの統合が提案されている。
識別的モデルは、一般的に、分類の前に複数のサブタスクの組み合わせが含まれる。たとえばクラスタリング前に識別的な特徴抽出をする場合、主成分分析（PCA）がよく使用されるが、PCAはクラスの違いを考慮しないため、必ずしも最も効果的な識別的手法とは言えない。一方、（LDA。と混同しないこと）は、クラス間の差異を明示的にモデル化して次元を削減しようとするため、上記の短所に対する適切な解決策を提供する。
種類.
識別的モデルの例としては、つぎのようなものがある。