生成的モデル

統計的分類では、生成的アプローチと識別的アプローチの2つの主要な手法がある。これらのアプローチでは、を計算するために異なる方法論を用いており、その統計的モデリングの程度もさまざまである。使用される用語は一貫していないが、によれば、主に3つの種類に分けられる。
この最後の2つの種類は一貫して区別されておらず、はこの3種類を生成的学習（"generative learning"）、条件付き学習（"conditional learning"）、識別的学習（"discriminative learning"）と呼んでいるが、は後者の2つを区別せずに、生成的分類指標（generative classifiers、同時分布）と識別的分類指標（discriminative classifiers、条件分布または無分布）と2つしか区別しない。同様に、生成的モデルに基づく分類器を生成的分類器（generative classifier）、識別的モデルに基づく分類器を識別的分類器（discriminative classifier）と呼ぶが、後者はモデルに基づかない分類器も指すこともある。
それぞれの標準的な例は次のとおりで、すべて線形分類器である。
分類に適用する場合、その目的は観測値 "x" からラベル "y" （またはラベルに対する確率分布）を決定することである。そのための3種類の手法があり、1番目は確率分布を用いずに直接計算する方法（"distribution-free classifier、"分布によらない分類器）、2番目は観測値からラベルの確率 formula_3 を推定し、それを基に分類する方法（"discriminative model、識別的モデル）、3番目は同時分布 formula_1 を推定し、そこから条件付き確率 formula_3 を計算し、それを基に分類する方法（"generative model、生成的モデル）である。これらの手法は、ますます間接的ではあるが、ますます確率的であり、より多くのドメイン知識と確率理論を使用することができるようになる。実際には、実際の問題に応じてさまざまな手法が選択され、複数の方法の長所を組み合わせたハイブリッド法も可能である。
定義.
モデルを分類するもう一つの方法は、次の対称的な定義である。
正確な定義はともかく、この用語は構造上のものである。生成的モデルは、観測値と目的値 formula_8 または目的値 "y" が与えられたときの観測値 "x" のいずれかの、ランダムなインスタンス（結果）を「生成」することができる。一方、識別的モデル、または識別的分類器（モデルなし）は、観測値 "x" が与えられたとき、目標変数 "Y" の値を「識別」することができる。「識別」（discriminate）と「分類」（classify）の違いは微妙で、この2つの用語しばしば同じ意味で使われることがある。したがって「識別」と「分類」が等価である場合、「識別的分類器」という用語は冗語になる。
また「生成的モデル」という用語は、入力変数の潜在的なサンプルの確率分布に直接関係しない方法で出力変数のインスタンスを生成するモデルを表すこともある。敵対的生成ネットワークは、これに属する生成的モデルの例であり、主に潜在的な入力に対する特定の出力の類似性に基づいて判断される。しかしこのようなモデルは分類器ではない。
モデル間の関係.
分類へ関していえば、観測可能変数 "X" は多くの場合で、目的 "Y" は一般的にラベルの有限集合からなるであり、また、条件付き確率 formula_9 は、 "X" を入力、"Y" を出力とする（非決定論的な） formula_10 と解釈することもできる。
ラベルの有限集合があるとき、「生成的モデル」の2つの定義は密接に関連している。条件付き分布 formula_6 のモデルは、各ラベルの分布を表し、同時分布のモデルは、ラベル値の分布 formula_12 と、ラベルを与えられた観測値の分布 formula_13 のモデルと等価で、記号的には formula_14 である。したがって、同時確率分布のモデルは、ラベル分布のモデル（ただしラベルの相対的な頻度を含まない）よりも情報量が多いが、比較的小さな違いであり、両者が常に区別されているわけではない。
同時確率分布のモデル formula_1 があれば、個々の変数の分布は周辺分布 formula_16 と formula_17 として計算できる（"X" は連続、したがって積分、 "Y" は離散、したがって累積和）。どちらの条件付き分布でも、条件付き確率の定義より求めることができる：formula_18 と formula_19。
ある条件付き確率のモデルと、変数 "X" と "Y" の推定確率分布 formula_20 と formula_12 があれば、ベイズの定理を使用して反対の条件付き確率を推定することができる: formula_22。
たとえば、formula_13 の生成的モデルがあれば、
を推定でき、formula_9 の識別的モデルがあれば、
を推定できる。
なお、ベイズの定理（一方の条件付き確率を他方の条件付き確率で計算する）と条件付き確率の定義（条件付き確率を同時分布で計算する）は混同されがちである。
識別的分類器との対比.
生成的アルゴリズムは、信号を分類するために、データがどのように生成されたかをモデル化する。生成の仮定を考慮して、どのカテゴリがこの信号を生成する可能性が最も高いか、という問いを投げかける。これに対して、識別的アルゴリズムは、データがどのように生成されたかに注目せず、与えられた信号を単純に分類する。つまり、識別的アルゴリズムはデータから直接 formula_27 を学習して、その後データを分類しようとする。一方、生成的アルゴリズムは formula_28 を学習し、それを後で formula_27 に変換してデータを分類しようとする。生成的アルゴリズムの利点の1つは、formula_28 を使用して既存のデータに類似した新しいデータを生成できることである。しかし、一部の識別的アルゴリズムは、分類タスクにおいて、一部の生成的アルゴリズムよりも優れた性能を発揮することが示されている。
識別的モデルは観測変数の分布をモデル化する必要がない代わりに、観測変数と対象変数の間の複雑な関係を表現することはできない。しかし、一般的には、分類や回帰の作業において、必ずしも生成的モデルより優れているとは限らない。全体として、この2種類の手法は補完的なもの、あるいは同じ手順の異なる見方として捉えられている。
深層生成モデル.
深層学習の台頭とともに、生成的モデルと深層ニューラルネットワークを組み合わせた、深層生成モデル（deep generative models、DGM）と呼ばれる新しい手法のファミリーが出現している。これらのモデルの性能は、通常、ニューラルネットワークの規模と、学習データの規模の両方を拡大することで向上する。
一般的なDGMには、変分オートエンコーダー（VAE）、敵対的生成ネットワーク（GAN）、自己回帰モデルなどがある。最近では、非常に大規模な深層生成モデルを構築する傾向が見られる。たとえば、GPT-3やその前身であるGPT-2は、数十億のパラメータを含む自己回帰ニューラル言語モデルであり、画像生成に用いられるBigGANやVQ-VAEは数億のパラメータを持ち、Jukeboxは数十億のパラメータを持つ音楽オーディオ用の非常に大きな生成的モデルである。
種類.
生成的モデル.
生成的モデルには次のような種類がある。
観測データが生成的モデルから実際にサンプリングされたものであれば、データの尤度を最大化するために生成的モデルのパラメータを適合させるのが一般的な方法である。しかし、ほとんどの統計モデルは真の分布に対する近似に過ぎないため、モデルが他の変数の既知の値を条件として変数のサブセットについて推論するのであれば、近似は必要以上の仮定をしている主張することができる。このような場合、識別的モデル（以下に列挙）を使用して条件付き密度関数を直接モデル化する方がより正確な可能性があるが、それぞれのケースでどのアプローチが最適かは、最終的にはアプリケーション固有の詳細に基づいて決定される。
例.
簡単な例.
入力データを formula_31 、formula_32 のラベル集合を formula_33 とし、次の4つのデータポイントがあるシナリオを考える：formula_34
経験的尺度から同時確率分布 formula_28 を推定すると、次のようになる。
また、条件付き確率分布 formula_27 は次のようになる。
テキスト生成.
は、英語の単語対の頻度表を使用して、「represent and speedily is an good」で始まる文章を生成する例を示した。この文は文法的に正しい英語ではなかったが、表を単語対から単語三連符へと移行するにつれて、より正しい英語に近くなっていった。