生成的モデル
深層学習の台頭とともに、生成的モデルと深層ニューラルネットワークを組み合わせた、深層生成モデル(deep generative models、DGM)と呼ばれる新しい手法のファミリーが出現している。これらのモデルの性能は、通常、ニューラルネットワークの規模と、学習データの規模の両方を拡大することで向上する。
一般的なDGMには、変分オートエンコーダー(VAE)、敵対的生成ネットワーク(GAN)、自己回帰モデルなどがある。最近では、非常に大規模な深層生成モデルを構築する傾向が見られる。たとえば、GPT-3やその前身であるGPT-2は、数十億のパラメータを含む自己回帰ニューラル言語モデルであり、画像生成に用いられるBigGANやVQ-VAEは数億のパラメータを持ち、Jukeboxは数十億のパラメータを持つ音楽オーディオ用の非常に大きな生成的モデルである。