自己回帰モデル
古典的な自己回帰モデルは系列要素間の関係を線形と仮定してきたが、近年では非線形自己回帰モデルも提唱されている。人工ニューラルネットワークと深層学習の発達により発達した自己回帰生成ネットワーク(Autoregressive Generative Networks)がその代表例である。
自己回帰モデルを生成モデルとして表現したとき、xt はそれ以前の値(xt-1, xt-2 ,...)で条件づけられた確率分布からサンプリングされる。線形の自己回帰モデルではガウス分布の平均値が前要素の線形変換になるとモデル化するが、この条件は緩和することができる。上記の(1)式、すなわち過去値に条件づけられた確率分布関数を非線形関数を含む任意の関数とすることでこれが達成できる。
確率分布を人工ニューラルネットワークによって表現することで非線形性を導入し深層学習によって実データに基づく分布の推定/学習(最尤推定など)をおこなったものが自己回帰生成ネットワークである。DeepMind社が開発したWaveNetはAutoregressive Generative Networksの代表例であり、音声波形を系列とみなして自己回帰モデル化・学習することにより、人の声と区別がつかない音声の合成に成功している。