自己回帰モデル

自己回帰モデル（じこかいきモデル、英: autoregressive model）は時点 t におけるモデル出力が時点 t 以前のモデル出力に依存する確率過程である。ARモデルとも呼ばれる。
自己回帰モデルは、例えば自然科学や経済学において、時間について変動する過程を描写している。（古典的な）自己回帰モデルは実現値となる変数がその変数の過去の値と確率項（確率、つまりその値を完全には予測できない項）に線形に依存している。ゆえに自己回帰モデルは一種の確率差分方程式の形状を取る。
自己回帰モデルはより一般的な時系列の自己回帰移動平均モデル（ARMAモデル）の特別なケースである。また、一つ以上の確率差分方程式からなるベクトル自己回帰モデル（VARモデル）の特別ケースでもある。推計統計学・機械学習における生成モデルとしても自己回帰モデルは表現でき、古典的な（線形）自己回帰生成モデルを拡張した非線形自己回帰生成モデルも盛んに研究されている。

AR(p) 過程のグラフ

最も単純なARモデルは AR(0) であり、項の間に依存関係がない。誤差/イノベーション/ノイズ項のみが過程の出力に寄与し、ゆえに図で示されているように AR(0) はホワイトノイズに対応する。
 の値が正である AR(1) 過程について、その過程の以前の項とノイズ項のみが出力に寄与する。もし  が0に近ければ、その過程は依然としてホワイトノイズのように見える。しかし、 が1に近いならば、出力はノイズに比べて現在の項に大きな影響を受ける。結果として出力の"スムージング"もしくは和分が起こり、ローパスフィルタと似たものとなる。
AR(2) 過程について、以前の二つの項とノイズ項が出力に寄与する。 と  が共に正ならば、出力はノイズの高周波数領域が減衰するローパスフィルタに似通ったものとなる。もし  が正である一方で  が負であれば、過程はその項の間で符号が変わりやすくなる。出力は循環的となる。これは方向におけるエッジ検出もしくは変化検出と結びつけることが出来る。

最大ラグの選択

AR(p) 過程の偏自己相関はラグが p + 1 より大きい時にゼロとなり、結果として適切な最大ラグはそのラグより大きいラグでの偏自己相関が全てゼロになるものである。

予測の質の評価

自己回帰モデルの予測性能は、クロス・バリデーションが行われるならば、推定の後に即座に評価できる。この方法においては、最初の方の利用可能なデータはパラメーターの推定の為に用いられ、データセットにおける後の方のデータはアウトオブサンプルのテストとして残しておく。他には、パラメーター推定が行われた後にしばらくしたあと、より多くのデータが利用可能になり予測性能を新しいデータを使うことで評価できる。
どちらのケースも、評価可能な予測性能には2つの側面がある。1期先予測の性能と n 期先予測の性能である。1期先予測の性能について、推定パラメーターは予測を行った期以前の全ての期における X の観測値と共に自己回帰方程式が用いられ、方程式の出力は1期先予測となる。この手続きはアウトオブサンプルの観測値についての予測を得るために用いられる。n 期先予測の質を評価する為には、予測を得るために前の節での予測手続きが用いられる。
予測値のセットと対応する様々な期間の X の本当の値のセットが与えられたとして一般的な評価のテクニックは平均二乗予測誤差を用いることである。他の尺度もまた用いられる。
ここで測定された予測の正しさをどのように解釈するのかという問題が持ち上がる。例えば平均二乗予測誤差が"高い"（悪い）もしくは"低い"（良い）とはどういう事なのだろうか。比較の上で二つのポイントがある。第一に他のモデルの仮定もしくは推定手法の下で推定された代替モデルの予測の正しさは比較目的に使用できる。第二にアウトオブサンプルの正確さの尺度は十分に前のデータを用いることが出来るならば、つまり最初の p 個のデータポイントを落として p 期以前のデータを使わないならば（パラメーター推定に用いられた）インサンプルのデータポイントでの同じ尺度と比較できる。モデルはインサンプルのデータポイントに出来るだけ適合するように特定化されて推定されるので、普通はアウトオブサンプルの予測性能はインサンプルの予測性能より悪い。しかし予測の質がアウトオブサンプルで（正確には定義できないが）"そう悪くない"のであれば、予測値は十分なパフォーマンスを見せていると言える。

統計モデル・生成モデルとしての表現

上記のように自己回帰モデルは、決定論的/deterministicな線形変換に、確率的/probabilisticなブレ（確率項）が線形に追加されるモデルである。別の表現として、自己回帰モデルは統計モデル（生成モデル）で表すことができる。
自己回帰モデル AR(n) を考えるとし、因果関係を持つ時点 t から時刻 t-n までの値の組を
とする。Xₙ の確率分布すなわち xt ~ xt-nの同時確率 pAR(n) は
であり、条件付き確率の定義を用いる（確率の連鎖律）と
となる（条件付確率分布の積、因子分解の積）。モデルのn次自己回帰性（== 過去方向にn次までしか依存しない）より xₜ₋ₙ はそれ単体で分布が定まる。
p(xₜ₋ₖ|xₜ₋ₖ₋₁, xₜ₋ₖ₋₂, ..., xₜ₋ₙ)を考えると（線形変換・ガウス確率項）ARモデルは確率項がガウス分布に従い、その平均値統計量は決定論的な線形変換で決まるため、
であるといえる。xₜ₋ₖ₋₁より過去の系列の情報はすべてxₜ₋ₖ₋₁の実現値として集約されている。
以上をまとめると、n次自己回帰モデルは統計モデル/生成モデルとして以下のように定式化できる。
・・・(1)
確率分布が計算可能なため、データ（標本）が与えられた際の母集団パラメータを最尤推定を用いて推定することができる。また生成モデルであるため、モデルに従う系列の生成（例: 現時刻までのデータに基づいた将来系列の生成）が可能である。もし音声を時系列とみなせば音声合成をおこなうことが可能になる。

非線形自己回帰生成モデル

古典的な自己回帰モデルは系列要素間の関係を線形と仮定してきたが、近年では非線形自己回帰モデルも提唱されている。人工ニューラルネットワークと深層学習の発達により発達した自己回帰生成ネットワーク（Autoregressive Generative Networks）がその代表例である。
自己回帰モデルを生成モデルとして表現したとき、xₜ はそれ以前の値（xₜ₋₁, xₜ₋₂ ,...）で条件づけられた確率分布からサンプリングされる。線形の自己回帰モデルではガウス分布の平均値が前要素の線形変換になるとモデル化するが、この条件は緩和することができる。上記の（１）式、すなわち過去値に条件づけられた確率分布関数を非線形関数を含む任意の関数とすることでこれが達成できる。
確率分布を人工ニューラルネットワークによって表現することで非線形性を導入し深層学習によって実データに基づく分布の推定/学習（最尤推定など）をおこなったものが自己回帰生成ネットワークである。DeepMind社が開発したWaveNetはAutoregressive Generative Networksの代表例であり、音声波形を系列とみなして自己回帰モデル化・学習することにより、人の声と区別がつかない音声の合成に成功している。

バリエーション

非線形自己回帰生成モデルは制約を緩めた分、いくつかの変種（モデル上の違い）がある。

統計的推論（学習）・最適化

非線形自己回帰生成モデルの難点の1つは、非線形性からくるパラメータ推定の難しさにある。統計的推論には最尤推定がしばしば用いられるが、古典的な（線形）ARモデルと比較してパラメータ推定の難易度が高い。