自己回帰モデル

自己回帰モデル（じこかいきモデル、）は時点 t におけるモデル出力が時点 t 以前のモデル出力に依存する確率過程である。ARモデルとも呼ばれる。
自己回帰モデルは、例えば自然科学や経済学において、時間について変動する過程を描写している。（古典的な）自己回帰モデルは実現値となる変数がその変数の過去の値と確率項（確率、つまりその値を完全には予測できない項）に線形に依存している。ゆえに自己回帰モデルは一種の確率差分方程式の形状を取る。
自己回帰モデルはより一般的な時系列の自己回帰移動平均モデル（ARMAモデル）の特別なケースである。また、一つ以上の確率差分方程式からなる（VARモデル）の特別ケースでもある。推計統計学・機械学習における生成モデルとしても自己回帰モデルは表現でき、古典的な（線形）自己回帰生成モデルを拡張した非線形自己回帰生成モデルも盛んに研究されている。
定義.
formula_1 という記法はオーダー "p" の自己回帰モデルを意味している。AR("p") モデルは以下のように定義される。
ここで formula_3 はモデルのパラメーターであり、formula_4 は定数項、 formula_5 はホワイトノイズである。この式は "B" を用いることで以下のような同値である表現で書き表すことが出来る。
よって、左辺の総和を移項し多項式表現を用いれば、
と表せる。ゆえに自己回帰モデルは、ホワイトノイズを入力値とする、全ての極における無限インパルス応答の出力値として見なすことも出来る。
自己回帰モデルが弱定常であるためにはいくつかのパラメーター制約が必要になる。例えば、formula_8 であるAR(1) モデルで表現される過程は定常ではない。より一般的に、AR("p") モデルが弱定常であるためには、多項式 formula_9 の根が単位円の内側になくてはならない。つまり全ての根 formula_10 が formula_11 を満たさなくてはならない。
ショックの異時点間における影響.
自己回帰モデルにおいて、一時点でのショックは将来の更新変数の値に恒久的に影響を与える。例えば、AR(1) モデル formula_12 を考えてみよう。"t"=1 時点での formula_5 の値がゼロでなければ、formula_14 の量だけ formula_15 に影響がある。この時、formula_15 から見た formula_17 についてのAR方程式により、formula_14 は formula_19 の量だけ formula_17 に影響を与える。さらに、formula_17 から見た formula_22 についてのAR方程式により、formula_14 は formula_24 の量だけ formula_22 に影響を与える。これを繰り返すことで formula_14 の効果は永久に波及することが分かる。しかしながら、過程が定常過程ならば、この効果は極限において0となる。
全てのショックが、それが起こった時点から "X" に恒久的に影響を与えるため、任意の与えられた "X""t" の値は過去に起こったショック全てから影響を受ける。これは自己回帰方程式
（ここで定数項は変数が平均からの逸脱として測定されると仮定することで無視できる）が以下のように書き直せることからもまた分かる。
右辺における多項式の除算が可能なのであれば、formula_5 に適用される後退オペレーターによる多項式は無限次元のオーダーを持つ。つまり、formula_5 のラグ値が方程式の右辺において無限個現れる。
特性多項式.
AR("p") 過程の自己相関関数は以下のように表すことが出来る。
ここで formula_32 は以下の多項式の根である。
ここで "B" はであり、formula_34 は自己回帰を定義する関数、formula_35 は自己回帰における係数である。
AR("p") 過程の自己相関関数は指数減衰する部分の和となっている。
AR("p") 過程のグラフ.
最も単純なARモデルは AR(0) であり、項の間に依存関係がない。誤差/イノベーション/ノイズ項のみが過程の出力に寄与し、ゆえに図で示されているように AR(0) はホワイトノイズに対応する。
formula_36 の値が正である AR(1) 過程について、その過程の以前の項とノイズ項のみが出力に寄与する。もし formula_36 が0に近ければ、その過程は依然としてホワイトノイズのように見える。しかし、formula_36 が1に近いならば、出力はノイズに比べて現在の項に大きな影響を受ける。結果として出力の"スムージング"もしくは和分が起こり、ローパスフィルタと似たものとなる。
AR(2) 過程について、以前の二つの項とノイズ項が出力に寄与する。formula_39 と formula_40 が共に正ならば、出力はノイズの高周波数領域が減衰するローパスフィルタに似通ったものとなる。もし formula_39 が正である一方で formula_40 が負であれば、過程はその項の間で符号が変わりやすくなる。出力は循環的となる。これは方向におけるエッジ検出もしくは変化検出と結びつけることが出来る。
例: AR(1) 過程.
AR(1) 過程は以下で与えられる。
ここで formula_5 は平均0のホワイトノイズ過程でありその分散は定数 formula_45 である（注記: formula_39 の下につく添え字をなくしている）。もし formula_47 ならば、この確率過程は弱定常である。というのもこの過程はホワイトノイズを入力とする定常フィルターの出力として得られるからである（もし formula_48 ならば formula_49 の分散は無限大となり、ゆえに弱定常ではなくなる）。結果として、formula_47 を仮定すれば、平均 formula_51 は全ての "t" の値について同じとなる。もし平均を formula_52 と書くのであれば、以下の式
より次の式
が成り立ち、ゆえに以下が得られる。
特に、 formula_56 ならば、平均は0である。
分散は以下のように定まる。
ここで formula_58 は formula_5 の標準偏差である。これは以下の式、
と上の量は安定な不動点となることから示される。
自己共分散は以下で与えられる。
これにより、コーシー分布（ローレンツ型プロファイル）のスペクトル密度が得られる。
ここで formula_63 は減衰時間 formula_64 に対応した角周波数である。
formula_65 についての formula_66 を定義式にまず代入することで、formula_49 の別表現が得られる。これを "N" 回繰り返せば
となる。"N" を無限大まで発散させれば、formula_69 は0に近づき、
となる。formula_49 は formula_72 の核で畳み込まれたホワイトノイズに定数の平均を足したものとなることが分かる。もしホワイトノイズ formula_5 がガウス過程ならば formula_49 もまたガウス過程である。他の場合として、中心極限定理により formula_36 が1に近づけば formula_49 は正規分布に近似的に近づくことが分かる。
AR(1) 過程の解析的な平均と差分の形式.
AR(1) 過程は連続時間におけるオルンシュタイン＝ウーレンベック過程の離散時間のアナロジーである。ゆえに AR(1) モデルの性質を理解するために同様の形式に変換することが時として有用になる。この形式において AR(1) モデルは以下で与えられる。
ここで formula_78 であり formula_52 はモデルの平均である。これを formula_80 の式に当てはめ formula_81 についての系列に展開することで次が示される。
最大ラグの選択.
AR("p") 過程の偏自己相関はラグが p + 1 より大きい時にゼロとなり、結果として適切な最大ラグはそのラグより大きいラグでの偏自己相関が全てゼロになるものである。
ARパラメーターの計算.
ARモデルの係数の推定には多数の方法があり、例えば最小二乗法の手続きや、もしくは（ユール–ウォーカー方程式（）を通した）モーメント法がある。
AR("p") モデルは以下の方程式で与えられる。
この方程式はパラメーター formula_85 "i" = 1, ..., "p" に基いている。これらのパラメーターと過程の共分散関数の間には直接的な対応が存在し、その対応は（共分散から得られる）自己相関関数からパラメーターを決定する為に裏返すことができる。これはユール–ウォーカー方程式を用いて行われる。
ユール–ウォーカー方程式.
ユール–ウォーカー方程式は、とギルバート・ウォーカーにちなんで名づけられたもので、以下の方程式からなる。
ここで であり、 個の方程式からなる。さらに formula_87 は Xt の自己共分散関数、formula_58 は入力ホワイトノイズの標準偏差、formula_89 はクロネッカーのデルタである。
各方程式の最後の部分がゼロとならないのは の時に限られるので、この方程式は の方程式を行列形式に表すことで解くことが出来る。よって次の方程式が得られる。
これは全ての formula_91 について解くことが出来る。残りの "m" = 0 についての方程式は
となり、一度 formula_93 の値を知ってしまえば、この方程式を formula_94 について解くことが出来る。
他の定式化として自己相関についてのものがある。ARパラメーターは自己相関 formula_95 の最初の p + 1 個の要素で決定する。完全な自己相関関数はこの時、再帰的な計算によって導出できる。
幾つかの低い次数の AR("p") 過程についての例は
ARパラメーターの推定.
上の方程式（ユール–ウォーカー方程式）は、理論的な共分散を推定値に置き換えることで、 AR("p") モデルのパラメーターを推定する為にいくつかの方法を提供する。下記のような方法が考えられる。
他の考えられる方法として最尤法がある。異なる二つの最尤法が利用できる。一つは（大体は最小二乗スキームによる前方予測と同じだが）考慮する尤度関数を系列における当初の "p" 此の値を所与とした系列の後の値の条件つき分布に対応させるものである。もう一つは考慮する尤度関数を観測された系列の全ての値の無条件の同時分布に対応させるものである。これらの方法の結果における本質的な違いは観測系列が短い、もしくは過程が非定常に近い時に現れる。
スペクトル.
ノイズ分散が formula_105 である AR("p") 過程のパワースペクトル密度は以下のようになる。
AR(0).
ホワイトノイズ (AR(0)) については以下のようになる。
AR(1).
AR(1) については以下のようになる。
AR(2).
AR(2) 過程は特性方程式の根に依存する3つのグループに分割される。
そうでなければ実数根を持ち、
根が単位円の外側にある時、この過程は定常である。
根が単位円の内側にある、もしくは同じことだが係数が三角形 formula_119 の内部にある時、安定である。
完全なパワースペクトル密度関数は以下のように表される。
"n" 期先予測.
自己回帰
のパラメーターが一度推定されてしまえば、この自己回帰は将来の任意の時点での予測に用いることが出来る。まず、"t" をデータが使えない最初の時点とする。既知の値"X""t-i" for "i="1, ..., "p" を自己回帰方程式に代入し、誤差項 formula_5 をゼロと置く（なぜならば "X""t" をその条件つき期待値と一致させるように予測し、観測されない誤差項の期待値は0であるから）ことで予測ができる。自己回帰方程式の出力は最初のデータが観測されない時点についての予測となる。次に、"t" をデータが使えない "次の" 時点とする。もう一度自己回帰方程式を予測を作るために使うことができる。ただし一つ異なる点がある。"X" の今予測している時点より一期前の値は未知である。よってその期待値、つまり前の予測ステップでの予測値を代わりに用いる。この時、将来の時点において同じ手続きが用いられ、"p" 回の予測の後に、全ての "p" 個の右辺の値が事前のステップによる予測値となるまで、予測方程式の右辺における予測値を用いる。
この方法で得られた予測値について四つの不確実性のソースがある。(1) 自己回帰モデルが正しいモデルかどうかという不確実性、(2) 自己回帰方程式の右辺においてラグ値として用いられる予測値の正しさについての不確実性、(3) 自己回帰係数の真の値についての不確実性、(4) 予測機関における誤差項 formula_123 の値についての不確実性である。最後の三つは定量化可能で "n" ステップ後の予測についての信頼区間として与えられる。右辺の変数についての推定値が増えるため信頼区間は "n" が増えれば広くなる。
予測の質の評価.
自己回帰モデルの予測性能は、クロス・バリデーションが行われるならば、推定の後に即座に評価できる。この方法においては、最初の方の利用可能なデータはパラメーターの推定の為に用いられ、データセットにおける後の方のデータはアウトオブサンプルのテストとして残しておく。他には、パラメーター推定が行われた後にしばらくしたあと、より多くのデータが利用可能になり予測性能を新しいデータを使うことで評価できる。
どちらのケースも、評価可能な予測性能には2つの側面がある。1期先予測の性能と "n" 期先予測の性能である。1期先予測の性能について、推定パラメーターは予測を行った期以前の全ての期における "X" の観測値と共に自己回帰方程式が用いられ、方程式の出力は1期先予測となる。この手続きはアウトオブサンプルの観測値についての予測を得るために用いられる。"n" 期先予測の質を評価する為には、予測を得るために前の節での予測手続きが用いられる。
予測値のセットと対応する様々な期間の "X" の本当の値のセットが与えられたとして一般的な評価のテクニックはを用いることである。他の尺度もまた用いられる。
ここで測定された予測の正しさをどのように解釈するのかという問題が持ち上がる。例えば平均二乗予測誤差が"高い"（悪い）もしくは"低い"（良い）とはどういう事なのだろうか。比較の上で二つのポイントがある。第一に他のモデルの仮定もしくは推定手法の下で推定された代替モデルの予測の正しさは比較目的に使用できる。第二にアウトオブサンプルの正確さの尺度は十分に前のデータを用いることが出来るならば、つまり最初の "p" 個のデータポイントを落として "p" 期以前のデータを使わないならば（パラメーター推定に用いられた）インサンプルのデータポイントでの同じ尺度と比較できる。モデルはインサンプルのデータポイントに出来るだけ適合するように特定化されて推定されるので、普通はアウトオブサンプルの予測性能はインサンプルの予測性能より悪い。しかし予測の質がアウトオブサンプルで（正確には定義できないが）"そう悪くない"のであれば、予測値は十分なパフォーマンスを見せていると言える。
統計モデル・生成モデルとしての表現.
上記のように自己回帰モデルは、決定論的/deterministicな線形変換に、確率的/probabilisticなブレ（確率項）が線形に追加されるモデルである。別の表現として、自己回帰モデルは統計モデル（生成モデル）で表すことができる。
自己回帰モデル AR(n) を考えるとし、因果関係を持つ時点 t から時刻 t-n までの値の組を
formula_124
とする。Xn の確率分布すなわち xt ~ xt-nの同時確率 pAR(n) は
formula_125
であり、条件付き確率の定義を用いる（）と
formula_126
となる（条件付確率分布の積、因子分解の積）。モデルのn次自己回帰性（== 過去方向にn次までしか依存しない）より xt-n はそれ単体で分布が定まる。
p(xt-k|xt-k-1, xt-k-2, ..., xt-n)を考えると（線形変換・ガウス確率項）ARモデルは確率項がガウス分布に従い、その平均値統計量は決定論的な線形変換で決まるため、
formula_127
であるといえる。xt-k-1より過去の系列の情報はすべてxt-k-1の実現値として集約されている。
以上をまとめると、n次自己回帰モデルは統計モデル/生成モデルとして以下のように定式化できる。
formula_128
formula_129・・・(1)
formula_130
確率分布が計算可能なため、データ（標本）が与えられた際の母集団パラメータを最尤推定を用いて推定することができる。また生成モデルであるため、モデルに従う系列の生成（例: 現時刻までのデータに基づいた将来系列の生成）が可能である。もし音声を時系列とみなせば音声合成をおこなうことが可能になる。
非線形自己回帰生成モデル.
古典的な自己回帰モデルは系列要素間の関係を線形と仮定してきたが、近年では非線形自己回帰モデルも提唱されている。人工ニューラルネットワークと深層学習の発達により発達した自己回帰生成ネットワーク（Autoregressive Generative Networks）がその代表例である。
自己回帰モデルを生成モデルとして表現したとき、xt はそれ以前の値（xt-1, xt-2 ...）で条件づけられた確率分布からサンプリングされる。線形の自己回帰モデルではガウス分布の平均値が前要素の線形変換になるとモデル化するが、この条件は緩和することができる。上記の（１）式、すなわち過去値に条件づけられた確率分布関数を非線形関数を含む任意の関数とすることでこれが達成できる。
確率分布を人工ニューラルネットワークによって表現することで非線形性を導入し深層学習によって実データに基づく分布の推定/学習（最尤推定など）をおこなったものが自己回帰生成ネットワークである。DeepMind社が開発したWaveNetはAutoregressive Generative Networksの代表例であり、音声波形を系列とみなして自己回帰モデル化・学習することにより、人の声と区別がつかない音声の合成に成功している。
バリエーション.
非線形自己回帰生成モデルは制約を緩めた分、いくつかの変種（モデル上の違い）がある。
統計的推論（学習）・最適化.
非線形自己回帰生成モデルの難点の1つは、非線形性からくるパラメータ推定の難しさにある。統計的推論には最尤推定がしばしば用いられるが、古典的な（線形）ARモデルと比較してパラメータ推定の難易度が高い。
teacher forcing.
teacher forcing は自己回帰入力に教師信号を用いる、自己回帰モデル学習技法の1つである。自己回帰モデルは系列長が長くなるほど誤差を蓄積する特性をもつ。teacher forcingは学習時に教師信号を自己回帰入力することで、誤差のない（理想的な）入力に基づいた学習を可能にする。
exposure bias.
teacher forcingで学習したモデルに関して、推論時に与えられる自己回帰入力は文字通り「自己回帰」であり、学習時に得られるようなノイズの無い理想信号とは限らない。ゆえに学習が不十分なモデルでは推論時の自己回帰入力が学習時と乖離してしまうため、その振る舞いは予期できないものになる。この問題を exposure bias という。