自己回帰モデル
自己回帰
X t = c + ∑ i = 1 p φ i X t − i + ε t {\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}
のパラメーターが一度推定されてしまえば、この自己回帰は将来の任意の時点での予測に用いることが出来る。まず、t をデータが使えない最初の時点とする。既知の値Xt-i for i=1, ..., p を自己回帰方程式に代入し、誤差項 ε t {\displaystyle \varepsilon _{t}} をゼロと置く(なぜならば Xt をその条件つき期待値と一致させるように予測し、観測されない誤差項の期待値は0であるから)ことで予測ができる。自己回帰方程式の出力は最初のデータが観測されない時点についての予測となる。次に、t をデータが使えない 次の 時点とする。もう一度自己回帰方程式を予測を作るために使うことができる。
AR(1) 過程は以下で与えられる。
X t = c + φ X t − 1 + ε t {\displaystyle X_{t}=c+\varphi X_{t-1}+\varepsilon _{t}\,}
ここで ε t {\displaystyle \varepsilon _{t}} は平均0のホワイトノイズ過程でありその分散は定数 σ ε 2 {\displaystyle \sigma _{\varepsilon }^{2}} である(注記: φ 1 {\displaystyle \varphi _{1}} の下につく添え字をなくしている)。もし | φ | < 1 {\displaystyle |\varphi |<1} ならば、この確率過程は弱定常である。というのもこの過程はホワイトノイズを入力とする定常フィルターの出力として得られるからである(もし φ = 1 {\displaystyle \varphi =1} ならば X t {\displaystyle X_{t}} の分散は無限大となり、ゆえに弱定常ではなくなる)。結果として、 | φ | < 1 {\displaystyle |\varphi |<1} を仮定すれば、平均 E  ( X t ) {\displaystyle \operatorname {E} (X_{t})} は全ての t の値について同じとなる。もし平均を μ {\displaystyle \mu } と書くのであれば、以下の式
p=2 AR(2) 過程のユール–ウォーカー方程式は γ 1 = φ 1 γ 0 + φ 2 γ − 1 {\displaystyle \gamma _{1}=\varphi _{1}\gamma _{0}+\varphi _{2}\gamma _{-1}} γ 2 = φ 1 γ 1 + φ 2 γ 0 {\displaystyle \gamma _{2}=\varphi _{1}\gamma _{1}+\varphi _{2}\gamma _{0}} γ − k = γ k {\displaystyle \gamma _{-k}=\gamma _{k}} であることを思い出せば、 第一の方程式を用いることで ρ 1 = γ 1 / γ 0 = φ 1 1 − φ 2 {\displaystyle \rho _{1}=\gamma _{1}/\gamma _{0}={\frac {\varphi _{1}}{1-\varphi _{2}}}} となり、 第二の方程式を用いることで ρ 2 = γ 2 / γ 0 = φ 1 2 − φ 2 2 + φ 2 1 − φ 2 {\displaystyle \rho _{2}=\gamma _{2}/\gamma _{0}={\frac {\varphi _{1}^{2}-\varphi _{2}^{2}+\varphi _{2}}{1-\varphi _{2}}}} となる。
これを繰り返すことで ε 1 {\displaystyle \varepsilon _{1}} の効果は永久に波及することが分かる。しかしながら、過程が定常過程ならば、この効果は極限において0となる。
全てのショックが、それが起こった時点から X に恒久的に影響を与えるため、任意の与えられた Xt の値は過去に起こったショック全てから影響を受ける。これは自己回帰方程式
φ ( B ) X t = ε t {\displaystyle \phi (B)X_{t}=\varepsilon _{t}\,}
(ここで定数項は変数が平均からの逸脱として測定されると仮定することで無視できる)が以下のように書き直せることからもまた分かる。
X t = 1 φ ( B ) ε t . {\displaystyle X_{t}={\frac {1}{\phi (B)}}\varepsilon _{t}\,.}
右辺における多項式の除算が可能なのであれば、 ε t {\displaystyle \varepsilon _{t}} に適用される後退オペレーターによる多項式は無限次元のオーダーを持つ。つまり、 ε t {\displaystyle \varepsilon _{t}} のラグ値が方程式の右辺において無限個現れる。
自己回帰モデルにおいて、一時点でのショックは将来の更新変数の値に恒久的に影響を与える。例えば、AR(1) モデル X t = c + φ 1 X t − 1 + ε t {\displaystyle X_{t}=c+\varphi _{1}X_{t-1}+\varepsilon _{t}} を考えてみよう。t=1 時点での ε t {\displaystyle \varepsilon _{t}} の値がゼロでなければ、 ε 1 {\displaystyle \varepsilon _{1}} の量だけ X 1 {\displaystyle X_{1}} に影響がある。この時、 X 1 {\displaystyle X_{1}} から見た X 2 {\displaystyle X_{2}} についてのAR方程式により、 ε 1 {\displaystyle \varepsilon _{1}} は φ 1 ε 1 {\displaystyle \varphi _{1}\varepsilon _{1}} の量だけ X 2 {\displaystyle X_{2}} に影響を与える。さらに、 X 2 {\displaystyle X_{2}} から見た X 3 {\displaystyle X_{3}} についてのAR方程式により、 ε 1 {\displaystyle \varepsilon _{1}} は φ 1 2 ε 1 {\displaystyle \varphi _{1}^{2}\varepsilon _{1}} の量だけ X 3 {\displaystyle X_{3}} に影響を与える。