自己回帰移動平均モデル

自己回帰移動平均モデル（じこかいきいどうへいきんモデル、、ARMAモデル）は自己回帰モデルによる線形フィードバックと移動平均モデルによる線形フィードフォワードによりシステムを表現するモデルである。George Box と G. M. Jenkins の名をとって "ボックス・ジェンキンスモデル" とも呼ばれる。
ARMAモデルは時系列データの将来値を予測するツールとして機能する。
定義.
formula_1 次の自己回帰 (AR) および formula_2 次の移動平均 (MA) からなる自己回帰移動平均モデル formula_3 は以下のように定義される。
ここで formula_5 は定数、formula_6 は自己回帰パラメータ、formula_7 は移動平均パラメータ (formula_8)、formula_9 は時刻 formula_10 におけるホワイトノイズである。
すなわちARMAモデルでは、各時刻でサンプリングされたホワイトノイズが過去時刻 formula_2 まで重み付け和でフィードフォワードされ、また過去時刻 formula_1 まで出力が線形フィードバックされ、定数に足しこまれることで現在値が得られる。
自己回帰モデル.
AR("p") という表記は次数 "p" の自己回帰モデルを表す。AR("p")モデルは次の式で表される。
ここでformula_13はモデルのパラメータ、formula_14 は定数項、formula_15 は誤差項（後述）である。定数項は単純化するために省かれることが多い。
自己回帰モデルは基本的に無限インパルス応答フィルタに一種の変形を加えたものである。
モデルとして定常的であるために、パラメータの値には何らかの制約が必要である。例えば、|φ1| > 1 となる AR(1)モデルは定常的ではない。
例: AR(1)過程.
AR(1)過程は次の式で表される。
ここで、formula_15 は、formula_17の分散に従うホワイトノイズである（formula_18 のような添え字は省いてある）。この過程は formula_19 であれば、共分散定常性を有する。formula_20 であれば、formula_21 は単位根を表し、ランダムウォークと見なされ、共分散定常性を有しない。そうでない場合、formula_21 の期待値の計算は単純である。ここで共分散定常性を以下のように定式化する。
従って、次のようになる。
ここで formula_23 は平均である。c = 0 なら、平均も 0 になり、分散は次のようになる。
自己共分散は次の式で表される。
この自己共分散関数は減衰時間 formula_24 で減衰する（これを確かめるには、formula_25 で formula_26 が formula_27 に独立な場合を考えればよい。formula_28 であり、指数関数的減衰の法則 formula_29 に適合することに注意されたい）。スペクトル密度関数は自己共分散関数の逆フーリエ変換である。離散系では、離散時間逆フーリエ変換が適用される。
=\frac{1}{\sqrt{2\pi}}\,\left(\frac{\sigma^2}{1+\varphi^2-2\varphi\cos(\omega)}\right).
formula_30 が離散的であるため、この式の分母にあるコサインの項が折り返し雑音（エイリアス）を表している。標本化間隔(formula_31)が減衰時間(formula_32)より十分に小さいと仮定すると、formula_33 に連続体近似を適用できる。
この場合、スペクトル密度はローレンツ分布に従う。
ここで formula_34 は減衰時間 formula_32 に関する角周波数である。
formula_21 の別の表現方法として、最初の式で formula_37 を formula_38 に置き換える方法がある。これを再帰的に "N"回繰り返すと次の式になる。
"N" が無限大に近づくと、formula_39 はゼロに近づき、最終的に次の式が得られる。
ARパラメータの計算.
AR("p")モデルは次の方程式で与えられる。
これはパラメータ formula_40（"i" = 1, ..., "p"）に基づいている。これらパラメータは以下の Yule-Walker方程式で計算できる可能性がある。
ここで "m" = 0, ... , "p" であり、"p" + 1 個の方程式となる。formula_41 は X の自己共分散関数、formula_42 は入力ノイズ過程の標準偏差、δm はクロネッカーのデルタである。
この式の最後の部分は "m" = 0 のときだけ 0 でない値となるので、この方程式は一般に "m" > 0 のときの行列式で表すことで解ける。
これにより formula_43 が全て求められる。また、"m" = 0 のときは次のようになる。
これにより formula_44 が求められる。
導出.
AR過程を定義する方程式は次の通りである。
両辺に Xt-m をかけて、期待値を求めるとしたとき、次のようになる。
自己共分散関数の定義から、formula_45 である。ノイズ関数の値は互いに独立であり、ゼロより大きい "m" について "X""t" − "m" は εt に独立である。"m" ≠ 0 の場合、formula_46 となる。"m" = 0 の場合、次のようになる。
従って、次が得られる。
さらに
これにより次の Yule-Walker方程式が導かれる。
誤差項.
誤差項 εt は一般に「独立かつ同一の分布に従う」(i.i.d.)無作為変数であり、ゼロを平均値とする正規分布に従う。すなわち εt ~ N(0,σ2) で、σ2 は分散である。このような仮定を弱めることもあるが、そうするとモデルとしての性質が変化する。特に、i.i.d. という仮定を変更すると根本的な性質が変化する。
ラグ（遅れ）作用素を使った記法.
ARMAモデルをラグ作用素（遅れ作用素） "L" を使って表す場合もある。この場合、AR("p")モデルは次のように表される。
ここで、φ は次の多項式で表される。
また、MA("q")モデルは次のように表される。
ここで θ は次の多項式で表される。
以上から、ARMA("p", "q")モデルは次のように表される。
あるいは、もっと簡潔に記せば、次のようになる。
ラグ作用素とは、時系列データのある時点のデータで他の時点のデータを表すように係数化したもの。上記の式はいずれも "X"t しか出現しない（他の時点のデータが出てこない）ことに注意されたい。他の時点のデータは全てラグ作用素によって表されている。
実データへの適用.
実データに適用する場合、ARMAモデルの p と q を選択後、誤差項を最小化するパラメータを探るため最小二乗法を使うのが普通である。また、実データに適合する最小の p および q を見つけることでよい結果が得られることが知られている。純粋なARモデルでは、これに Yule-Walker 方程式を利用することができる。
一般化.
ARMAモデルの一般化として次が挙げられる。