自己回帰モデル
ARモデルの係数の推定には多数の方法があり、例えば最小二乗法の手続きや、もしくは(ユール–ウォーカー方程式(英: Yule–Walker equation)を通した)モーメント法がある。
AR(p) モデルは以下の方程式で与えられる。
X t = ∑ i = 1 p φ i X t − i + ε t . {\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,}
この方程式はパラメーター φ i {\displaystyle \varphi _{i}} i = 1, ..., p に基いている。これらのパラメーターと過程の共分散関数の間には直接的な対応が存在し、その対応は(共分散から得られる)自己相関関数からパラメーターを決定する為に裏返すことができる。これはユール–ウォーカー方程式を用いて行われる。
自己回帰モデルの予測性能は、クロス・バリデーションが行われるならば、推定の後に即座に評価できる。この方法においては、最初の方の利用可能なデータはパラメーターの推定の為に用いられ、データセットにおける後の方のデータはアウトオブサンプルのテストとして残しておく。他には、パラメーター推定が行われた後にしばらくしたあと、より多くのデータが利用可能になり予測性能を新しいデータを使うことで評価できる。
どちらのケースも、評価可能な予測性能には2つの側面がある。1期先予測の性能と n 期先予測の性能である。1期先予測の性能について、推定パラメーターは予測を行った期以前の全ての期における X の観測値と共に自己回帰方程式が用いられ、方程式の出力は1期先予測となる。この手続きはアウトオブサンプルの観測値についての予測を得るために用いられる。n 期先予測の質を評価する為には、予測を得るために前の節での予測手続きが用いられる。
予測値のセットと対応する様々な期間の X の本当の値のセットが与えられたとして一般的な評価のテクニックは平均二乗予測誤差(英語版)を用いることである。
, x t − n ) = N ( x t − k | w t − k − 1 ⋅ x t − k − 1 , σ ) {\displaystyle x_{t-k}\thicksim p(x_{t-k}|x_{t-k-1},...,x_{t-n})=N(x_{t-k}|w_{t-k-1}\cdot x_{t-k-1},\sigma )} ・・・(1)
X n ∼ p A R ( n ) ( X n ) = ( ∏ i = 0 n − 1 p ( x t − i | ⋂ j = i + 1 n x t − j ) ) ⋅ p ( x t − n ) = ( ∏ i = 0 n − 1 N ( x t − i | w t − i − 1 ⋅ x t − i − 1 , σ ) ) ⋅ p ( x t − n ) {\displaystyle X_{n}\thicksim p_{AR(n)}(X_{n})=(\prod _{i=0}^{n-1}p(x_{t-i}|\bigcap _{j=i+1}^{n}x_{t-j}))\cdot p(x_{t-n})=(\prod _{i=0}^{n-1}N(x_{t-i}|w_{t-i-1}\cdot x_{t-i-1},\sigma ))\cdot p(x_{t-n})}
確率分布が計算可能なため、データ(標本)が与えられた際の母集団パラメータを最尤推定を用いて推定することができる。また生成モデルであるため、モデルに従う系列の生成(例: 現時刻までのデータに基づいた将来系列の生成)が可能である。もし音声を時系列とみなせば音声合成をおこなうことが可能になる。
AR(p) 過程の自己相関関数は以下のように表すことが出来る。
ρ ( τ ) = ∑ k = 1 p a k y k − | τ | , {\displaystyle \rho (\tau )=\sum _{k=1}^{p}a_{k}y_{k}^{-|\tau |},}
ここで y k {\displaystyle y_{k}} は以下の多項式の根である。
φ ( B ) = 1 − ∑ k = 1 p φ k B k {\displaystyle \phi (B)=1-\sum _{k=1}^{p}\varphi _{k}B^{k}}
ここで B は後退オペレーター(英語版)であり、 φ ( . ) {\displaystyle \phi (.)} は自己回帰を定義する関数、 φ k {\displaystyle \varphi _{k}} は自己回帰における係数である。
AR(p) 過程の自己相関関数は指数減衰する部分の和となっている。
全ての実数根は指数減衰する自己相関関数の構成要素として寄与する。
同様にすべての複素数の共役根の組は指数的に減衰する循環として寄与する。
teacher forcing は自己回帰入力に教師信号を用いる、自己回帰モデル学習技法の1つである。自己回帰モデルは系列長が長くなるほど誤差を蓄積する特性をもつ。teacher forcingは学習時に教師信号を自己回帰入力することで、誤差のない(理想的な)入力に基づいた学習を可能にする。
exposure bias
teacher forcingで学習したモデルに関して、推論時に与えられる自己回帰入力は文字通り「自己回帰」であり、学習時に得られるようなノイズの無い理想信号とは限らない。ゆえに学習が不十分なモデルでは推論時の自己回帰入力が学習時と乖離してしまうため、その振る舞いは予期できないものになる。この問題を exposure bias という。