**自迴歸模型**（英文：**Autoregressive model**，**AR**）係一種方法攞嚟處理一迾觀察值{\displaystyle X\_{1}\ldots X\_{t}}嘅，種序迾可以係時間序迾或者空間序迾。通過對前便啲觀察值（通常係喺一橛窗口裏頭啲嘅）做迴歸可以得出孻尾隻觀察值，而考慮埋孻尾觀察值甚至可以對後續（相當於時間上係喺未來）啲觀察值做預測。「自」表示隻方法係對{\displaystyle X}序迾本身做嘅而嘸係做畀另外嘅變數{\displaystyle Y}；「迴歸」指明方式係迴歸分析。符號上，自迴歸模型用{\displaystyle AR(p)}表示。

定義
--

對於序迾*{\displaystyle p}，*{\displaystyle AR(p)}模型着定義成：

{\displaystyle X\_{t}=c+\sum \_{i=1}^{p}\varphi \_{i}X\_{t-i}+\varepsilon \_{t}}
其中{\displaystyle \varphi \_{1},\ldots ,\varphi \_{p}}係啲參數，{\displaystyle c}係隻常數，{\displaystyle \varepsilon \_{t}}係白噪聲（平均數等於0，標準差等於{\displaystyle \sigma }嘅隨機誤差）。

借由褪後操作符{\displaystyle B}可以等效噉表示過上式，成：

{\displaystyle X\_{t}=c+\sum \_{i=1}^{p}\varphi \_{i}B^{i}X\_{t}+\varepsilon \_{t}}
捉右邊{\displaystyle X\_{t}}項左移到左便合併攞多項式表示法表示有：

{\displaystyle \phi [B]X\_{t}=c+\varepsilon \_{t}\,.}
即係可以捉自回歸模型睇作係個輸出、出自輸入為白噪聲嘅全極點無限脈衝響應濾波器（all-pole infinite impulse response filter）嘅。

另外，{\displaystyle AR(p)}都可以着睇作係一種畀連續觀察值嘅概率性模型：

{\displaystyle P(X\_{t}|X\_{t-1}\ldots X\_{p})\sim N\left(c+\sum \_{i=1}^{p}\varphi \_{i}X\_{t-i},\sigma \right)}
其中{\displaystyle N}表示個高斯分佈。

### 性質

{\displaystyle AR}模型個平均值函數、自協方差（autocovariance）係：

{\displaystyle {\begin{aligned}\mu \left(t\right)&=E\left[X\_{t}\right]\\\gamma \left(t,i\right)&=Cov\left(X\_{t},X\_{t-1}\right)\end{aligned}}}
個自協方差可以透過皮亞遜自積差相關方程做歸一化：

{\displaystyle \rho (t,i)={\dfrac {Cov(X\_{t},X\_{t-i})}{{\sqrt {Var(X\_{t})}}{\sqrt {Var(X\_{t-i})}}}}}
其中{\displaystyle Var}係方差。自協方差表示手頭有往前個數據嗰陣，幾大程度可以知曉到後便個值。

### 平穩性

好多時，要解得{\displaystyle AR}模型嘅話需要到某種平穩性（stationarity）嚟排除啲值隨 {\displaystyle t} 嘅變動（以下對於任意 {\displaystyle t} 、{\displaystyle i} 都成立）：

{\displaystyle E[X\_{t}]=E[X\_{t-i}]=\mu } ，表示平均函數係常數；
{\displaystyle Cov(X\_{t},X\_{t-i})=\gamma \_{i}}，表示自協方差取決於距離間隔而嘸係取決於 {\displaystyle t} ；
{\displaystyle E[|X\_{t}|^{2}]<\infty }，表示前面兩者都係求得到嘅。
喺噉樣嘅平穩性限制下，隻{\displaystyle AR(p)}模型會有以下啲動差：

{\displaystyle E[X\_{t}]=\mu ={\dfrac {c}{1-\sum \_{i=1}^{p}\varphi \_{i}}}} ，表示平均函數係常數；
{\displaystyle Var(X\_{t})=\gamma \_{0}=\sum \_{j=1}^{p}\varphi \_{j}\gamma \_{-j}+\sigma ^{2}}；
{\displaystyle Cov(X\_{t},X\_{t-i})=\gamma \_{i}=\sum \_{j=1}^{p}\varphi \_{j}\gamma \_{i-j}}，表示自方差取決於距離而嘸取決於 {\displaystyle t} ；
{\displaystyle \rho \_{i}={\dfrac {\gamma \_{i}}{\gamma \_{0}}}}。
對於{\displaystyle AR(1)}模型裏頭啲過程需要有{\displaystyle |\varphi \_{1}|<1}先平穩得；對於{\displaystyle AR(2)}模型要有{\displaystyle \varphi \_{1}+\varphi \_{2}<1}；{\displaystyle \varphi \_{2}-\varphi \_{1}<1}；{\displaystyle |\varphi \_{2}|<1}。推廣開去，對於{\displaystyle AR(p)}模型，廣義平穩性要求多項式根{\displaystyle \Phi (z):=\textstyle 1-\sum \_{i=1}^{p}\varphi \_{i}z^{p-i}}要喺單位圓外即每個複數根{\displaystyle z\_{i}}要滿足{\displaystyle |z\_{i}|>1} 。

參數估計
----

估計係數嘅方法有好多，例如普通最細二乘法或者矩量法（通過 Yule-Walker 方程）。

模型基於參數{\displaystyle \varphi \_{i}}，其中*i* = 1, ... *p* 。啲參數戥過程嘅協方差函數之間存在有直接對應關係，而且可以將種對應關係倒過嚟從自相關函數（本身係從協方差獲得嘅）確定返參數。呢個可以使用 Yule-Walker 方程完成。

### Yule-Walker 方程

Yule-Walker 方程命名自Udny Yule同Gilbert Walker，係以下方程組：

{\displaystyle \gamma \_{m}=\sum \_{k=1}^{p}\varphi \_{k}\gamma \_{m-k}+\sigma \_{\varepsilon }^{2}\delta \_{m,0}}
其中*m* = 0, …, *p* ，產生*p* + 1方程。當中嘅{\displaystyle \gamma \_{m}}係{\displaystyle X\_{t}}嘅自協方差函數；最後部分{\displaystyle \sigma \_{\varepsilon }}係輸入噪音過程嘅標準差，{\displaystyle \delta \_{m,0}}係Kronecker delta 函數。最後項 {\displaystyle \sigma \_{\varepsilon }^{2}\delta \_{m,0}} 唯有喺*m* = 0先非零，*m* > 0 嗰陣都係零，所以可以先求解所有啲{\displaystyle \{\varphi \_{m};m=1,2,\dots ,p\}.}{\displaystyle \{\varphi \_{m};m=1,2,\dots ,p\}.}{\displaystyle \{\varphi \_{m};m=1,2,\dots ,p\}}，憑以下方程組：

{\displaystyle {\displaystyle {\begin{bmatrix}\gamma \_{1}\\\gamma \_{2}\\\gamma \_{3}\\\vdots \\\gamma \_{p}\\\end{bmatrix}}={\begin{bmatrix}\gamma \_{0}&\gamma \_{-1}&\gamma \_{-2}&\cdots \\\gamma \_{1}&\gamma \_{0}&\gamma \_{-1}&\cdots \\\gamma \_{2}&\gamma \_{1}&\gamma \_{0}&\cdots \\\vdots &\vdots &\vdots &\ddots \\\gamma \_{p-1}&\gamma \_{p-2}&\gamma \_{p-3}&\cdots \\\end{bmatrix}}{\begin{bmatrix}\varphi \_{1}\\\varphi \_{2}\\\varphi \_{3}\\\vdots \\\varphi \_{p}\\\end{bmatrix}}}}
*m* = 0 嗰陣，剩餘方程係：

{\displaystyle \gamma \_{0}=\sum \_{k=1}^{p}\varphi \_{k}\gamma \_{-k}+\sigma \_{\varepsilon }^{2}}
其中，一旦{\displaystyle \{\varphi \_{m};m=1,2,\dots ,p\}}已知，可以求解返{\displaystyle \sigma \_{\varepsilon }^{2}.}

考
-

1. ↑  Shumway, Robert; Stoffer, David (2010). *Time series analysis and its applications : with R examples* (第3版). Springer. ISBN 144197864X.
2. ↑  Yule, G. Udny (1927) "On a Method of Investigating Periodicities in Disturbed Series, with Special Reference to Wolfer's Sunspot Numbers", *Philosophical Transactions of the Royal Society of London*, Ser. A, Vol. 226, 267–298.]
3. ↑  Walker, Gilbert (1931) "On Periodicity in Series of Related Terms", *Proceedings of the Royal Society of London*, Ser. A, Vol. 131, 518–532.
4. ↑  Theodoridis, Sergios (2015-04-10). "Chapter 1. Probability and Stochastic Processes". *Machine Learning: A Bayesian and Optimization Perspective*. Academic Press, 2015. pp. 9–51. ISBN 978-0-12-801522-3.