|  |
| --- |
| 统计学系列条目 |
| 迴歸分析 |
|  |
| 
模型 |
| * 線性回歸
* 简单线性回归
* （OLS）
* 多项式回归
* 一般线性模型
 |
| * 廣義線性模式
* 离散选择（英语：）
* 对数几率回归
* 多项罗吉特（英语：）
* 混合罗吉特
* 波比（英语：）
* 多项式波比（英语：）
* 排序性模型（英语：）
* 有序波比（英语：）
* 泊松回归
 |
| * 等级线性模型
* 固定效应（英语：）
* 随机效应（英语：）
* 混合模型（英语：）
 |
| * 非线性回归
* 非
* 半
* 稳健（英语：）
* 分位数迴歸
* 保序回归
* 主成分
* 最小角
* 局部（英语：）
* 分段（英语：）
 |
| * 含误差变量（英语：）
 |
| 
估计 |
| * 
* 
* 线性
* 偏最小二乘回归
* （英语：）
* 广义
* 加权
* 非线性
* 非负（英语：）
* 重复再加权（英语：）
* 脊迴歸（嶺迴歸）
* LASSO
 |
| * 最小绝对值导数法（英语：）
* 贝叶斯（英语：）
* 贝叶斯多元（英语：）
 |
| 
背景 |
| * 回归模型检验（英语：）
* 平均响应和预测响应（英语：）
* 误差和残差
* 拟合优度（英语：）
* 学生化残差（英语：）
* 
 |
| * 概率与统计主题
 |
| * 
* 论
* 编
 |

**广义最小二乘法**（英語：）是統計學中的一个方法，当回归模型中的残差之间存在一定程度的相关性时，它可以被用于估计线性回归模型中的未知参数。最小二乘法和加权最小二乘法可能需要提高统计效率并防止误导性推论。GLS由新西兰数学家亚历山大·艾特肯（Alexander Aitken）于1935年首次描述。

概述
--

在一个标准线性回归中，有数据组{\displaystyle \{y\_{i},x\_{ij}\}\_{i=1,\dots ,n,j=2,\dots ,k}}

因变量有：



y

≡

(

y

1



⋮


y

n


)

,

{\displaystyle \mathbf {y} \equiv {\begin{pmatrix}y\_{1}\\\vdots \\y\_{n}\end{pmatrix}},}

{\displaystyle \mathbf {y} \equiv {\begin{pmatrix}y_{1}\\\vdots \\y_{n}\end{pmatrix}},}预测变量被放入了如下的设计矩阵



X

≡

(

1

x

12


x

13

⋯

x

1
k



1

x

22


x

23

⋯

x

2
k



⋮

⋮

⋮

⋱

⋮

1

x

n
2


x

n
3

⋯

x

n
k


)

,

{\displaystyle \mathbf {X} \equiv {\begin{pmatrix}1&x\_{12}&x\_{13}&\cdots &x\_{1k}\\1&x\_{22}&x\_{23}&\cdots &x\_{2k}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x\_{n2}&x\_{n3}&\cdots &x\_{nk}\end{pmatrix}},}

{\displaystyle \mathbf {X} \equiv {\begin{pmatrix}1&x_{12}&x_{13}&\cdots &x_{1k}\\1&x_{22}&x_{23}&\cdots &x_{2k}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n2}&x_{n3}&\cdots &x_{nk}\end{pmatrix}},}这里每行是一个有k预测变量的向量，每行对应第i个数据点。这个模型假设\mathbf {y} 在\mathbf{X}下的的条件均值将会是\mathbf{X}的线性函数，且在\mathbf{X}下的方差是一个非奇异方差矩阵{\displaystyle \mathbf {\Omega } }，有



y

=

X

β

+

ε

,

E
⁡
[

ε

∣

X

]
=
0
,

Cov
⁡
[

ε

∣

X

]
=

Ω

,

{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\quad \operatorname {E} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=0,\quad \operatorname {Cov} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\boldsymbol {\Omega }},}

{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\quad \operatorname {E} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=0,\quad \operatorname {Cov} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\boldsymbol {\Omega }},}这里{\displaystyle {\boldsymbol {\beta }}\in \mathbb {R} ^{k}}是一个含有未知常数的矩阵，称为回归系数（regression coefficients），它们从回归中预测得到。如果\mathbf {b} 是{\boldsymbol {\beta }}可能的值，则对\mathbf {b} 的残余值是{\displaystyle \mathbf {y} -\mathbf {X} \mathbf {b} }.广义最小二乘法通过最小化馬哈拉諾比斯距離来预测{\boldsymbol {\beta }}：




β
^



=

argmin

b

(

y

−

X

b

)

T


Ω

−
1

(

y

−

X

b

)



=

argmin

b



y

T



Ω

−
1

y

+
(

X

b

)

T


Ω

−
1

X

b

−

y

T


Ω

−
1

X

b

−
(

X

b

)

T


Ω

−
1

y

,



{\displaystyle {\begin{aligned}{\hat {\boldsymbol {\beta }}}&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} )\\&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -\mathbf {y} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} \,,\end{aligned}}}

{\displaystyle {\begin{aligned}{\hat {\boldsymbol {\beta }}}&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} )\\&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -\mathbf {y} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} \,,\end{aligned}}}相当于



β
^

=

argmin

b



y

T



Ω

−
1

y

+

b

T


X

T


Ω

−
1

X

b

−
2

b

T


X

T


Ω

−
1

y

,

{\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -2\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} ,}

{\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -2\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} ,}这是一个二次规划问题。目标函数的驻点出现在以下情况：


2

X

T


Ω

−
1

X

b

−
2

X

T


Ω

−
1

y

=
0
,

{\displaystyle 2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} {\mathbf {b} }-2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} =0,}

{\displaystyle 2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} {\mathbf {b} }-2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} =0,}所以：



β
^

=

(

X

T


Ω

−
1

X

)

−
1

X

T


Ω

−
1

y

.

{\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} .}

{\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} .}数量{\displaystyle \mathbf {\Omega } ^{-1}}称为精度矩阵（或分散矩阵），是对角权重矩阵的推广。