|  |
| --- |
| 统计学系列条目 |
| 迴歸分析 |
|  |
| 
模型 |
| * 線性回歸
* 简单线性回归（英语：）
* （OLS）
* 多项式回归
* 一般线性模型
 |
| * 廣義線性模式
* 离散选择（英语：）
* 对数几率回归
* 多项罗吉特（英语：）
* 混合罗吉特
* 波比（英语：）
* 多项式波比（英语：）
* 排序性模型（英语：）
* 有序波比（英语：）
* 泊松回归
 |
| * 等级线性模型
* 固定效应（英语：）
* 随机效应（英语：）
* 混合模型（英语：）
 |
| * 非线性回归
* 非
* 半
* 稳健
* 分位数迴歸
* 保序回归
* 主成分
* 最小角
* 局部（英语：）
* 分段
 |
| * 含误差变量（英语：）
 |
| 
估计 |
| * 
* 
* 线性
* 偏最小二乘回归
* （英语：）
* 广义
* 加权
* 非线性
* 非负（英语：）
* 重复再加权（英语：）
* 脊迴歸（嶺迴歸）
* LASSO
 |
| * 最小绝对值导数法（英语：）
* 贝叶斯（英语：）
* 贝叶斯多元（英语：）
 |
| 
背景 |
| * 回归模型检验（英语：）
* 平均响应和预测响应（英语：）
* 误差和残差
* 拟合优度
* 学生化残差（英语：）
* 
 |
| * 概率与统计主题
 |
| * 
* 论
* 编
 |

**非线性最小二乘法**是非线性形式的最小二乘法，用包含n个未知参数的非线性模型拟合m个观测值（{\displaystyle m\geq n}），可用于某些形式的非线性回归。该方法的基础是使用线性模型近似并通过连续迭代来优化参数。它与线性最小二乘法既有相同之处、也有一些显著差异。

理论
--

考虑一组{\displaystyle (x\_{1},y\_{1}),(x\_{2},y\_{2}),\dots ,(x\_{m},y\_{m})}共m个数据点以及曲线（模型函数）{\displaystyle {\hat {y}}=f(x,{\boldsymbol {\beta }})}。该曲线同时取决于x与{\displaystyle {\boldsymbol {\beta }}=(\beta \_{1},\beta \_{2},\dots ,\beta \_{n})}共n个参数（满足{\displaystyle m\geq n}）。目标是找到在最小二乘意义上与数据点拟合最好的曲线所对应的参数{\displaystyle {\boldsymbol {\beta }}}，即最小化平方和



S
=

∑

i
=
1

m

r

i

2

,

{\displaystyle S=\sum \_{i=1}^{m}r\_{i}^{2},}

{\displaystyle S=\sum _{i=1}^{m}r_{i}^{2},}
其中残差*ri*的定义为


r

i

=

y

i

−
f
(

x

i

,

β

)
,

(
i
=
1
,
2
,
…
,
m
)
.

{\displaystyle r\_{i}=y\_{i}-f(x\_{i},{\boldsymbol {\beta }}),\qquad (i=1,2,\dots ,m).}

{\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\qquad (i=1,2,\dots ,m).}
S取最小值时的梯度为零。由于模型包含n个参数，因此可得到n个梯度方程：



∂
S

∂

β

j


=
2

∑

i

r

i


∂

r

i

∂

β

j


=
0

(
j
=
1
,
…
,
n
)
.

{\displaystyle {\frac {\partial S}{\partial \beta \_{j}}}=2\sum \_{i}r\_{i}{\frac {\partial r\_{i}}{\partial \beta \_{j}}}=0\quad (j=1,\ldots ,n).}

{\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0\quad (j=1,\ldots ,n).}
在非线性系统中，偏导数{\textstyle {\frac {\partial r\_{i}}{\partial \beta \_{j}}}}同时是自变量x和参数{\displaystyle {\boldsymbol {\beta }}}的函数，因此这些梯度方程通常没有封闭解。因而必须为参数选择初始值用以迭代求解。迭代表达式为


β

j

≈

β

j

k
+
1

=

β

j

k

+
Δ

β

j

.

{\displaystyle \beta \_{j}\approx \beta \_{j}^{k+1}=\beta \_{j}^{k}+\Delta \beta \_{j}.}

{\displaystyle \beta _{j}\approx \beta _{j}^{k+1}=\beta _{j}^{k}+\Delta \beta _{j}.}
其中，k是迭代次数，{\displaystyle \Delta {\boldsymbol {\beta }}}则是偏移向量。每次迭代时，使用关于{\displaystyle {\boldsymbol {\beta }}^{k}}的一阶泰勒级数展开以线性化模型：



f
(

x

i

,

β

)
≈
f
(

x

i

,

β

k

)
+

∑

j


∂
f
(

x

i

,

β

k

)

∂

β

j



(

β

j

−

β

j

k

)

=
f
(

x

i

,

β

k

)
+

∑

j

J

i
j

Δ

β

j

.

{\displaystyle f(x\_{i},{\boldsymbol {\beta }})\approx f(x\_{i},{\boldsymbol {\beta }}^{k})+\sum \_{j}{\frac {\partial f(x\_{i},{\boldsymbol {\beta }}^{k})}{\partial \beta \_{j}}}\left(\beta \_{j}-\beta \_{j}^{k}\right)=f(x\_{i},{\boldsymbol {\beta }}^{k})+\sum \_{j}J\_{ij}\,\Delta \beta \_{j}.}

{\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }}^{k})}{\partial \beta _{j}}}\left(\beta _{j}-\beta _{j}^{k}\right)=f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}J_{ij}\,\Delta \beta _{j}.}
雅可比矩阵**J**是常数、自变量与参数的函数，因此每次迭代时的**J**并不固定。对线性化模型而言，



∂

r

i

∂

β

j


=
−

J

i
j

,

{\displaystyle {\frac {\partial r\_{i}}{\partial \beta \_{j}}}=-J\_{ij},}

{\displaystyle {\frac {\partial r_{i}}{\partial \beta _{j}}}=-J_{ij},}
残差的表达式则为



Δ

y

i

=

y

i

−
f
(

x

i

,

β

k

)
,

{\displaystyle \Delta y\_{i}=y\_{i}-f(x\_{i},{\boldsymbol {\beta }}^{k}),}

{\displaystyle \Delta y_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k}),}


r

i

=

y

i

−
f
(

x

i

,

β

)
=

(

y

i

−
f
(

x

i

,

β

k

)

)

+

(

f
(

x

i

,

β

k

)
−
f
(

x

i

,

β

)

)

≈
Δ

y

i

−

∑

s
=
1

n

J

i
s

Δ

β

s

.

{\displaystyle r\_{i}=y\_{i}-f(x\_{i},{\boldsymbol {\beta }})=\left(y\_{i}-f(x\_{i},{\boldsymbol {\beta }}^{k})\right)+\left(f(x\_{i},{\boldsymbol {\beta }}^{k})-f(x\_{i},{\boldsymbol {\beta }})\right)\approx \Delta y\_{i}-\sum \_{s=1}^{n}J\_{is}\Delta \beta \_{s}.}

{\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})=\left(y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k})\right)+\left(f(x_{i},{\boldsymbol {\beta }}^{k})-f(x_{i},{\boldsymbol {\beta }})\right)\approx \Delta y_{i}-\sum _{s=1}^{n}J_{is}\Delta \beta _{s}.}
将上述表达式代入梯度方程，可以得到



−
2

∑

i
=
1

m

J

i
j

(

Δ

y

i

−

∑

s
=
1

n

J

i
s

 
Δ

β

s

)

=
0
,

{\displaystyle -2\sum \_{i=1}^{m}J\_{ij}\left(\Delta y\_{i}-\sum \_{s=1}^{n}J\_{is}\ \Delta \beta \_{s}\right)=0,}

{\displaystyle -2\sum _{i=1}^{m}J_{ij}\left(\Delta y_{i}-\sum _{s=1}^{n}J_{is}\ \Delta \beta _{s}\right)=0,}
以上方程可化简为n个联立的线性方程，称为**正规方程**（normal equations）：


∑

i
=
1

m

∑

s
=
1

n

J

i
j

J

i
s

 
Δ

β

s

=

∑

i
=
1

m

J

i
j

 
Δ

y

i

(
j
=
1
,
…
,
n
)
.

{\displaystyle \sum \_{i=1}^{m}\sum \_{s=1}^{n}J\_{ij}J\_{is}\ \Delta \beta \_{s}=\sum \_{i=1}^{m}J\_{ij}\ \Delta y\_{i}\qquad (j=1,\dots ,n).}

{\displaystyle \sum _{i=1}^{m}\sum _{s=1}^{n}J_{ij}J_{is}\ \Delta \beta _{s}=\sum _{i=1}^{m}J_{ij}\ \Delta y_{i}\qquad (j=1,\dots ,n).}
正规方程可用矩阵表示法写成


(

J

T

J

)

Δ

β

=

J

T

 
Δ

y

.

{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\ \Delta \mathbf {y} .}

{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\ \Delta \mathbf {y} .}
上述方程是使用高斯-牛顿算法（英语：）求解非线性最小二乘问题的的基础。

需要注意的是雅可比矩阵定义中导数的符号约定。某些文献中的**J**可能与此处的定义相差一个负号。

### 权重扩展

不同数据点（观测结果）的可靠性并不一定相同，此时可使用加权平方和



S
=

∑

i
=
1

m

W

i
i

r

i

2

.

{\displaystyle S=\sum \_{i=1}^{m}W\_{ii}r\_{i}^{2}.}

{\displaystyle S=\sum _{i=1}^{m}W_{ii}r_{i}^{2}.}
权重矩阵**W**是一个对角矩阵，理想情况下每个权重系数应等于观测误差方差的倒数。此时，正规方程可扩展为


(

J

T

W
J

)

Δ

β

=

J

T

W

 
Δ

y

.

{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\mathbf {W} \ \Delta \mathbf {y} .}

{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {WJ} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\mathbf {W} \ \Delta \mathbf {y} .}

参见
--

* 曲线拟合
* 灰箱模型
* 非线性规划
* 非线性回归
* 最优化
* 莱文伯格-马夸特方法

参考文献
----

* Kelley, C. T.  (PDF). SIAM Frontiers in Applied Mathematics **no 18**. 1999. ISBN 0-89871-433-8.
* Strutz, T.  2nd. Springer Vieweg. 2016. ISBN 978-3-658-11455-8.