Introductory Econometrics A Modern Approach (Fourth Edition)一书(计量经济学导论,第4版,杰弗里·M·伍德里奇 著)的附录A。
分子得证
分母得证
有了上述推导证明,普通最小二乘法一般形式可以写成(字母盖小帽表示估计值,具体参考应用概率统计):
的普通最小二乘解为:

多元线性回归求解过程

对于多元的情况,需要使用矩阵运算来求解,先用矩阵表示:
其中,
目标函数:
如果要使上述目标函数最小,显然其结果为0,即:
也就是说:
最终获得解:
可以看出,对于一般的最小二乘法多元求解,使用矩阵运算即可,都不需要迭代 。
此处不做证明,具体可参考《应用概率统计》 张国权著 第九章 回归分析

最小二乘法 VS 梯度下降法

通过上面推导可知,最小二乘法可以矩阵运算求解,这种方法十分方便快捷,但这种方法不是万能的,因为线性最小二乘的解是closed-form即
,而非线性最小二乘没有closed-form(即
没有可逆矩阵),这时候矩阵运算求解就行不通,这时候就可以通过迭代法(梯度下降法)求最优解。
来具体说说这两种方法的区别:
最小二乘法梯度下降法不需要设置学习率需要设置学习率一次运算得出最优解需要多次迭代求解最优解矩阵求逆得复杂度时
,所以数据维度越大,效率越低,甚至不可接受维度较大时也适用只适用于线性模型适用性高,各种模型都可以使用
迭代法,即在每一步update未知量逐渐逼近解,可以用于各种各样的问题(包括最小二乘),比如求的不是误差的最小平方和而是最小立方和。
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。高斯-牛顿法是另一种经常用于求解非线性最小二乘的迭代法(一定程度上可视为标准非线性最小二乘求解方法)。
还有一种叫做Levenberg-Marquardt的迭代法用于求解非线性最小二乘问题,就结合了梯度下降和高斯-牛顿法。
所以如果把最小二乘看做是优化问题的话,那么梯度下降是求解方法的一种,
是求解线性最小二乘的一种,高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。
莱文贝格-马夸特方法(Levenberg–Marquardt algorithm)能提供数非线性最小化(局部最小)的数值解。此算法能借由执行时修改参数达到结合高斯-牛顿算法以及梯度下降法的优点,并对两者之不足作改善(比如高斯-牛顿算法之反矩阵不存在或是初始值离局部极小值太远)
然后Levenberg-Marquardt方法的好处就是在于可以调节:
如果下降太快,使用较小的λ,使之更接近高斯牛顿法
如果下降太慢,使用较大的λ,使之更接近梯度下降法