在统计学中,普通最小二乘法(Ordinary Least Squares,OLS)是一种用于在线性回归模型中估计未知参数的线性最小二乘法。 OLS通过最小二乘法原则选择一组解释变量的线性函数的参数:最小化给定数据集中观察到的因变量(被预测变量的值)与预测变量之间残差的平方和。

一元线性回归求解过程

我们先以一元线性模型为例来说明。
假设有一组数据
,我们希望求出对应的一元线性模型来拟合这一组数据:
既然要拟合,总要有一个拟合程度高低的判断标准,上文说到,最小二乘法中使用的就是误差平方和方法,所以,这时候损失函数,或者说我们的目标函数就是:
有了这个目标函数,我们要做的就是求出
和
使得
最小,在这里就是极小值。
求极值的一个很好的方法就是求导,在这里因为有多个参数,所以,我们要分别对
和
求偏导:
因为
,
, 所以,上面第二个,也就是对
的偏导可以转化为:
我们知道,目标函数取得极值时,偏导一定是等于0的,所以,我们令
等于0,于是有:
接着,我们继续回到上面第一个偏导,也就是对
的偏导
,令
,并将
代入,得:
根据求和性质可得:
求和性质:
求和性质,具体可以参考