高杠杆值的点称为
高杠杆点(high leverage case),是离群点、异常点。
结合杠杆值的定义,残差的平方可以写为:
之前说过要给出(30)的另一种证明。回顾这个定义:
那么:
预测值的方差可以写为:
说明高杠杆点的响应变量的预测值的方差较大。说明高杠杆点不仅影响回归方程也影响自身预测值的波动程度。下面就来考察一下给定解释变量新值
,响应变量新值的点估计(也可叫预测)、区间估计和响应变量新值的期望的区间估计。之前遗漏了一个简单但很重要的结论:
也即
。该式给出了响应变量新值
的点估计就是
。
但要注意的是,是随机变量,不能说是的无偏估计,只能说是的无偏估计,或者说是关于的条件期望的无偏估计。
实际上还有:
之前也得到了:
实际上
是
的线性组合,而它们又是之前观测的
个样本
的线性组合,而新值
与之前
个观测是独立的,那
与
独立(这一点很重要),那么:
但
未知,只能用它的无偏估计
替换,与
的预测区间类似,正态变量变为
变量,从而
的
预测区间为:
由于新值
的期望
是一个常数,故:
从而新值的期望的
的预测区间为:
从(49)和(50)可知新值的预测区间和新值的期望的预测区间只相差根号下的1。
多元线性回归模型
模型形式:
写为矩阵形式:
其中:
除了两个基本假定:
零均值、等方差、无自相关(Gauss-Markov假定)正态分布、相互独立假定
相互独立
多元的情形还需增加一条:
是满秩矩阵,即
。且要求样本量大于解释变量的个数:
有关回归系数的估计值、系数显著性和方程显著性的假设检验详见一文详解t检验和一文详解F检验。这里给出:
令
。则
统计量和
统计量:
其中
是
的无偏估计,
的定义同前:
总离差平方和:
回归平方和:
残差平方和:
令:
表示解释变量的新值。类似一元的情形,响应变量新值的区间预测和响应变量新值的期望的区间预测:
接着要介绍广义
检验。实际上上述
检验是广