2.3 残差分析 前面讨论的是线性回归模型的参数估计和有 关的统计推断,这些讨论都是在对模型作了一定 的假设进行的,其中最重要的是回归关系的线性 假设,误差项的独立同正态分布假设。当给定了 一批数据后,如何考察这些数据满足假设是回归 分析的一个重要环节。 这些假设涉及到误差项,而误差是不可测的, 我们能够使用的是其估计量残差。 从误差的估计值(残差)出发分析关于误差项 假定的合理性以及线性回归关系的假定的可行性称 为残差分析。 2.3.1 误差项的正态性检验 一、学生化残差 假设误差向量 则残差向量 ? ~ N (0,? I ) 2 2 ? ? ~ N (0,? ( I ? H )) 其中H是n阶对称幂等矩阵 H ? X (X X ) X T ?1 T 故 其中 ?i ~ N (0,? (1 ? hii )),i ? 1,2,?, n ? hii ? x ( X X ) xi T i T ?1 是H主对角线的第 i 个元素,称为 杠杆量。 由于残差的方差和杠杆量有关,故一般情况 下,残差的方差不相等,这不利于残差的应用,, 因此我们将残差标准化。 ri ? ?i ? MSE(1 ? hii ) , i ? 1,2,?, n 称为学生化残差,当n较大时,可认为其服从 标准正态分布。这是检验误差项独立同正态分布 的基础。 二、残差正态性的频率检验 残差正态性的频率检验是一种很直观的检验 方法,其基本思想是学生化残差落入一些范围的 频率与标准正态分布在相应范围内的概率做比较, 若二者相差较大,则认为残差(从而模型误差) 不服从正态分布。 在实际应用中,一般取几个具有代表性的区间 进行比较。例如(-1,1)(-1.5, 1.5)( 2, 2) 服从标准正态分布的随机变量取值在( -1, 1) 内的概率为 0.68 ;在(-1.5,1.5) 内的概率为 0.87 ; 在( -2,2)内为 0.95,因此若模型误差项独立同 正态分布,则当 n较大时,学生化残差中应大约有 68% 的点落在在(-1 , 1 ) 内;大约有87% 在(1.5,1.5)内,大约95%在(-2,2)内。 若在某个区间内差异较大,则有理由怀疑误差 独立同正态分布的假设的合理性。 三、残差的正态qq图检验 (1)学生化残差正态qq图做法 1 )写出学生化残差的次 序统计量: r(1) , r( 2) ,?, r( n) 2)对每个 i ? 1,2,?, n, 计算 q( i ) i ? 0.375 ?? ( ) n ? 0.25 ?1 3 )在坐标系中描出点( q(i ),r(i ) ) 则所得的散点图即为学生化残差的正态qq图, 利用正态 qq 图可以直观检验误差正态性假设的合 理性 (2)相关系数检验。 除了上述直观检验外,我们还可以构造两者 的相关系数来度量二者之间线性关系的强弱。其 相关系数估计为 ?? ? ? (r i ?1 n (i ) ? r )(q(i ) ? q ) n ? (r i ?1 n (i ) ? r )? (q(i ) ? q ) i ?1 若?接近于 1 ,则散点图上点大致在 一条直线上。 2.3.2 残差图的分析 残差图是以残差为纵坐标,以其他有关量为横 坐标的散点图。 通过考察不同类型残差图可以对误差项分布的 正态性,等方差性以及回归关系的线性性等假定的 合理性作出直观检测,还可以对回归方程是否有必 要引进自变量的高次项、交叉项等提供参考。 (1)以因变量Y的拟合值为横坐标的散点图。 若线性回归关系正确且误差服从正态分布,则 因变量的拟合值与残差向量相互独立。这时残差图 中的点应大致在一个水平的带状区域内,没有任何 明显地趋势,如下图: 还可以用以下坐标做残差图,两种残差图原理 与上一个相同 (2)以自变量观测值为横坐标的散点图。 ( 3 )以观测时间或观测值序号横坐标的散点 图。 2.3.2 Box-Cox变换 通过残差分析可以发现所给数据的某些特点和模型 假定的一些不足之处,接下来的问题就是要采取相应的 措施改进其不足,以建立更好的回归模型。 一个常用的改进措施就是Box-Cox变换,它通过 对因变量Y做适当变换,使原数据尽可能满足线性回归 模型的条件。 Box-Cox变换对因变量Y做如下变换: Y (? ) ?Y ? ? 1 , ? ?? ? ?ln Y , ? ??0 ? ?0 我们要确定 ?,使得Y (? )满足: Y (? ) ? X? ? ? , ? ~ N (0,? 2 E) 也就是说,我们通过因变量的变换,使得变换后 因变量与自变量有线性相关关系,且满足误差项的 假设。 ?的取值我们通过以下方 法确定: 选择?,使SSE (? , Z 达到最小。 其中 (? ) (? ) T Z ( ? ) ? ( z1( ? ) , z2 , ?, z n ) (? ) ) ? (Z (? ) T ) ( E ? X ( X X ) X )Z T T ?1 (? ) zi( ? ) ? ?1 n ? ? n ( y ? 1 ) / ? [ y ] , ??0 ? i ? i ? i ?1 ?? 1 n ?(ln y )[ y ] n , ? ? 0 ? i i ? i ?1 ? 2.4 回归方程的选取 回归方程的选取包括回归方程类型的选取和回归 方程类型确定后自变量的选取。我们主要讨论自变量 的选取 人们在建立线性回归模型时,会考虑用全部可能 的自变量建立回归方程,这样做的问题有 : (1)会将一些对因变量影响很小甚至根本无影响 的自变量也包含在回归方程中,从而使计算量增加, 并会导致回归参数估计和因变量预测值的精度下降。 (2)自变量太多不利于应用回归方程对实际问题 做出合理的解释,也会造成数据收集和模型应用 代价的不必要的增大。 因此在实际应用中,从与因变量有线形关系的 自变量集合中,选取一个最优的子集,以建立一个 合理而又简单的回归方程十分重要。 一,穷举法 穷举法就是从与因变量有线性关系的所有可能 自变量的所有子集所拟合的回归方程中,按照一定 的准则选取最优的一个或几个。 下面是sas提供选择的几个穷举法的选取准则 (1) 复相关系数准则 R ( p) ? 1 ? 2 p SSE p SST P是回归系数的个数 (2) 修正的复相关系数准则 (n ? 1)MSE p n ? 1 SSE p R ( p) ? 1 ? ( ) ? 1? n ? p SST SST 2 a (3) Cp准则 Cp ? SSE p MSE ? (n ? 2 p) 二,逐步回归法 穷举法从理论上讲是选择回归方程最好的方法, 但是,穷举法所拟合的方程个数随自变量数目的增加 而成倍增加。其计算量非常大。 逐步回归法的基本思想是依次拟合一系列回归方程, 后一个回归方程是在前一个的基础上增加或删除一个 自变量,其增加和删除的原则是用残差平方和的相对 减少或增加量来衡量。 偏F统计量: SSE ( A) ? SSE ( A, X k ) SSR( X k | A) Fk ? ? SSE ( A, X k ) MSE ( A, X k ) (n ? l ? 1) 若某个自变量对因变量影响显著,则其偏F统计量 不应太小. Sas常用的检验准则: (1)前向选择法 从仅含常数项的回归模型开始,逐个加入自变量 其准则是将反应各自变量加入时,描述残差平方和 减少量的偏F统计量的p值与给定的控制水平相比较. 若所有不在模型中的自变量所对应的统计量p值 均大于给定控制水平(影响均不显著).则选择结束. 否则将具有最大偏F值的自变量引入模型.然后重复 上述过程 (2)后向选择法 首先拟合一个包含所有自变量的线性回归模型, 然后根据偏F统计量的p值与给定的控制水平相比较. 将所有对因变量影响不显著的自变量逐个删除,直到 模型中的所有自变量在给定控制水平下均显著为止. (3)逐步回归法 将前向选择和后向选择结合使用.它有两个 控制水平,一个控制自变量的引入,一个控制现有 模型中自变量的删除.