system: [SYSTEM]

user: 1. 引言 考虑一般线性回归模型： y = X β + ε (1) 其中y是 n × 1 的响应变量，X是 n × p 的已知设计矩阵， β 为 p × 1 未知参数向量， ε 是均值为0、协方差矩阵为 σ 2 I n 的n维随机误差向量， I n 表示n阶单位矩阵。 回归诊断中的影响分析主要是研究观测值对回归模型中回归参数估计的影响。对线性模型(1)，第i个样本点对参数 β 估计的影响通常是指删除该样本点后模型参数 β 估计的变化情况，若删除该样本点后模型参数 β 估计的变化较大，则认为该样本点对模型参数 β 估计的影响较大。 记 y ( i ) 和 X ( i ) 分别表示从y和X中删除第i个样本值后的观测向量和设计矩阵，则模型(1)删除第i个样本值后可表示为： y ( i ) = X ( i ) β + ε (2) 第i个样本点对参数 β 估计的影响分析即对模型(1)和模型(2)所得参数 β 估计变化大小的比较分析。 考虑删除第i个样本点后参数 β 估计变化的总和，Cook和Weisberg [ 1 ] 提出了以Cook距离，即 D i = ( β ^ − β ^ ( i ) ) ′ ( X ′ X ) ( β ^ − β ^ ( i ) ) p s 2 = ( e i 2 p s 2 ) [ h i i ( 1 − h i i ) 2 ] (3) 作为第i个样本点对最小二乘估计的影响度量。其中 e i 表示残差 e = y − y ^ 的第i个分量， h i i 表示帽子矩阵 H = X ( X ′ X ) − 1 X ′ 主对角线上的第i个元素， s 2 = e ′ e / n − p 为 σ 2 的估计。 Belsey [ 2 ] 等基于删除第i个样本点后响应变量y的预测值变化情况，提出了以DFFITS统计量作为第i个样本点对最小二乘估计的影响度量，即 D F F I T S ( i ) = x i [ β ^ L S − β ^ L S ( i ) ] S E ( x i β ^ L S ) = [ e i s ( i ) ] [ h i i 1 / 2 1 − h i i ] (4) 其中 β ^ L S = ( X ′ X ) − 1 X ′ y 和 β ^ L S ( i ) = ( X ′ ( i ) X ( i ) ) − 1 X ′ ( i ) y ( i ) 是分别由模型(1)和模型(2)所得的最小二乘估计。 S E ( x i β ^ L S ) 表示 x i β 标准误差的估计值， s ( i ) 表示模型(2)中 σ 的估计值。 Cook [ 3 ] 基于置信椭球提出数据删除法以判断各个数据点对最小二乘估计的贡献。此种方法是通过对比删除某个观测值前后估计量的变化程度来度量相应观测值的影响程度。随后，Chatterjee和Hadi [ 4 ] 不断地完善数据删除法，给出了判别异常点，高杠杆点和影响点的若干统计量。 当模型(1)存在复共线性时，最小二乘估计往往表现不稳定，此时再基于最小二乘估计进行影响分析显然不太合适。Belsey [ 2 ] 等发现有偏估计下检测到的影响点不同于最小二乘估计下检测到的影响点。Walker和Birch [ 5 ] 使用数据删除法检测了岭估计下的影响点，给出近似删除公式。Jahufer和Jianbao [ 6 ] 研究了改进岭估计下用于度量影响大小的统计量随岭参数变化的情况。Jahufer [ 7 ] 基于Liu估计给出用于度量影响大小的DFFITS和不同形式的Cook距离表达式。Ertas [ 8 ] 等给出Liu估计和改进Liu估计的度量影响大小的统计量，并讨论了影响点的识别。Yasin和Murat [ 9 ] 研究了两参数岭回归的影响诊断。Adewale和Kayode [ 10 ] 通过对比删除某个数据点前后两参数估计的影响程度。 关于参数 β 的估计，考虑存在一个关于 β 的先验信息b，一些学者结合其他有偏估计提出了一系列的改进估计，如Swindel [ 11 ] 提出的改进岭估计，Li和Yang [ 12 ] 提出的改进Liu估计等。类似的，Adewale [ 13 ] 结合先验信息b和两参数估计(Ozkale和Kachiranlar [ 14 ] )提出了改进两参数估计(MTPE) β ^ M T P E = ( X ′ X + k I ) − 1 ( ( X ′ X + k d I ) β ^ L S + k ( 1 − d ) b ) (5) 其中岭参数 k > 0 ，Liu参数 0 < d < 1 。 针对线性模型存在复共线性的情形，考虑改进两参数估计可以视为其他许多有偏估计的推广，如当 k = 0 或 d = 1 时，为最小二乘估计； d = 0 和 b = 0 时，为岭估计； d = 0 时，为改进岭估计等，本文主要探讨样本点对改进两参数估计的影响。 近似删除公式与检验统计量 根据等式(4)，第i个样本点对MTPE的影响度量统计量DFFITS可写为： D F F I T S ( i ) = x i [ β ^ M T P E − β ^ M T P E ( i ) ] S E ( x i β ^ M T P E ) (6) 其中 β ^ M T P E ( i ) 表示模型(2)中未知参数 β 的改进两参数估计，分母是 x i β ^ M T P E 的标准误差估计值。 S E ( x i β ^ M T P E ) = s ( i ) ∑ j = 1 n h M T P E i j 2 ，其中 h M T P E i j 是H矩阵的第ij ( h i j )个元素。 由等式(3)，Cook统计量可写成如下两个表达式： D i * = 1 p s [ β ^ M T P E − β ^ M T P E ( i ) ] ′ ( X ′ X ) [ β ^ M T P E − β ^ M T P E ( i ) ] (7) D i * * = 1 p s 2 [ β ^ M T P E − β ^ M T P E ( i ) ] ′ ( K N − 1 X ′ X N − 1 K ) [ β ^ M T P E − β ^ M T P E ( i ) ] (8) 其中 K = X ′ X + k I ， N = ( X ′ X + k d I ) + k ( 1 − d ) ( X ′ X + k I ) − 1 ( X ′ X + k d I ) ， D i * 是等式(3)的直接推广， D i * * 是基于方差 var ( β ^ M T P E ) = σ 2 [ K − 1 N ( X ′ X ) − 1 N K − 1 ] 给出。 β ^ M T P E − β ^ M T P E ( i ) 反映了第i组数据对回归系数 β M T P E 的影响大小且是一个向量，不便比较大小，而MTPE不是比例不变的(X矩阵没有第i行元素)，所以设计矩阵X须在计算之前重新缩放。因此，为了 β ^ M T P E − β ^ M T P E ( i ) 能够比较大小，可通过近似删除公式实现。 根据模型(2)， β ^ M T P E ( i ) 可以写成： β ^ M T P E ( i ) = ( X ′ ( i ) X ( i ) + k I ) − 1 [ ( X ′ ( i ) X ( i ) + k d I ) β ^ L S ( i ) + k ( 1 − d ) b ] 。利用谢 尔曼–莫里森–伍德伯里(SMW)定理(Rao [ 15 ] )， β ^ M T P E ( i ) 可以近似为： β ^ M T P E ( i ) = ( X ′ X + k I − x ′ i x i ) − 1 [ ( X ′ X + k d I − x ′ i x i ) β ^ L S ( i ) + k ( 1 − d ) b ] 式中 K = X ′ X + k I 。 β ^ M T P E ( i ) = ( K − x ′ i x i ) − 1 [ ( X ′ X + k d I − x ′ i x i ) β ^ L S ( i ) + k ( 1 − d ) b ] = ( K − 1 + K − 1 x ′ i x i K − 1 1 − x i K − 1 x ′ i ) [ ( X ′ X + k d I ) β ^ L S ( i ) − x ′ i x i β ^ L S ( i ) + k ( 1 − k ) b ] = ˜ β ^ M T P E + K − 1 x ′ i 1 − m i i [ y ^ M T P E i − y i + m i i y i − m i i y i ] = ˜ β ^ M T P E − e M T P E i K − 1 x ′ i 1 − m i i (9) 根据等式(9)，等式(6)~(8)的近似形式可以写成： D F F I T S ( i ) = ˜ [ m i i 1 − m i i ] e M T P E i S E ( x i β ^ M T P E ) (10) D i ∗ = ˜ [ 1 p s 2 ] [ e M T P E i 1 − m i i ] 2 x i ( X ′ X + k I ) − 1 ( X ′ X ) ( X ′ X + k I ) x ′ i (11) D i * * ≅ [ 1 p s 2 ] [ e M T P E i 1 − m i i ] x i ( X ′ X + k I ) − 1 ( X ′ X + k d I ) ( X ′ X ) − 1 ( X ′ X + k d I ) ( X ′ X + k I ) − 1 x ′ i (12) 其中 m i i = x i K − 1 x ′ i 。