system: [SYSTEM]

user: 3. 多元线性回归 3.1. 理论基础 3.1.1. 最小二乘估计 含有p−1个自变量的理论线性回归模型的一般形式 [ 4 ] Y = β 0 + β 1 X 1 ⋯ + β p − 1 X p − 1 + e 其中 是模型的参数，e为误差项，反映了随机因素对Y的影我们将其展开成矩阵形式， y = ( y 1 y 2 ⋯ y n ) ， β = ( β 1 β 2 ⋯ β n ) ， X = ( 1 X 11 ⋯ X 1 P 1 X 21 ⋯ X 2 P ⋯ ⋯ 1 X n 1 ⋯ X n p ) ， ε = ( ε 1 ε 2 ⋯ ε n ) 从而多元线性模型写成 Y = X β + ε 。使用最小二乘法计算回归系数的估计值 β ^ ，通过矩阵运算完成。 β的最小二乘估计 β ^ = ( X T X ) − 1 X T y ，残差向量为 ε ^ = y − X β ^ ， 的最小二乘估计为 σ ^ 2 = ε ^ T ε ^ n − p − 1 。 3.1.2. 显著性检验 在多元线性回归方程中，t检验和F检验并不一致，在p个自变量中，只要有一个自变量与因变量的线性关系显著，F检验就会通过，但是这并不说明每个自变量在线性模型中都影响显著，所以t检验是必要的。 1) 回归方程线性关系的检验 回归方程的F检验是总体的显著性检验，提出假设为 H 0 : β 0 = β 1 = ⋯ = β p = 0 ， H 1 : β 0 ， β 1 ， ⋯ ， β p 至少有一个不为0 计算F检验的统计量 F = β I ' X C ' / ( P − 1 ) S S E / ( n − p ) 2) 回归系数显著性检验 回归方程通过整体显著性检验后，我们对各回归系数单独进行检验，首先提出假设。 H 0 : β i = 0 ， H 1 : β i ≠ 0 ( i = 1 ， 2 ， 3 ⋯ ， p ) 计算检验的统计量 t i = β ^ i s β ^ i 服从t(n−p)的t分布 3.2. 模型的建立 通过典型相关关系，发现了贡献率较高的数据是第一对数据，于是选取第一对( U 1 ， V 1 )中的主要指标作为我们分析的主体，发现其中几个变量与其他的变量相关性较强，于是建立多元线性模型 [ 5 ] [ 6 ]，考虑变量之间的关系。 设立多元线性模型为： Y = β 0 + β 1 X 1 + β 2 X 2 + β 3 X 3 + β 4 X 4 + β 5 X 5 + β 6 X 6 + β 7 X 7 + β 8 X 8 + β 9 X 9 + β 10 X 10 + β 11 X 11 首先，在95%的置信区间下，选用混合类物质变量中的化学需氧量、氨氮和挥发酚三个变量进行分析。 发现化学需氧量这个回归线性模型检验p = 0.337 × 10 10 通过了模型检验而且有三个变量通过了检验，拟合优度R 2 = 0.941说明模型的拟合效果较好，可以达到线性模型的要求， 氨氮这个变量线性模型也通过了检验，拟合优度R 2 = 0.911但是只有一个变量通过了检验，所以不选用这个变量，挥发酚这个变量发现回归模型的拟合优度只有R 2 = 0.012，不适用线性模型。 在95%的置信区间下，选用重金属元素的相关变量，重金属元素镉和六价铬两个变量进行分析。 元素镉变量线性模型检验p = 0.197 × 10 9 通过了检验，拟合优度R 2 = 0.929达到线性模型要求，而且有三个变量通过了检验，满足线性模型要求，六价铬这个变量线性模型检验通过了检验，但是只有一个变量通过了检验，拟合优度R 2 = 0.393也不是很高，不适用线性模型，内容见附录四。 综上所述，选出了化学需氧量和镉这两个变量进行线性模型的构建，剔除了没有通过检验的变量，化学需氧量和镉这两个变量可以写出的回归方程是： Y 1 = 5.289 + 9.840 X 4 − 0.003 X 11 − 0.001 X 13 Y 2 = − 36.579 + 0.889 X 3 + 14.089 X 4 − 0.430 X 7 + 0.272 X 9 3.3. 回归诊断 3.3.1. 残差和残差图 在进行模型假设的时候，常常假定模型误差 ε i 满足了下列条件 1) V a r ( e i ) = σ 2 2) C o v ( e i e j ) = 0 ，其中i ≠ j 线性模型可以写成 Y = X β + ε ，由回归系数估计值 β ^ = ( X T X ) − 1 X T Y 得到Y的拟合值为： Y ^ = X β ^ = X ( X T X ) − 1 X T Y = H Y 其中 H = ( X T X ) − 1 X T 称为帽子矩阵，从而残差向量为 ε ^ = Y − Y ^ = ( 1 − H ) Y 。 因为这些假设都是关于误差项的，要分析他们的估计量(残差) [ 7 ] 的角度解决，所以要进行残差分析。于是得到了两个线性模型绘制残差图。 图2. 第一个线性模型的残差图 图3. 第二个线性模型的残差图 通过上图明显发现，图2无明显违反马尔克斯假定的征兆，而图3则相反。所以决定弃用第二个线性回归模型。 3.3.2. 异常点检验 对参数估计或预测值有异常的数据，称为强影响数据，如果个别数据对估计有异常大的影响，当我们剔除掉这些数据，将得到和原来差异很大的经验回归方程 [ 8 ]，可以怀疑原方程的正确性，从而建立更加可信的方程。 判断强影响点的方法是DFFITS统计量，根据矩阵对焦元素计算，公式： D i ( σ ) = h i i 1 − h i i ⋅ ε ^ i σ ^ ( i ) 1 − h i i 对于i个样本，若 D i ( σ ) > 2 p + 1 n 则认为第i个样本是强影响点，可能是异常值。 通过计算第一个模型的异常值检验得到： 123 4 5 6 7 8 9 1011 12 FALSE FALSE FALSE FALSE FALSE FALSE FALSETRUE FALSE FALSE FALSE FALSE 13 14 15 1617 18 19 20 212223 24 FALSE FALSE FALSETRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE 25 2627 28 29 30 31 FALSE FALSE FALSE FALSE FALSE FALSE FALSE 可以从上图中发现，第8个样本存在异常点，回看数据发现是黑龙江省的废水排放数据，并没有发现数据有缺失或异常。 于是运用R语言去掉这个异常值，重新拟合了一个回归方程： Y 1 = 4.656 + 9.367 X 4 − 0.003 X 11 − 0.0007 X 13 两个回归方程对比发现变化并不大，为了保证数据完整性，仍然选用没有剔除异常值的回归方程。 3.3.3. 多重共线性诊断 多重共线性 [ 9 ] 是指线性回归模型中的解释变量之间由于存在线性关系或者近似线性的关系，而使得模型难以估计准确。 检验多重共线性我运用的是方差扩大因子的方法，判断多重共线性。 自变量X j 的回归系数估计值 β ^ j 的方差可以表示为： V a r ( β ^ j ) = σ 2 ∑ x j 2 ⋅ 1 1 − R j 2 = σ 2 ∑ x j 2 = σ 2 ∑ x j 2 ⋅ V I F j VIF j 即为变量X j 的方差扩大因子， R j 2 为自变量X j 对其余自变量作回归分析的复相关系数。方差扩 大因子越大，表明自变量之间的多重共线性越严重，造成的回归估计值不稳定。 通过计算回归模型的多重共线性情况如下： vif(aa) x4 x11 x13 1.835484 1.172172 1.619351 > sqrt(vif(aa))>2 x4 x11 x13 FALSE FALSE FALSE 可以看到 X 4 ， X 11 ， X 13 的方差扩大因子都小于10而且接近于1，说明模型没有多重共线性的倾向。