system: [SYSTEM]

user: 3. 模型构建 3.1. 多元线性回归模型 在上述问题中，中国成品钢材的需求量 的影响因素有原油产量( )、原煤产量( )、天然气产量( )、生铁产量( )、发电量( )、水泥产量( )、固定资产投资额( )、居民消费( )和政府消费( )等，因此，可以采用多元线性回归进行问题的分析。 多元线性回归模型的基本形式 [ 10 ] ：设因变量 与自变量 的理论线性回归模型为： 其中， 是 个未知参数， 称为回归常数， 称为回归系数。 称为被解释变量(因变量)，而 是 个可以精确测量并可控制的一般变量，称为解释变量(自变量)。 是随机误差，与一元线性回归一样，对随机误差项我们常假定其满足如下假设： 称 为理论回归方程。 写成矩阵形式为： 式中 为了方便对多元回归方程模型进行参数估计，对回归方程有如下的一些基本假设： 1) 解释变量 是确定性变量，不是随机变量，且要求 。 2) 随机误差项具有零均值和等方差，即： 这个假定常称为高斯-马尔柯夫条件。 3) 正态分布的假定条件为： 对于多元线性方程的未知参数，采用最小二乘估计方法，经整理后得到如下形式： 基于上述的分析，对本文使用的变量建立如下多元线性回归模型： 使用R软件，编写相应的程序代码。为了便于后面的比较，这里的回归系数给出的是标准化后的系数，具体结果如表3所示： 根据表3给出的结果，得到回归方程为： 调整后的决定系数 ，由决定系数看，回归方程高度显著； ，表明回归方程高度显著，说明自变量 整体上对 有高度显著的线性影响。但是从回归系数的显著性检验看，在0.05的显著性水平下，只有 对 是显著的，其他的自变量都不显著。造成这种现象的原因可能是自变量 之间存在多重共线性，由于多重共线性的存在，利用普通最小二乘估计得到的回归参数估计值很不稳定，回归系数的方差随着多重共线性强度的增加而加速增长，就会造成回归方程高度显著的情况下，有些回归系数通不过显著性检验，甚至导致回归系数的正负号得不到合理的经济解释。 3.2. 多重共线性诊断 当回归方程的解释变量之间存在很强的线性关系，回归方程的检验高度显著时，有些与因变量y的简单相关系数绝对值很大的自变量，其回归系数不能通过显著性检验，甚至出现有的回归系数所带符号与实际经济意义不符，这时就认为变量间存在多重共线性。近年来，统计学家提出了许多判断多重共线性的方法，本文主要使用方差膨胀因子法来判断九个自变量之间是否存在多重共线性。 对自变量作中心标准化 [ 10 ] ，则 为自变量的相关阵。记： Table 3 Coefficient of linear regression mode Coefficients: Estimate Std. error t value Pr(>|t|) 0.079 1.807e+00 0.827 0.4460 −0.142 4.199e+02 −1.290 0.2535 0.058 6.146e+00 0.935 0.3925 0.453 2.198e−01 3.146 0.0255 * 0.390 5.117e−01 1.756 0.1395 0.022 5.737e−02 0.198 0.8510 0.291 1.888e−02 3.629 0.0151 * 0.162 1.257e−01 0.727 0.5001 −0.303 2.387e−01 −1.745 0.1415 表3. 线性回归模型系数 Signif. codes: 0 ‘ *** ’ 0.001 ‘ ** ’ 0.01 ‘ * ’ 0.05 ‘.’ 0.1 ‘ ’ 1. Residual standard error: 450.1 on 5 degrees of freedom Multiple R-squared: 0.9999， Adjusted R- squared: 0.9998. F-statistic: 7831 on 9 and 5 DF， p-value: 7.894e−10. 称其为主对角线元素 为自变量 的方差膨胀因子，则有： 式中， 为 的离差平方和，由上式可知，用 作为衡量自变量 的方差膨胀程度的因子是恰如其分的。记 为自变量 对其余 个自变量的决定系数，则方差膨胀因子可以表示为： 度量了自变量 与其余 个自变量的线性相关程度，这种相关程度越强，说明自变量之间的多重共线性越严重， 越接近1， 就越大。经验表明，当 时，就说明自变量 与其余自变量之间有严重的多重共线性，且这种多重共线性可能会过度地影响最小二乘估计值。 对本文的9个自变量，进行多重共线性检验，计算自变量 的方差膨胀因子，结果如表4所示。 从表4可看出，每个自变量的 值都很大，最小的方差膨胀因子 ，远远超过了10，说明9个自变量之间存在严重的多重共线性，如果还按照一般的线性回归方法进行建模，所得到的预测结果会很不理想，为此需要先消除自变量之间的多重共线性，再对变量进行建模。 3.3. 消除多重共线性方法 通过上述的分析可知，9个自变量之间存在严重的多重共线性，这会对回归预测产生严重的影响，为此在建模前需要消除变量之间的多重共线性。消除多重共线性的方法有很多，例如可以剔除一些不重要的解释变量、增大样本量、回归系数的有偏估计、逐步回归法、岭回归法、主成分回归法、偏最小二乘回归法等，本文主要通过逐步回归法和Lasso回归法来消除多重共线性的影响。 3.3.1. 逐步回归 逐步回归法 [ 10 ] [ 11 ] 是一种选择自变量最优子集的方法，该方法的基本思想是有进有出，具体做法是将变量一个个引入，每引入一个自变量后，对已选入的变量要进行逐个检验，当原引入的变量由于后面变量的引入而变得不再显著时，要将其剔除。引入一个变量或从回归方程中剔除一个变量，为逐步回归的一步，每一步都要进行 检验，以确保每次引入新的变量之前回归方程中只包含显著的变量，这个过程反复进行，直到既无显著的自变量选入回归方程，也无不显著的自变量从回归方程中剔除为止。 对本文的9个自变量，通过使用逐步回归法，来选择对成品钢材都显著的变量，从而建立回归模型，为了便于后面的比较，给出了标准化后的回归系数。逐步回归的结果如表5所示。 由表5可知，经过逐步回归后得到的回归方程为： 由回归方程可以看出，剔除的变量有原油产量( )、天然气产量( )、水泥产量( )、居民消费( )等四个变量，对成品钢材需求量有显著性影响的自变量是原煤产量( )、生铁产量( )、发电量( )、固定资产投资( )和政府消费( )，在其他条件不变的情况下，当原煤产量每增加一个单位，我国成品 Table 4 Variance inflation factor of independent variabl 642.10 847.98 269.26 1460.47 3482.17 862.26 454.10 3490.11 2125.11 表4. 自变量的方差膨胀因子 Table 5 The results of stepwise regressio Step: AIC = 182.43 Estimate Std. error t value Pr(>|t|) −0.090 1.735e+02 −1.996 0.077077 . 0.387 5.744e−02 10.284 2.83e−06 *** 0.569 1.700e−01 7.710 2.97e−05 *** 0.326 8.401e−03 9.134 7.56e−06 *** −0.184 6.519e−02 −3.872 0.003776 ** 表5. 逐步回归结果 Signif. codes: 0 ‘ *** ’ 0.001 ‘ ** ’ 0.01 ‘ * ’ 0.05 ‘.’ 0.1 ‘ ’ 1. Residual standard error: 378.5 on 9 degrees of freedom. Multiple R-squared: 0.9999， Adjusted R-squared: 0.9999. F-statistic: 1.992e+04 on 5 and 9 DF， p-value: < 2.2e−16. Shapiro-Wilk normality test. data: b$res. W = 0.97312， p-value = 0.9013. 钢材需求量就会减少0.090个单位；当生铁产量每增加一个单位，成品钢材需求量增加0.387个单位；其他变量的解释也如此，变量的解释符合经济规律，说明该模型建立符合常理。 从表5中可以看出调整后的决定系数 ，说明回归方程是显著的，在0.05的显著性水平下，除了 ，其他剩余的变量都通过了显著性检验，说明建立该模型比较合理。关于残差的Shapiro-Wilk正态性检验的 值为0.9013，可以认为在0.05的显著性水平下不能拒绝残差来自正态总体的假定。说明该模型的建立符合线性回归模型的一般条件，可以用该模型来进行预测。 3.3.2. Lasso回归 多元线性回归模型的矩阵形式为： ，参数 的普通最小二乘估计(OLS)为 ，当自变量 与其余自变量间存在多重共线性时， 很大， 就很不稳定在具体取值上与真值有较大的偏差，有时甚至会出现与实际经济意义不符的结果。针对出现多重共线性时，普通最小二乘法明显效果变坏的问题，学者们提出了岭回归法、Lasso回归法等消除多重共线性的方法。 Lasso回归 [ 12 ] 的基本思想如下： 假定自变量的数据矩阵 为 的，OLS估计寻求那些使得残差平方和最小的系数 ，即： Lasso回归则需要一个惩罚项来约束系数的大小，在原理上和岭回归的想法有些类似，但Lasso回归法在惩罚项中添加的不是系数的平方而是其绝对值，即在约束条件 下，系数需要满足下面的条件： 出于绝对值的特点，Lasso回归的做法是筛选掉一些系数。对于回归系数的选择，本文使用 统计量，如果从 个自变量中选取 个（ ）参与回归，那么 统计量的定义为： 据此，选择 最小的模型即为Lasso回归的最终模型。 对本文数据进行Lasso回归，所得结果如表6和表7所示。 由表6的 变化结果可知，最小的 ，故选择使 最小步的系数，即选择第6步的回归系数，第6步回归系数结果如表7所示。 由表7，可以建立Lasso回归方程： 从回归方程可以看出，Lasso回归剔除的变量有原油产量( )、原煤产量( )、居民消费( )和政府消费( )等四个变量，使用天然气产量( )、生铁产量( )、发电量( )、水泥产量( )和固定资产投资( )五个变量来对我国成品钢材需求量进行建模。