system: [SYSTEM]

user: 5. 预测模型 5.1. CART决策树 5.1.1. 模型建立 空气质量预测模型的建立使用了空气质量等级作为最终的预测变量，该变量为离散型。选取PM 2.5 、PM 10 、SO 2 、NO 2 、O 3 _8h、CO，一共6个自变量进行预测模型的训练与测试，得到图2 CART树： 图2. 决策树模型 可以看到，训练之后，采用了PM 2.5 、O 3 _8h和PM 10 三个指标作为分支节点来建立决策树，而忽略了很多与AQI相关性不高的的特征。 上述决策树的分支过程如下： 首先，将PM 2.5 作为节点的第一特征，分为左支D 1 — PM 2.5 < 76 ；右支D 2 — PM 2.5 ≥ 76 ； 对于D 1 ，将O 3 _8h作为节点的第二特征，进一步分为左支C 1 — O 3 _ 8 h < 161 ；右支C 2 — O 3 _ 8 h ≥ 161 。对于D 2 ，将PM 2.5 继续作为节点的第二特征，进一步划分为左支C 1 — PM 2.5 < 116 ；右支C 2 — PM 2.5 ≥ 116 。 如此进行下去，得到最终的CART树。 由上述CART树可以得出如下结论： 1) PM 2.5 、PM 10 和O 3 _8h是影响空气质量级别的主要因素。 2) 当 PM 2.5 ≥ 151 时空气质量级别直接划分为重度污染； 3) PM 2.5 < 151 ， 161 ≤ O 3 _ 8 h < 215 .5 或 116 ≤ PM 2.5 < 156 时，空气质量级别划分为中度污染； 4) 76 ≤ PM 2.5 < 116 或 PM 2.5 < 76 ， 161 ≤ O 3 _ 8 h < 216 或 PM 2.5 < 76 ， O 3 _ 8 h < 161 ， 51 ≤ PM 10 < 151 时，空气质量级别划分为轻度污染； 5) 当 PM 2.5 < 76 ， O 3 _ 8 h < 161 ， PM 10 < 151 或 PM 2.5 < 76 ， O 3 _ 8 h < 161 ， O 3 _ 8 h ≥ 101 时，空气质量级别划分为良； 6) 当 PM 2.5 < 76 ， O 3 _ 8 h < 101 ， PM 10 < 51 时，空气质量级别划分为优。 5.1.2. 决策树的剪枝 剪枝是决策树学习算法解决模型“过拟合”的主要手段，在决策树学习中，为了尽可能正确分类训练样本，结合划分过程将不断重复，有时会造成决策树分支过多，这时就可能因训练样本拟合的准确度很高，以致于把训练集自身的一些特点当作所有数据都具有的一般性质而导致过拟合。因此，可通过主动去掉一些分支来降低过拟合的风险 [ 12 ] 。 建立树模型要权衡两方面问题，一个是要拟合得使分组后的变异较小，另一个是要防止过度拟合，而使模型的误差过大，前者的参数是CP，后者的参数是Xerror。CP是参数复杂度(complexity parameter)作为控制树规模的惩罚因子，简而言之，就是CP越大，树分裂规模(nsplit)越小。输出参数(rel error)指示了当前分类模型树与空树之间的平均偏差比值。Xerror为交叉验证误差，Xstd为交叉验证误差的标准差 [ 13 ] 。所以要在Xerror最小的情况下，也使CP尽量小。如果认为树模型过于复杂，我们需要对其进行修剪，下面列出了CP值与Xerror值。 Table 2 CART - tree complexity parameter tabl CP nsplit rel error xerror xstd 0.249251 0 1.000000 1.000000 0.0112859 0.094311 2 0.501497 0.501497 0.0097164 0.089696 3 0.407186 0.419162 0.0091172 0.072106 5 0.227794 0.227794 0.0071062 0.065868 6 0.155689 0.155689 0.0059903 0.047904 7 0.089820 0.089820 0.0046287 0.010000 8 0.041916 0.041916 0.0032006 表2. 决策树的复杂性参数表 由表2可以看出，可以看到，当nsplit为8的时候，即有四个叶子结点的树，要比nsplit为7，即八个叶子结点的树的交叉误差要小。而决策树剪枝的目的就是为了得到更小交叉误差(xerror)的树。因为本模型较为简单，所以不需要修剪。 5.1.3. 决策树的模型预测 从表3可以看出，模型的预测准确率为(1163 + 637 + 0 + 148 + 218 + 141)/2335 = 92.46%。 Table 3 Confusion matri 预测值 真实值 良 轻度污染 严重污染 优 中度污染 重度污染 良 1163 0 0 3 0 0 轻度污染 1 637 0 0 0 0 严重污染 0 0 0 0 0 11 优 0 0 0 148 0 0 中度污染 0 10 0 0 218 0 重度污染 0 1 0 0 2 141 表3. 混淆矩阵 5.2. 径向基函数神经网络 5.2.1. 模型建立 在本模型中，训练集采用5853个样本，占总样本量的64%，测试集采用2335个样本，占总样本量的36%。RBF神经网络模型的输入参数和输入层的神经元数量根据实验因素确定，输出参数和输出层的神经元数量根据评价指标确定。在本文之中，输入参数为PM 2.5 、PM 10 、SO 2 、NO 2 、CO、O 3 _8h，输入层的神经元有6个，输出层的参数为优、良、轻度污染、中度污染、重度污染、严重污染，输出层的神经元有6个，隐藏层的隐藏函数为Softmax函数。建立如下图3： 图3. RBF神经网络模型 5.2.2. 模型评价 ROC曲线指受试者工作特征曲线(Receiver Operating Characteristic Curve)，是反映敏感性和特异性连续变量的综合指标，是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、特异性为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。 图4. ROC曲线 由上述ROC曲线图4可知，径向基神经网络模型对空气质量类别的拟合效果较好 [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] 。 由表4和表5可知，训练集的预测准确率为83.5%，测试集的预测准确率为84.2%，模型准确率相较于CART树模型的准确率不高。 Table 4 Confusion matrix of training se 预测值 真实值 良 轻度污染 严重污染 优 中度污染 重度污染 良 2545 286 0 95 2 1 轻度污染 118 1286 0 1 78 9 严重污染 0 0 0 0 0 16 优 110 6 0 426 12 0 中度污染 0 106 0 0 339 38 重度污染 0 1 0 0 65 165 表4. 训练集的混淆矩阵 Table 5 Confusion matrix of testing se 预测值 真实值 良 轻度污染 严重污染 优 中度污染 重度污染 良 1102 116 0 31 1 1 轻度污染 53 619 0 0 34 1 严重污染 0 0 0 0 0 14 优 52 2 0 165 1 0 中度污染 0 49 0 0 140 11 重度污染 0 0 0 0 26 66 表5. 测试集的混淆矩阵 5.3. 模型优劣对比 CART树既可以做分类算法，也可以做回归。其优点为：1) 可以生成可以理解的规则。2) 计算量相对来说不是很大。3) 决策树可以清晰的显示哪些字段比较重要。缺点为：1) 当类别太多时，错误可能就会增加的比较快。2) 一般的算法分类的时候，只是根据一个字段来分类。 径向基神经网络的优点是：1) 分类能力好，学习过程收敛速度快。2) 具有唯一最佳逼近特性，且无局部极小问题存在。缺点是：RBF神经网络的非线性映射能力体现在隐层基函数上，而基函数的特性主要是由基函数的中心确定的，从数据点中任意选取中心构造出来的RBF神经网络的性能显然不能令人满意。 在上述对2018年1月至2019年6月的山东省空气质量类别预测的模型建立过程中可以看到，CART树模型的预测准确率为92.46%，而径向基函数神经网络模型的预测准确率为84.2%，显然，CART树模型的建立更有效。