system: [SYSTEM]

user: 3. 应用实例及其结果分析 3.1. 建模数据 本文建模的数据选取广西柳州市老桥口柳江径流2001年1月1日~2010年12月31日期间10年每天12时的径流(m 3 /s)数据进行应用实例分析，全部的数据3652个，图5为3652个柳江径流数据实况。 图3. NARX-NN径流建模流程图 图4. IE-LSTM径流建模流程图 图5. 从2001年1月1日~2010年12月31日3652个柳江径流实际观测值 在机器学习方法中，利用有监督学习方法建立模型时，通常会设置一定比例的验证数据集(Validation Set)，使用训练数据集去训练模型，使用验证集去评估模型的泛化能力，其目的防止对训练数据集(Training set)过度训练而导致最小化过度拟合。为此把数据分为训练数据集合训练模型参数、验证数据集合调整优化模型参数和测试数据集合检验模型实际预测效果，其中2001年1月1日到2007年12月31日共计2556个数据作为训练数据集合建立径流拟合模型，2008年1月1日至2009年12月31日共计731个数据作为验证数据集合优化校验模型，2010年1月1日到2010年12月31日共计365个数据为测试数据集合检验预测模型效果。柳江每年5月份进入汛期，10月份汛期结束，为了较为准确预测灾害性洪水，本文把径流大于5000 (m 2 /s)作为洪水峰值来预测，表1是训练数据、验证数据和测试数据样本和洪水峰值样本总数情况，图6是不同数据集中径流峰值分布示意图。 Table 1 Training， validation and test data samples and statistics table of the total number of flood peak 数据集 数据起止时间 样本数 径流峰值个数 训练数据集 2001年1月1日~2007年12月31日 2556 99 验证数据集 2008年1月1日~2009年12月31日 731 34 测试数据集 2010年1月1日~2010年12月31日 365 15 表1. 训练、验证和测试数据样本和洪水峰值总数统计表 图6. 训练、验证和测试数据集中径流峰值分布情况 3.2. 模型性能评价 本文引入以下4种统计指标： (1) 均方根误差(Root Mean Square Error， RMSE)： RMSE = 1 n ∑ t = 1 n ( y t − y ^ t ) 2 (15) (2) 平均绝对百分比误差(Mean Absolute Percentage Error， MAPE)： MAPE = 100 n ∑ t = 1 n | y t − y ^ t | | y t | (16) (3) Pearson相关系数(Pearson correlation coefficient， PCC) PCC = ∑ t = 1 n ( y t − y t ¯ ) ∑ t = 1 n ( y ^ t − y ^ t ¯ ) ∑ t = 1 n ( y t − y t ¯ ) 2 ∑ t = 1 n ( y ^ t − y ^ t ¯ ) 2 (17) (4) 纳什效率系数(Nash-Sutcliffe Efficiency coefficient， NSE)： SE = 1 − ∑ t = 1 n ( y t − y ^ t ) 2 ∑ t = 1 n ( y t − y ¯ ) 2 (18) 式(15)~(18)中、 y t ， y ^ t 分别代表径流实际值和模型的输出值， y t ¯ ， y ^ t ¯ 分别表示径流实际值平均值和模型的输出值平均值，n为样本个数，在纳什效率系数的基础上，提出洪水峰值模型预测性能评价指标： (5) 峰值纳什效率系数 NSE peak = 1 − ∑ i = 1 p ( y p i − y ^ p i ) 2 ∑ i = 1 p ( y p i − y ¯ p i ) 2 (19) 式(19)中、 y p i ， y ^ p i 分别表示洪水峰值实际值和预测洪水峰值输出值， y ¯ p i 表示洪水峰值的平均值，p为洪水峰值期间样本个数。性能评价指标(1)和(2)是衡量实际径流值和模型计算值的偏离程度，其值越小说明模型的预测性能越好；性能指标(3)主要是看模型能否对径流的趋势做出正确的判断，其值越大就说明模型能够较为准确把握径流未来趋势；性能指标(4)和(5)是验证径流模型结果的好坏，NSE取值为负无穷至1，越接近1表示模型的效果越好，模型可信度高；NSE接近0表示模型结果接近观测值的平均值水平，即模型总体结果可信，如果NSE远远小于0则模型是不可信的。 3.3. 结果分析 表2是两种模型对柳江径流训练数据集的拟合结果性能统计表，图7是两种模型对训练数据集中径流峰值拟合效果，从表2的结果可以看出IE-LSTM模型对训练数据集中的RMSE和MAPE性能指标均小于NARX-NN模型，说明IE-LSTM模型拟合值和真实值之间的偏离程度最小，拟合精度高于NARX-NN模型；同时可以看出IE-LSTM模型对训练数据集的Pearson相关系数为0.9978，而NARX-NN模型为0.8807，二者比较接近，说明这两种模型均可以对径流趋势做出较为准确的拟合，IE-LSTM模型拟合精度高于NARX-NN模型。 Table 2 Performance indicators of NARX-NN and IE-LSTM models for training sample 训练数据集(2001年1月1日~2007年12月31日) 模型 RMSE MAPE PCC NSE NSE peak NARX-NN 847.1152 47.5727% 0.8807 0.7746 0.1784 IE-LSTM 126.2828 8.5085% 0.9978 0.9950 0.9850 表2. NARX-NN和IE-LSTM模型对训练样本计算结果性能指标统计表 从纳什效率系数指标考察这两种模型，NARX-NN模型置信度只有17.84%，置信度很低；而IE-LSTM模型对径流峰值置信度很高，可以达到98.50%。说明IE-LSTM模型相对NARX-NN模型具有很好的学习能力、对径流峰值跟踪能力。本文涉及两种神经网络方法均是通过训练数据集来调整网络的权重，通过验证数据集校验网络性能，在训练过程中训练数据集性能误差减小，而验证数据集的性能误差保持不变或升高，则停止网络训练过程，以此找出效果最佳的模型所对应的参数，用来对测试数据集(Test set)预测。 图7. 两种不同模型对训练数据集中径流峰值拟合效果 表3是两种模型对柳江径流验证数据集的预测结果性能统计表，图8是两种模型对验证数据集中径流峰值预测效果，从表3的结果可以看出，IE-LSTM模型的性能指标RMSE和MAPE均小于NARX-NN模型，性能指标PCC和NSE均大于NARX-NN模型，在对验证数据集中径流峰值预测中，IE-LSTM模型置信度高达0.9917，而NARX-NN模型置信度只有0.2130，这些结果进一步说明IE-LSTM模型对验证数据集的预测误差精度小、趋势预测和实际观测值高度一致，对径流峰值预测置信度很高；对比表2和表3，结果显示IE-LSTM模型对训练数据集的RMSE为126.2828，对验证数据集的RMSE为129.1887，二者非常接近，说明IE-LSTM模型没有过拟合，可以用训练好的模型对未来进行预测。 Table 3 Forecasting performance indicators of two models for validation sample 验证数据(2008年1月1日~2009年12月31日) 模型 RMSE MAPE PCC NSE NSE peak NARX-NN 858.0234 44.2265% 0.7916 0.4505 0.2130 IE-LSTM 129.1887 8.7650% 0.9972 0.9935 0.9917 表3. NARX-NN和IE-LSTM模型对验证样本预测结果性能指标统计表 有监督机器学习的主要任务就是利用建立的模型并实现对未来的精准预测，训练数据集和验证数据集训练得到的模型能否适用于待测试数据集的新数据，即模型具有泛化能力。因此，当在评估模型的性能时需要重点考察训练好的机器学习模型在新数据上准确率如何，这样才有把握用它对未来做出高质量的预测结果。表4是两种模型对柳江径流测试数据集的预测结果性能统计表，图9是NARX-NN模型对365个测试数据集径流预测效果，图10是IE-LSTM模型对365个测试数据集径流预测效果。图11是两种模型期望输出和目标输出之间相关性以及回归效果。 图8. 两种不同模型对验证数据集中径流峰值预测效果 Table 4 Forecasting performance indicators of two models for test sample 测试数据(2010年1月1日~2010年12月31日) 模型 RMSE MAPE PCC NSE NSE peak NARX-NN 843.2273 82.8031% 0.6730 0.6660 0.2919 IE-LSTM 93.0750 11.1170% 0.9941 0.9971 0.9972 表4. NARX-NN和IE-LSTM模型对测试样本预测结果性能指标统计表 图9. NARX-NN模型对365个测试数据集径流预测效果 从表4结果可以看出NARX-NN模型对测试数据集预测的RMSE为843.2273，IE-LSTM模型对测试数据集的预测RMSE为93.0750，显然IE-LSTM模型的RMSE比NARX-NN模型小的多，同样IE-LSTM模型的MAPE也比IE-LSTM模型小很多，这说明IE-LSTM模型的预测值和实际值偏差小，其预测的精度高；对于PCC性能指标，NARX-NN模型是0.6730，IE-LSTM模型是0.9941，这说明IE-LSTM模型的预测值和实际观测值高度相关。 图10. IE-LSTM模型对365个测试数据集径流预测效果 图11. 两种不同模型对测试数据集中径流峰值预测效果 大量数据中离群点(Outline)检测、识别和预测是机器学习挖掘数据中潜在特征重要组成部分，它的任务就是寻找观测值和参照值之间有意义的较大偏差，对这些异常记录的检测、识别和解释有很重要的意义。在一年中绝大多数时间径流数据序列处于稳定状态，每年汛期径流峰值会有很大波动，即整个数据中离群点。如何利用机器学习识别和预测径流峰值是预测灾害性洪水达到时刻和对径流峰值趋势跟踪重要指标，也是检验模型能否预测灾害性洪水以及在实际应用的重要指标。图11是两种不同模型对测试数据2010年6月~8月径流峰值预测效果，从表4的数据性能指标和图11预测效果的结果可以看出，在2010年全年365个数据中，流量大于5000 (m 3 /s)有15个，其中2010年6月18日径流峰值流量为：10100 (m 3 /s)，6月19日径流峰值流量为：14000 (m 3 /s)，6月20日径流峰值流量为：12400 (m 3 /s)，6月21日径流峰值流量为13000 (m 3 /s)，IE-LSTM模型可以学习径流数据忠离群点，并能准确跟踪离群点，及就是能够预测径流峰值的趋势，而且精度最高。这些结果均说明IE-LSTM模型可以用于预测灾害性洪水，并且能够在实际径流预测建模中应用，而且结果稳定。