system: [SYSTEM]

user: 4. 实验与结果 4.1. 实验设置 实验采用的操作系统为Ubuntu16.04，CPU处理器的型号为Inter (R) Xeon® CPU E5-1620，主频3.5 GHz，显卡GPU型号NVIDIA Quadro M4000显存8 G，CUDA8.0和cuDNN5.0并行计算模型，深度学习语言框架为Theano (Lasagne)。实验选取不同的卷积核尺寸Conv3D对比，使用Adam优化算法替代传统随机梯度下降算法，基于迭代过程更新网络权重参数并修正偏差，权重的学习率为0.001。一阶和二阶估计的指数衰减率分别为0.9和0.999，输入批次Minibatch设置为80，分别对3D-CNN的模型和3D-CNN加入LSTM单元后的模型进行实验。 4.2. 实验步骤与评价指标 实验训练过程中，首先对3D卷积神经网络结构搭建与网络权重参数初始化，将经过时序和高度提取的雷达图像重塑为合适尺寸的样本矩阵 ( x 1 ， x 2 ， x 3 ， ⋯ ， x n ) T ，融合数据标签值 ( y 1 ， y 2 ， y 3 ， ⋯ ， y n ) T 作为输入层的数据。经过卷积层的卷积操作提取每批次样本的高阶特征信息，并通过池化层下采样缩小特征矩阵的尺寸，生成固定大小的特征图，最后通过反向传播算法传播误差损失函数，更新网络权重以及参数，反复迭代使得梯度下降直至条件收敛。雷达降雨预测算法流程如图6所示。 本实验采用的评价标准，主要采用机器学习领域中回归问题的均方根误差(RMSE)指标进行评价。针对不同降雨的定量预报数值的精确误差值，预测确切的降水量以评估性能，减少预报结果的误差。令 X i 为预测向量， Y i 为观测值的向量，N为观测数据大小，RMSE回归系统的拟合标准差，计算公式如下。 RMSE = 1 N ∑ i = 1 n ( Y i − X i ) 2 (2) 4.3. 实验结果 3D卷积神经网络与LSTM单元的模型，基于多层网络结构的有监督学习方法实现，在应用过程中需要对图像进行特征提取、传播过程中权值共享，因此设计合适的网络结构，优化网络参数是提高特征识别准确率的重要因素。下面主要对卷积神经网络层的识别过程中网络层的深度、卷积核尺寸的大小、是否使用Dropout进行研究，LSTM不同单元设置的影响，设计多组实验并对结果进行对比分析。 图6. 模型训练与测试总体流程图 4.3.1. 权重参数 实验过程中为了得到较好的实验效果，对学习率的权重参数做出调整。迭代次数Epoch训练100次，对于输入批次的样本数量的模型学习率Learning-rate进行了多组实验，观察训练损失误差Loss的数值和趋势曲线，直到训练误差趋于稳定。可以看到当学习率曲线中Learning-rate = 0.001时，模型经过训练得到的模型测试性能效果最好。图7为设置不同学习率时模型的训练误差Loss下降的趋势，其中a学习率为0.001，b学习率为0.01，c学习率为0.1。 4.3.2. 卷积层对比实验 实验过程中，影响卷积神经网络中卷积层的结构主要包含卷积核的尺寸、卷积层的深度。对于模型的训练过程，在实验3D卷积神经网络模型三层卷积核的基础上，设计4组不同的卷积核尺寸进行实验，分别为Conv3D-a，Conv3D-b，Conv3D-c和Conv3D-d，网络层的深度和结构保持不变，对应的最大池化层也进行改变，具体的卷积核尺寸和网络结构如表1所示。 考虑上述表中不同卷积核的尺寸提取的特征值的区别，对全连接层(FC1)的节点数统一设置为1024。每个卷积层链接最大池化层，3层卷积核的过滤器filter-size的个数分别为32，64和128。激活函数采用RELU，梯度算法优化器均为Adam优化算法。根据以上卷积核参数的网络结构，进行训练集与测试集的对比实验，确定最合适的卷积核尺寸结构。本文直接用优化后的卷积核参数进行实验仿真。RMSE趋势图比较如图8。 通过实验可以看出，卷积网络结构中(2 × 7 × 7)-(2 × 5 × 5)-(2 × 3 × 3)的卷积核尺寸较为合适，Conv 3D-a的网络收敛速度快，RMSE的数值达到最低。说明对于气象雷达图数据集，卷积核的尺寸在大小为2 × 7 × 7并递减的趋势下，卷积滤波通道学习特征图的信息较充分，模型表征能力强，预测回归值的性能最好。 图7. 不同学习率的训练误差Loss比较 Table 1 Different convolution kernel size 网络结构 名称 卷积核尺寸 最大池化层 Conv1 + Pool1 + Conv2 + Pool2 + Conv3 + Pool3 + Fc1 + DP + Fc2 Conv3D-a (2 × 7 × 7)-(2 × 5 × 5)-(2 × 3 × 3) (2 × 2 × 2)-(3 × 3 × 3)-(1 × 3 × 3) Conv3D-b (2 × 9 × 9)-(2 × 7 × 7)-(2 × 3 × 3) (2 × 2 × 2)-(2 × 3 × 3)-(1 × 3 × 3) Conv3D-c (3 × 3 × 3)-(2 × 3 × 3)-(2 × 3 × 3) (2 × 2 × 2)-(2 × 3 × 3)-(1 × 3 × 3) Conv3D-d (2 × 5 × 5)-(2 × 5 × 5)-(2 × 5 × 5) (2 × 2 × 2)-(2 × 2 × 2)-(2 × 3 × 3) 表1. 不同卷积核尺寸列表 图8. 不同卷积核尺寸模型的RMSE趋势图 4.3.3. 梯度优化算法与Dropout层对比 深度学习中运用梯度下降的方法最小化目标函数，算法计算变量在训练过程中的梯度，更新参数对神经网络进行优化。常见的梯度优化算法包括随机梯度下降法(Stochastic Gradient Descent， SGD)，Adam (Adaptive Moment Estimation)优化算法 [ 24 ]。选取上述实验中较好的卷积核尺寸Conv3D-a，学习率设置为0.001，加入Dropout层进行优化算法的比较实验。实验的训练过程中的收敛趋势如图10(a)所示。根据实验结果可以看出，常用的随机梯度下降法SGD在每次参数更新过程中，对相似的样本通过偏导运算求出梯度值，梯度收敛速度快而且波动较大，较大概率进入局部最优解。Adam算法是自动使用模型学习率的算法，通过梯度的矩阵期望来估计梯度的取值范围，收敛速度较快，训练得到的模型效果更好。 Dropout是神经网络进行模型参数平均的一种非常有效的方法 [ 25 ] ，通过Dropout rate概率随机采样输入的参数化特征实例，丢弃的是在神经网络中隐藏的不可见单元，使得这些选择的单元输出置为0，从而对于网络参数进行筛选通过避免训练数据分布的协同适应，来减少神经网络中的过拟合。加入Dropout层的具体网络模型如图9所示。 设置初始的网络结构与加入Dropout层的对比实验，Dropout频率设置为0.5，迭代次数100次在其他网络参数条件相同的情况下进行实验。训练过程中RMSE下降的趋势如图10(b)所示。 通过上图的方式改变全连接层之间的网络结构，在两层全连接层FC1、FC2层中间添加了dropout层，每次迭代对全连接FC1层输出的权重参数进行重新地选择和筛选，再输入到全连接层FC2中。当模型过度学习数据集的分布，拟合数据程度过高使得噪音和无效的参数也被输入到网络权重更新过程中。Dropout随机更新参数的方法能缓解训练过程中的过拟合发生。 4.3.4. LSTM单元 LSTM单元对比实验，选用3DCNN-LSTM模型的网络结构。根据3D卷积神经网络算法的训练与测试流程，对训练集和测试集进行实验。根据实验的数据，选取上述实验中较好的卷积核尺寸Conv3D-a，学习率设置为0.001，LSTM单元数分别为8、16、32、64和128，并根据单元数重塑对应的向量矩阵维度。表2是5组不同LSTM单元对比实验的描述。 LSTM单元对比实验中，4阶向量reshape成50 × 1 × 64 × 16的尺寸，并采用16个LSTM节点与输出向量相连接，每个节点输入的向量为50 × 1 × 64。后续实验依次类推。 构建的网络模型测试结果误差箱式图如图11所示。如上面箱式图的均值线和中位线所示，当趋势逐渐稳定，此时测试样本进行的测试误差RMSE在6~7左右震荡，在后续的LSTM模块训练过程中，LSTM单元数为16时误差达到最小值，稳定性也最好。训练损失Loss收敛速度快，迭代100数值后变动幅度较小。 图9. 加入Dropout层的网络结构 图10. 不同梯度算法和Dropout层训练损失 Table 2 Comparison of different LSTM unit 网络结构 输入向量 LSTM节点数量 输出向量 3D CNN (Conv3D-a) − LSTM Layer − Fc1 + DP + Fc2 50 × 1 × 128 × 8 8 50 × 1 × 128 50 × 1 × 64 × 16 16 50 × 1 × 64 50 × 1 × 32 × 32 32 50 × 1 × 32 50 × 1 × 16 × 64 64 50 × 1 × 16 50 × 1 × 8 × 128 128 50 × 1 × 8 表2. 不同LSTM单元对比 图11. 不同LSTM单元的RMSE误差值 箱式图的均值线和中位线所示，当趋势逐渐稳定时测试样本进行的测试误差RMSE在6~7左右震荡，在后续的LSTM模块训练过程中，LSTM单元数为16时误差达到最小值，稳定性也最好。训练损失Loss收敛速度快，迭代100数值后变动幅度较小。RMSE的实验结果说明，在单位1小时内50 × 50公里的范围内，根据多普勒雷达云图预测降雨量值与实际观测的差值，均方根误差最好达到5.9左右。本文上述研究的优化方法中，基于3D卷积神经网络和LSTM的降雨预报模型达到最高精度。