system: [SYSTEM]

user: 3. 数据与方法 3.1. 实验数据源 我们把多普勒雷达图回波外推图作为样本，把自动气象站的降雨观测数据作为标签。本实验选取2016年3月~6月期间总共71天的自动站经纬度范围内的降雨量站点数据，以及向前的4小时多普勒雷达回波数据。选取原始雷达数据集中15个不同时序、4个不同高度通道的50 × 50尺寸大小的雷达回波图像，以及自动观测站对应X坐标、Y坐标的降雨量标签Hrain，生成训练集和测试集。为了减少内存的占用，提高训练速度，对输入的图像进行了归一化处理，即统一尺寸大小，并舍弃包含缺测值的雷达图像(图1)。 训练集的样本是从共计71天的雷达图回波图中，每次间隔6天采集数据样本。每份样本对当前t时刻的前15个时次(每个时次提取4个不同高度)，以及4小时内的所有41个时次(每个时次提取6个不同高度)进行样本提取，共计8215份训练样本。测试集间隔7天采集数据样本，同理提取相同时序和高度的2720份测试样本。 通过对生成的数据集的标签数值进行归纳，降雨量的分布在0~70 mm/m 2 的范围内，数据集的样本降雨量分布多数在0~60 mm/m 2 范围内，2 mm/m 2 的降水量样本量最多达到1500份，20~60 mm/m 2 区间内样本量呈现逐渐减少的趋势。整体的降雨量分布较均衡，测试集的样本在以上的所有样本中随机分配的，共计2720份样本分布在0~60 mm/m 2 的各个区间中。训练集和测试集的降雨分布统计情况如图2所示。 3.2. 方法描述 本文使用的3D卷积神经网络(3D Convolutional Neural Networks)基于2D卷积神经网络结构，3D卷积神经网络可以在原始输入图像中应用卷积核和滤波器，通过卷积和池化操作，由层次网络结构实现对特征对象的学习。雷达回波外推图是基于三维空间维度(3D)的图像数据，对于雷达探测到的气象云图的特征像素点，既包含了时序信息也包含空间信息，所以基于3D卷积神经网络输入多维图像时表现的更为明显，多维图像能够直接作为神经网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。 图1. 雷达图数据的时序与高度 图2. 数据集降雨量分布 3D卷积神经网络包含卷积层、池化层、全连接层和Softmax层。3D卷积层根据2D卷积神经网络的基础，对卷积神经网络维度进行拓展，网络结构中的每一层的卷积核尺寸、池化层过滤器尺寸均提升到三维。3D最大池化层同样选取最大池化方法，接受的卷积层输出为一个立方体数据。全连接层中，神经元与邻接层所有神经元相连。全连接层的输入，将特征空间到一个神经元向量，接下来利用矩阵乘法将输入的特征向量，前一层的输入将卷积的3D特征向量压平到一个神经元向量。最后输出层是Softmax层，最后一个神经向量将计算每个分类的概率。 3D卷积神经网络的损失函数：对于一个给定的样本，如雷达图3D训练样本集合( I ( 1 ) ， y ( 1 ) ) ( I ( 1 ) ， y ( 1 ) ， ⋯ ， ( I ( n ) ， y ( n ) ) )，其中 I ( m ) 是三维输入向量， y ( m ) 是对应的标签， y ^ ( m ) 代表预测的输出， θ 代表所有参数，损失函数如下： l o s s = − 1 N ∑ i = 1 N ∑ c = 0 C − 1 i n d i c a t o r y j = c P ( y ^ j = c | I ( j ) ; θ ) (1) i n d i c a t o r y j 表示指示函数， P ( y ^ j = c | I ( j ) ; θ ) 表示样本 I ( j ) 属于分类c的预估概率，调节参数使得loss最小即输出量精确度高。 多普勒雷达回波图数据集基于时间段分布收集获取的特点，决定了网络模型的特征提取中包含时序与空间信息。基于3D卷积神经网络与长短期记忆网络(Long Short-Term Memory， LSTM)，构建融合时序多特征的短期降雨量预测模型。长短期记忆网络(LSTM)通过雷达回波图的时间点多维图像数据和前序时段的特征，对于网络的时序特征进行提取。本文对3D卷积神经网络的网络结构进一步的修改，融合LSTM单元输出向量的空间状态提取特征，通过重塑向量的形式来表达图像的空间特征信息，实现多维度特征的聚合和节点信息的保存。 3.2.1. 3D卷积神经网络结构 模型的网络结构由神经层和下采样层交替实现，神经层包含3D卷积层，卷积核的尺寸为三维立方体，下采样层包含3D池化层，输入层数据一般由特征图按时序堆叠而成。主要包括输入层、卷积层、池化层、全连接层，搭建包含3层3D卷积层、3层3D池化层的卷积神经网络模型，使用线性整流函数(Rectified Linear Unit， ReLU)作为激活函数。具体的网络模型结构和各层参数如图3所示。 以3D卷积层的第一层C1为例，C1的卷积核大小为2 × 7 × 7，卷积层的过滤器节点数为32，即为32个卷积核，通过内积运算得到一个特征体上对应位置的一个值，通过特征提取生成32个特征体。池化操作时，每张图按池化方式下采样，各特征图间不影响，即池化前有32张特征图，池化后还是32张。池化操作将高分辨的特征图像转化为分辨率较低的特征图像，通过池化层的处理，减少了最后全连接层的节点个数。3D池化层P1使用2 × 2 × 2的最大池化尺寸，则卷积层的输出矩阵维度变为32 × 7 × 25 × 25，后续卷积池化以此类推。 3.2.2. 3D卷积神经网络与LSTM时序单元模型 长短期记忆网络(Long Short-Term Memory， LSTM)基于循环神经网络(Recurrent Neural Network， RNN)的扩展 [ 22 ] ，是用于处理随时间、空间等因素变化的序列数据的网络结构。LSTM网络能够解决数据模型的长期依赖问题，即数据的基于时间存在依赖关系。例如视频流的帧数据，根据前段的序列数据预测未来帧的时序序列数据，通过对时间点图像的空间特征以向量表达，输入到级联的LSTM单元中，经过LSTM单元的融合输出包含时序的节点信息。 通过对雷达图数据集的归纳，雷达图样本矩阵根据时序的特征，由 x 1 递增到 x n 排列为 ( x 1 ， x 2 ， x 3 ， ⋯ ， x n ) T 的序列，融合数据标签值 ( y 1 ， y 2 ， y 3 ， ⋯ ， y n ) T 作为输入层的数据。根据时间维度排列的LSTM单元，将网络提取的特征值基于时序进行输入，LSTM单元节点通过门结构控制信息的传递并更新节点的状态，包括输入门、遗忘门和输出门 [ 23 ]。通过门结构控制时序特征的遗忘与保留，参数的有关的信息被保留下来并赋予权重，与雷达图预测无关的特征信息则被忽略。构建的模型采用LSTM单元用于雷达图数据集的整体结构如图4所示。 通过上述LSTM单元时序序列向量特征提取的过程，基于3D卷积神经网络的网络层结构，在第三个卷积层C3后添加LSTM-Layer层。网络结构分为两个模块：3D-CNN模块和LSTM模块。其中3D-CNN模块的三层卷积层和池化层的参数如下：Conv1 (2 × 7 × 7)-Pool2 (2 × 2 × 2)-Conv2 (2 × 5 × 5)-Pool2 (2 × 2 × 2)-Conv3 (2 × 3 × 3)-Pool3 (1 × 3 × 3)。LSTM模块则由级联的16个单元组成，分别对应输出的特征向量矩阵。基于3D-CNN网络和LSTM单元的网络结构具体如图5所示。 雷达图数据集尺寸为50 × 50 × 15 × 4，按由4小时前到当前的时序排列。模型将输出的4阶向量重塑(Reshape)成50 × 1 × 64 × 16的尺寸，并采用16个LSTM节点与输出向量相连接，每个节点输入的向量为50 × 1 × 64，利用长短时记忆单元对于节点信息的遗忘和选择，学习基于时序的序列输入向量特征。 图3. 3D卷积神经网络模型结构 图4. LSTM单元时间序列结构图 图5. 基于3D-CNN和LSTM单元的网络结构 对图像序列在时序上建模，采用16个LSTM节点，每一个节点都与重塑后的16个输出向量集合相连接。LSTM单元节点提取以时序特征向量为输入的序列图像，在输入门、遗忘门、输出门的信息节点循环计算中，通过时间序列的特征预测下一时段的雷达图降雨量标签值。