system: [SYSTEM]

user: 2. 迁移学习的特征提取和玉米发育期识别 2.1. 卷积神经网络 考虑到目前卷积神经网络 [ 4 ] 在图像处理领域表现出来的优势及其对特征刻画的优秀表现，我们的目光就聚焦到了卷积神经网络上，卷积网络通过自动学习训练数据中的特征，对特征自动进行抽取和筛选，从而得到理想的特征提取模型，相比于人工提取特征，卷积神经网络排除了人的主观因素 [ 5 ]，使特征提取更加准确和合理。下图1展示了玉米吐丝期图片经过卷积神经网络自动提取特征图的过程，从右侧的特征图我们可以直观的看出经过卷积神经网络处理，原图片中的颜色特征，纹理特征、细节特征都从不同的角度得到展现。 图1. 卷积神经网络提取玉米图片特征图 通过卷积神经网络提取特征后，再添加后面的训练层作为分类器，即可实现玉米发育期的分类识别。由于本文数据少，本文选择了迁移学习 [ 6 ]。该方法的思想是使用大数据集进行模型训练，然后使用训练好的参数对小样本进行参数微调，这样使得最终训练出来的模型具有小数据集和高精度的双重优势。 2.2. 基于基础网络迁移的玉米发育期识别网络 迁移学习目前网络上提供的模型较多，综合考虑模型参数量、模型表现、模型可得性、模型训练计算资源需求量、模型易用性等因素，本文选择了开源的vgg16和inception V3模型作为迁移学习的框架，这两个框架在ImageNet [ 7 ] 数据集上进行训练，该数据集有着1000个类别超过100万张的图片数据，这两个模型在ImageNet数据集上获得了优秀的表现。 vgg16网络由5个Conv block (卷积模块)、一个Flatten (数据压平)、一个linear (线性连接层)，一个softmax层组成，如下表1所示。该网络实现了输入尺寸224 × 224 × 3到输出1 × 1 × 1000的映射。本文基于Vgg16网络的迁移网络，把最后3个层去掉，换成一个池化层和两个dense层，同时冻结vgg16基础网络，实现了输入尺寸224 × 224 × 3到输出1 × 1 × 256的映射，最后的一个dense层的输出设置为10，即实现了本文玉米图片与识别目标10个发育期的映射。迁移新网络的架构如表2基于vgg16原始尺寸迁移的玉米发育期识别网络所示，从表2可以看出，基于vgg16原始尺寸玉米发育期迁移模型的输出瓶颈层尺寸为7 × 7 × 512，总参数为21，140，042个，迁移网络只训练133，898个参数，14，714，688个参数是冻结参数。 为了比较不同输入尺寸对模型性能的影响，本文设计了基于vgg16大尺寸玉米发育期迁移模型，即将模型的输入由原始尺寸224 × 224 × 3调整为与图片实际尺寸相匹配的2240 × 2240 × 3，其架构如表3基于vgg16大尺寸迁移的玉米发育期识别网络所示，与原始尺寸网络比较，大尺寸网络通过增大输入层尺寸，改变了瓶颈层的输出尺寸，训练参数总量没有变化。 Table 1 Vgg16 basic network mode name type Input size Conv block1 2Conv + pool 224 × 224 × 3 Conv block2 2Conv + pool 112 × 112 × 128 Conv block3 3Conv + pool 56 × 56 × 256 Conv block4 3Conv + pool 28 × 28 × 512 Conv block5 3Conv + pool 14 × 14 × 512 Flatten Flatten 7 × 7 × 512 linear linear 1 × 1 × 4096 softmax softmax 1 × 1 × 1000 表1. Vgg16基础网络模型 Table 2 Network of corn development stage based on vgg16 original size migratio Layer (type) Output Shape Param vgg16 (Model) (None， 7， 7， 512) 14714688 global_average_pooling2d (None， 512) 0 dense_1 (Dense) (None， 256) 131328 dense_2 (Dense) (None， 10) 2570 Total params: 14，848，586 Trainable params: 133，898 Non-trainable params: 14，714，688 表2. 基于vgg16原始尺寸迁移的玉米发育期识别网络 Table 3 Network of corn development period based on vgg16 large scale migratio Layer (type) Output Shape Param vgg16 (Model) (None， 70， 70， 512) 14714688 global_average_pooling2d (None， 512) 0 dense_1 (Dense) (None， 256) 131328 dense_2 (Dense) (None， 10) 2570 Total params: 14，848，586 Trainable params: 133，898 Non-trainable params: 14，714，688 表3. 基于vgg16大尺寸迁移的玉米发育期识别网络 为了更好的比较各种模型性能，本文还研究了基于inception V3迁移网络，同时搭建了基于inception V3原始尺寸迁移、inception V3大尺寸迁移的玉米发育期识别网络。表4、表5、表6分别展示了inception V3基础网络模型、基于inception V3原始尺寸迁移的玉米发育期识别网络、基于inception V3大尺寸迁移的玉米发育期识别网络。inception V3基础网络模型主体由两个Conv block模块和3个Inception Block模块组成，实现了输入尺寸299 × 299 × 3到1 × 1 × 1000的映射。本文基于inception V3的迁移网络，把最后3个层去掉，换成一个池化层和两个dense层，同时冻结inception V3基础网络，最后的一个dense层的输出设置为10，即实现了本文玉米图片与识别目标10个发育期的映射。同上vgg16，本模型也分别设计了原始尺度和大尺寸两种输入网络模型，两种模型瓶颈层输出分别为8 × 8 × 2048和92 × 92 × 2048，总参数都是23，911，210个，训练参数都是2，108，426个，冻结参数都是21，802，784个。 Table 4 Basic network model of inception V name type Input size Conv block1 conv 299 × 299 × 3 conv 149 × 149 × 32 Conv padded 147 × 147 × 32 pool 147 × 147 × 64 Conv block2 conv 73 × 73 × 64 conv 71 × 71 × 80 conv 35 × 35 × 192 Inception Block 1 3*Inception 35 × 35 × 288 Inception Block 2 5*Inception 17 × 17 × 768 Inception Block 3 2*Inception 8 × 8 × 1280 maxpool pool 8 × 8 × 2048 FC linear 1 × 1 × 2048 softmax softmax 1 × 1 × 1000 表4. Inception V3基础网络模型 Table 5 Corn development stage recognition network based on original size migration of inception V Layer (type) Output Shape Param inception_v3 (Model) (None， 8， 8， 2048) 21802784 global_average_pooling2d (None，2048) 0 dense_1 (Dense) (None， 1024) 2098176 dense_2 (Dense) (None， 10) 10250 Total params: 23，911，210 Trainable params: 2，108，426 Non-trainable params: 21，802，784 表5. 基于inception V3原始尺寸迁移的玉米发育期识别网络 Table 6 Network of Corn development period based on large scale migration of inception V Layer (type) Output Shape Param inception_v3 (Model) (None， 92，92， 2048) 21802784 global_average_pooling2d (None，2048) 0 dense_1 (Dense) (None， 1024) 2098176 dense_2 (Dense) (None， 10) 10250 Total params: 23，911，210 Trainable params: 2，108，426 Non-trainable params: 21，802，784 表6. 基于inception V3大尺寸迁移的玉米发育期识别网络