system: [SYSTEM]

user: 4. 实验与分析 为验证本文算法的分类性能，我们在MNIST数据集和Cifar-10数据集上进行实验，并与不同的分类算法进行比较，以验证本文的网络模型结构简单，参数量较少且基于多区域上下文特征信息建模比单区域特征信息建模可以得到更高的分类准确率。实验硬件平台Intel(R)Core(TM)i7-8700 CPU@3.20 GHz 3.19 GHz，8 G内存。实验的软件平台：Windows10 64位操作系统Python3.5，Tensorflow1.12。 4.1. 实验数据集介绍 MNIST数据集是一个手写字识别数据集，图片大小为28 × 28，其中包含60000个训练样本以及10000个测试样本。像素值为0表示白色，像素值为255表示黑色。 Cifar-10数据集包含50000张训练图片以及10000张测试图片，数据集图片包含airplane、automobike等10个类别的物体。其中，每张图片都是RGB三通道的彩色图像，且均为 32 × 32 大小。 4.2. 实验结果及分析 4.2.1. 本文模型算法与其他模型算法对比 为验证本文网络模型的结构简单且能得到较高的分类准确率，我们在MNIST数据集和Cifar-10数据集上与不同的分类算法进行比较。 表1给出在MNIST数据集上，本文方法与其他不同的分类算法进行图像分类的错误率的对比。本文算法的图像分类识别准确率在MNIST数据集上优于其他算法，相比PCANet [ 19 ]、Stochastic Pooling ConvNet [ 20 ]、Conv + Maxout + Dropout [ 21 ] 分别提高了0.27%、0.12%、0.10%，达到了99.65%。其中，实验训练时，把测试集设置成10个Batch-Size输入网络进行测试验证，每个实验结果是在做了20次实验后取平均值所得到。 Table 1 Comparison of classification error rates between model algorithm and other model algorithms in MNIST dataset Methods Error Rates (%) PCANet [ 19 ] 0.62 Stochastic Pooling ConvNet [ 20 ] 0.47 Conv + Maxout + Dropout [ 21 ] 0.45 MR-CNN 0.35 表1. 本文模型算法与其他模型算法在MNIST数据集的分类错误率的比较 表2给出在Cifar-10数据集上，本文方法与不同的分类算法进行图像识别的分类精确度的对比。本文算法的图像识别准确率在Cifar-10数据集优于其他算法，比PCANet [ 19 ]、Stochastic Pooling ConvNet [ 20 ]、Conv + Maxout + Dropout [ 21 ] 分别提高了11.48%、3.75%、0.30%，达到了88.62%。同样地，实验训练时，把测试集设置成10个Batch-Size入网络进行测试验证，每个实验结果是在做了20次实验后取平均值所得到。 4.2.2. 本文模型与其他模型复杂度对比 为了分析模型的复杂度，同样对四种经典的神经网络模型复杂度进行比较分析。五种模型的网络层数和网络整体参数量如表3。 Table 2 Comparison of classification accuracy between model algorithm and other Model Algorithms in Cifar-10 data se Methods Accuracy (%) PCANet [ 19 ] 77.14 Stochastic Pooling ConvNet [ 20 ] 84.87 Conv + Maxout + Dropout [ 21 ] 88.32 MR-CNN 88.62 表2. 本文模型算法与其他模型算法在Cifar-10数据集的分类精度的比较 Table 3 Comparison of five model network layers and network parameter Model Number of Layer Parameters (M) AlexNet [ 1 ] 8 60 VggNet16 [ 2 ] 16 138 GoogleNet [ 3 ] 22 5 ResNet50 [ 4 ] 50 5.5 MR-CNN 6 3 表3. 五种模型网络层数及网络整体参数对比 从表3可以看出，本文所提出的模型网络层数是最少的，只有6层，对比其他经典模型的网络结构简单得多。虽然AlexNet的网络层数跟本文模型的网络相差不多，但它的网络里存在全连接层，模型整体的网络参数量较多，使得网络复杂度增加，加大网络的计算量，网络的工作效率下降。本文所提出的模型网络参数量也是最少的，对比GoogleNet，网络参数量虽然相差不远，但它的网络层数较多，结构也比较复杂。本文所提模型的网络参数主要消耗在多通道的级联部分，但网络模型整体结构简单，层数最少，整体网络复杂度较低。所以，本文所提模型权衡了网络复杂度和算法准确率之间的关系，具有较好的鲁棒性的同时有较高的准确率。 4.2.3. 多个区域级联对比 为了分析级联区域个数对图像分类效果的影响，在Cifar-10数据集上对各个分区域级联个数各种组合进行比较分析。 从表4可以看出，级联任意两个分区域的分类精度相差不大，本文所提的MR-CNN模型的分类精度明显优于它们。这表明，级联两个分区域的特征信息不够完整，本文的MR-CNN模型更加全面地把局部特征和全局特征结合，得到更高的分类精度。 Table 4 Comparison of classification accuracy between proposed model and two sub- regional cascaded model Region Accuracy (%) R G + R C 85.85 R G + R L T 86.13 R G + R R T 86.16 R G + R L B 85.99 R G + R R B 86.17 MR-CNN 88.62 表4. 所提模型与两个分区域级联模型的分类精度对比 从表5可以看出，级联任意三个分区域的分类精度相差不大，本文所提的MR-CNN模型的分类精度明显优于它们。这表明，级联三个分区域的特征信息也不够完整，但对比表4级联任意两个分区域的分类精度要高一些。因此，级联多一个分区域有利于获得更多的图像特征信息，提高分类精度，其中本文的MR-CNN模型有最高的分类精度。 Table 5 Comparison of classification accuracy between proposed model and three sub-regional cascaded model Region Accuracy (%) R G + R L T + R R T 86.53 R G + R L T + R L B 86.50 R G + R L T + R R B 86.33 R G + R L T + R C 86.35 R G + R R T + R L B 86.42 R G + R R T + R R B 86.33 R G + R R T + R C 86.43 R G + R L B + R R B 86.35 R G + R L B + R C 86.28 R G + R R B + R C 86.30 MR-CNN 88.62 表5. 所提模型与三个分区域级联模型分类精度对比 从表6可以看出，级联任意四个分区域的分类精度同样相差不大，同样与本文所提的MR-CNN模型的分类精度有一些差距。这表明，级联四个分区域的特征信息还不够完整，但对比表4和表5，级联任意两个分区域或者级联任意三个分区域的分类精度都要高一些。因此，更加能证明级联多一个分区域有利于获得更多的图像特征信息，提高图像的分类精度。MR-CNN把五个分区域全部级联，把图像的各个部分局部特征和全局特征的有用信息提取和融合，进而获得最高的分类精度。 Table 6 Comparison of classification accuracy between proposed model and four sub-regional cascade model Region Accuracy (%) R G + R L T + R R T + R L B 87.37 R G + R L T + R R T + R R B 87.34 R G + R L T + R R T + R C 86.82 R G + R R T + R L B + R R B 87.20 R G + R R T + R L B + R C 86.80 R G + R L B + R R B + R C 86.95 MR-CNN 88.62 表6. 所提模型与四个分区域级联模型分类准确率对比 4.2.4. 用于本文模型算法内部参数对比 为了分析本文模型算法内部参数设置对图像分类准确率的影响，我们在MNIST数据集和Cifar-10数据集上分别做了有无批量归一化、不同激活函数、全连接和全局平均池化对图像分类效果影响的实验。 表7和表8给出了在MNIST数据集上和在Cifar-10数据集上级联两个分区域和本文模型在有无批量归一化情况下的分类性能。通过表7和表8我们可以看出无论在本文模型还是级联两个分区域的情况下，添加了批量归一化都明显优于没有添加批量归一化的分类效果，从而可以证明在本文所提模型中，批量归一化对于图像分类性能的确有所提高。在实验中，我们也可以发现加了批量归一化十分明显地加快了网络的训练速度，网络收敛速度的加快为我们训练网络节省了很多时间成本，提高了我们的网络模型的工作效率。通过本文设计的网络模型，把全局区域特征与各个分区域特征级联的方法可以把图像的分类精度达到最好的效果。 Table 7 Classification error rates (%) with or without batch normalization on MNIST dat Region With BN Without BN R G 0.42 0.65 R G + R C 0.39 0.62 R G + R L T 0.43 0.68 R G + R R T 0.44 0.69 R G + R L B 0.43 0.67 R G + R R B 0.44 0.66 MR-CNN 0.35 0.58 表7. 在MNIST数据集上，有无批量归一化的分类错误率 Table 8 Classification accuracy (%) with or without batch normalization on Cifar-10 dat Region With BN Without BN R G 84.94 82.64 R G + R C 85.85 82.73 R G + R L T 86.13 83.01 R G + R R T 86.16 83.15 R G + R L B 85.99 82.88 R G + R R B 86.17 83.07 MR-CNN 88.62 84.24 表8. 在Cifar-10数据集上，有无批量归一化的分类精确率 表9和表10给出了在MNIST数据上和在Cifar-10数据集上，本文所提出的模型和级联两个分区域模型采用不同激活函数的分类性能。将本文所提模型用到的Swish激活函数与现在最常用的Relu函数作了对比。通过实验结果表明，本文网络模型用到的Swish函数无论在全局区域还是在级联两个分区域中都比Relu函数的分类效果好一些。其中，在本文所提的模型中，Swish函数比Relu函数的图像分类效果提高得更显著。 Table 9 Classification error rates (%) of different activation functionson MNIST dat Region Relu Swish R G 0.51 0.42 R G + R C 0.47 0.39 R G + R L T 0.49 0.43 R G + R R T 0.48 0.44 R G + R L B 0.50 0.43 R G + R R B 0.49 0.44 MR-CNN 0.45 0.35 表9. 在MNIST数据上，不同激活函数的分类错误率 Table 1 0 Classification accuracy (%) of different activation functions on Cifar-10 dat Region Relu Swish R G 85.44 84.94 R G + R C 85.48 85.85 R G + R L T 85.46 86.13 85.82 86.16 R G + R L B 86.03 85.99 R G + R R B 86.05 86.17 MR-CNN 87.18 88.62 表10. 在Cifar-10数据集上，不同激活函数的分类精度 表11和表12给出了在MNIST和Cifar-10数据集上，本文所提出的模型分别在使用全连接层和全局平均池化层的分类性能。实验结果表明，本文通过把全局平均池化层替换掉了传统的全连接层，网络模型除了大大地减少了参数量，使网络模型更加简化，加快网络模型的训练速度外，无论在全局区域还是在级联两个分区域中准确率都有很大的提升。其中，本文所提的MR-CNN模型的分类效果是最好的。 Table 1 1 Classification error rates (%) of fully connected and global average pooling on MNIST dat Region FC GAP R G 0.78 0.42 R G + R C 0.76 0.39 R G + R L T 0.83 0.43 R G + R R T 0.86 0.44 R G + R L B 0.85 0.43 R G + R R B 0.85 0.44 MR-CNN 0.72 0.35 表11. 在MNIST数据集上，全连接和全局平均池化的分类错误率 Table 1 2 Classification accuracy (%) of fully connected and global average pooling on Cifar-10 dat Region FC GAP R G 84.72 84.94 R G + R C 85.09 85.85 R G + R L T 85.37 86.13 R G + R R T 85.40 86.16 R G + R L B 85.73 85.99 R G + R R B 85.77 86.17 MR-CNN 87.04 88.62 表12. 在Cifar-10数据集上，全连接和全局平均池化的分类精度 表7~12这六个实验结果表明，本文的MR-CNN模型在分类精度上都明显优于仅有全局区域和级联两个分区域的分类精度。很明显无论是在全局区域还是在级联两个分区域中，批量归一化、Swish函数和全局平均池化层的分类操作都对分类任务起着积极的作用。 从每个实验数据的结果来看，基于全局区域与多个局部区域级联(MR-CNN)的分类性能要优于单个区域、两个区域级联、三个区域级联、四个区域级联。本文提出的MR-CNN算法在考虑多个分布区域的情况下，具有更强的鲁棒性特征表示，由于区域分块卷积和多区域级联卷积的结合，MR-CNN达到了最佳的分类精度，并且所提出的MR-CNN模型明显优于其它分类器。