system: [SYSTEM]

user: 4. 实验设计与结果分析 由于两个模型在全连接层前均进行了全局降采样，全连接层参数相对于网络总参数可忽略不计，只考虑卷积层或递归卷积层的参数。对于卷积神经网络模型和递归卷积神经网络模型，均设计A、B两组变种，每组包括基准模型(A2，B2)、在基准模型的基础上增加低层参数数量的模型(A1，B1)和在基准模型的基础上增加高层参数数量的模型(A-3，B-3)，并尽量保证A、B两组组内模型总参数一致。由于cuda-convnet2要求每层的特征图个数必须为32的倍数，所以难以要求同组内各模型的总参数数量精确相同。每个基准模型各层的特征图数目 均相同，但A2和B2的 不相同，导致它们的总参数数量不相同。为减化讨论，对于卷积神经网络，我们设定第一、第二个卷积层为低层卷积层，第三、四、五个卷积层为高层卷积层(见图1)；对于递归卷积神经网络，设定卷积层与第一个递归卷积层为低层，第二至第四个递归卷积层为高层(见图2)。 4.1. CIFAR-10 对于卷积神经网络的基准模型CNN-A2各层的特征图数设为160，CNN-B2各层的特征图数设为192，两个基准模型的总参数分别为0.95M和1.34M，实验结果见表1。由测试结果可以看出，更多的参数并没有给CNN带来更好的实验结果，即CNN-B2相对于CNN-A2发生了过拟合。 Table 1 CIFAR-10 experiment results， the low-level and high-level， general representative low-level and high-level and the total number of parameters， unit m letters， error rate for identifying the wrong picture of all the ratio of test images， the same belo 实验模型 各层特征图数 低层/高层/总(M) 错误率(%) CNN-A1 256-256-96-96-96 0.6/0.38/0.98 11.19 CNN-A2 160-160-160-160-160 0.25/0.7/0.95 10.37 CNN-A3 96-96-192-192-192 0.1/0.83/0.93 10.32 CNN-B1 256-256-160-160-160 0.6/0.8/1.4 11.35 CNN-B2 192-192-192-192-192 0.34/1.0/1.34 10.43 CNN-B3 128-128-224-224-224 0.15/1.16/1.31 10.35 RCNN-A1 192-192-128-128-128 0.68/1.1/1.78 9.16 RCNN-A2 [ 8 ] 160-160-160-160-160 0.47/1.38/1.85 8.69 RCNN-A3 96-96-192-192-192 0.17/1.6/1.77 8.61 RCNN-B1 224-224-96-96-96 0.92/1.7/2.62 9.14 RCNN-B2 [ 8 ] 192-192-192-192-192 0.68/2.0/2.68 9.01 RCNN-B3 128-128-224-224-224 0.3/2.32/2.62 8.93 Maxout [ 11 ] - -/-/>5 11.68 NIN [ 13 ] - -/-/0.98 10.41 DSN [ 14 ] - -/-/0.98 9.69 PRelu [ 15 ] - -/-/0.98 11.19 Highway [ 16 ] - -/-/2.3 7.76 表1. CIFAR-10实验结果，其中低层、高层、总代表低层、高层和总的参数数量，单位Million，错误率为识别错误的图片占所有测试图片的比率，下同 在基准模型CNN-A2的基础上增加低层参数数量并降低高层参数数量，测试错误率由10.37%增加到11.19%；而增加高层参数量并减少低层参数量，错误率降低到10.32%。在基准模型CNN-B2的基础上增加低层参数数量同时减少高层参数数量，错误率从10.43%升高到11.35%；而增加高层参数数量同时减少低层参数数量，错误率降为10.35%。实验结果表明：在CIFAR-10的卷积神经网络模型实验中，在总的参数数量不变的情况下，增加网络高层参数可以提高网络测试准确率；增加网络低层参数使得网络测试准确率降低。 参考卷积神经网络的基准模型，递归卷积神经网络的基准模型RCNN-A2各层的特征图数设为160，RCNN-B2各层的特征图数设为192。通过分别增加和减少高层和低层的特征图数，进行训练测试，我们得出了与卷积神经网络实验中相同的结论(见表1)。同时，RCNN-A3得到相当具有竞争力的测试结果，测试错误率为8.61%，仅高于尚未正式发表的文献 [ 16 ] 中的结果。 4.2. CIFAR-100 对于CIFAR-100数据集，采用与CIFAR-10相同的实验设计。即对于卷积神经网络模型和递归卷积神经网络模型，基准模型A2各层的特征图数设为160，基准模型B2各层特征图数设为192，实验结果见表2。对于基准模型CNN-A2，网络总参数为0.96 M，在此基础上，模型CNN-A1减少高层参数数量至0.6M，并增加低层参数数量至0.38M，总参数数量与基准模型CNN-A2保持一致，实验测试错误率由34.06%增加到37.64%；模型CNN-A3减少低层参数数量至0.1 M并增加高层参数数量至0.85 M，总参数数量不变，实验测试错误率降低至33.79%。基准模型CNN-B2网络总参数为1.34 M，测试错误率为33.47%，增加低层参数数量同时减少高层参数数量得到模型CNN-B1的实验测试错误率为36.32%；增加高层参数 Table 2 The experimental results of CIFAR-10 实验模型 各层特征图数 低层/高层/总(M) 错误率(%) CNN-A1 256-256-96-96-96 0.6/0.38/0.98 37.64 CNN-A2 160-160-160-160-160 0.25/0.71/0.96 34.06 CNN-A3 96-96-192-192-192 0.1/0.85/0.95 33.79 CNN-B1 256-256-160-160-160 0.6/0.8/1.4 36.32 CNN-B2 192-192-192-192-192 0.34/1.0/1.34 33.47 CNN-B3 128-128-224-224-224 0.15/1.18/1.33 33.12 RCNN-A1 192-192-128-128-128 0.68/1.1/1.78 35.98 RCNN-A2 [ 8 ] 160-160-160-160-160 0.47/1.38/1.85 31.75 RCNN-A3 96-96-192-192-192 0.17/1.6/1.77 31.54 RCNN-B1 224-224-96-96-96 0.92/1.7/2.62 33.81 RCNN-B2 [ 8 ] 192-192-192-192-192 0.68/2.0/2.68 31.56 RCNN-B3 128-128-224-224-224 0.3/2.32/2.62 31.48 Maxout [ 11 ] - -/-/>5 38.57 NIN [ 13 ] - -/-/0.98 35.68 DSN [ 14 ] - -/-/0.98 34.57 PRelu [ 15 ] - -/-/0.98 40.25 表2. CIFAR-100实验结果 数量并减少低层参数数量，得到模型CNN-B3实验测试错误率为33.12%。同样的，在递归卷积神经网络模型实验中，模型RCNN-A1在基准模型RCNN-A2的基础上增加低层参数数量并减少高层参数数量，实验测试错误率由基准模型RCNN-A2的31.75%增加至35.98%；而模型RCNN-A3增加高层参数数量减少低层参数数量，实验测试错误率下降为31.54%。基准模型RCNN-B2测试错误率为31.56%，将基准模型低层参数数量增大、高层参数数量减小的模型RCNN-B1测试错误率增大至33.81%；而将基准模型高层参数数量增大、低层参数数量减小的模型RCNN-B3，测试错误率减小为31.48%。 由此可得，在CIFAR-100数据集上，同样存在模型总参数不变的情况下，增加高层参数数量有益于提高模型的性能，而增加低层参数数量，反而会使得网络性能降低。另一方面，模型RCNN-A3和模型RCNN-B3在与 [ 8 ] 文中具有相同参数的基准模型RCNN-A2和基准模型RCNN-B2相比，取得了优良的结果。 4.3. SVHN 对于SVHN数据集，同CIFAR-10和CIFAR-100，CNN基准模型CNN-A2各层特征图数为160，基准模型CNN-B各层特征图数为192；RCNN基准模型RCNN-A2各层特征图数为160，基准模型RCNN-B2各层特征图数为192，实验结果见表3。 基准模型CNN-A2总参数为0.95M，错误率为2.87%，在基准模型基础上增加低层参数并降低高层参数得到模型CNN-A1测试错误率为2.91%；增加高层参数并降低低层参数得到高层模型CNN-A3错误率为2.81%。基准模型CNN-B2总参数为1.34M，错误率为2.82%，在此基础上，增加低层参数并降低高层参数得到模型CNN-B1错误率为2.89%；增加高层参数并降低低层参数得到模型CNN-B3错误率为2.76%。基准模型RCNN-A2总参数为1.85M，错误率为1.80%，增加低层参数数量的并减少高层参数数量得到模型RCNN-A1错误率为1.86%；增加高层参数数量的高层并减少低层参数数量得到模型 Table 3 The experimental results of SVHN data se 实验模型 各层特征图数 低层/高层/总(M) 错误率(%) CNN-A1 256-256-96-96-96 0.6/0.38/0.98 2.91 CNN-A2 160-160-160-160-160 0.25/0.7/0.95 2.87 CNN-A3 96-96-192-192-192 0.1/0.83/0.93 2.81 CNN-B1 256-256-160-160-160 0.6/0.8/1.4 2.89 CNN-B2 192-192-192-192-192 0.34/1.0/1.34 2.82 CNN-B3 128-128-224-224-224 0.15/1.16/1.31 2.76 RCNN-A1 192-192-128-128-128 0.68/1.1/1.78 1.86 RCNN-A2 [ 8 ] 160-160-160-160-160 0.47/1.38/1.85 1.80 RCNN-A3 96-96-192-192-192 0.17/1.6/1.77 1.76 RCNN-B1 224-224-96-96-96 0.92/1.7/2.62 1.87 RCNN-B2 [ 8 ] 192-192-192-192-192 0.68/2.0/2.68 1.77 RCNN-B3 128-128-224-224-224 0.3/2.32/2.62 1.73 Maxout [ 11 ] - -/-/>5 2.47 NIN [ 13 ] - -/-/1.98 2.35 DSN [ 14 ] - -/-/1.98 1.92 表3. SVHN数据集实验结果 RCNN-A3错误率为1.76%；基准模型RCNN-B2总参数为2.68M，错误率为1.77%，以此为基准，增加低层参数数量减少高层参数数量得到模型RCNN-B1错误率增加为1.87%；而增加高层参数数量减少低层参数数量得到模型RCNN-B3错误率降低为1.73%。可以看出，对于SVHN数据集，采用上述CIFAR-10和CIFAR-100所得到的简单规律，即保证总参数数量基本不变，减少低层参数数量并增加高层参数数量，模型RCNN-A3和RCNN-B3在取得优秀的测试结果，进一步验证了上述规律。