system: [SYSTEM]

user: 6. 实验与分析 行人检测是计算机视觉的研究热点之一，目前用于行人检测的公开测试数据集也较多，本节首先介绍行人检测领域的数据集以及针对营区周界警戒应用的自建数据集，然后介绍行人检测的常用评价指标，最后分析和对比本文方法与现有性能较好的行人检测方法的性能指标。 6.1. 行人检测数据集 目前，行人检测领域的公开测试数据集主要有6个，包括INRIA、ETH、TUD-Brussels、Daimler、KITTI和Caltech。这些数据集依据构建目标的不同都有不同的特点。其中，常用的是INRIA和Caltech两个数据集。简要介绍如下： 1) INRIA INRIA是最早使用的行人检测数据集，该数据集包含的图像共有5264幅(其中包含行人的图像有3548幅)。尽管该数据集规模不大，但优势在于包含的行人图像是经过裁剪的，非常适用于行人检测器的训练。 2) Caltech Caltech数据集是由穿越美国洛杉矶街头的车辆记录的2.5小时30 Hz视频构成的，视频分辨率为640 × 480。视频中注释了共计35万个包围约2300个独立行人的包围盒，也即人工标注的行人窗口数量约为350，000个。由于这些数据都是来自真实街区场景的自然行人，行人存在遮挡现象和姿态变化，因此检测难度较大。 对于营区周界警戒系统而言，还需要考虑复杂天候的影响，譬如夜晚可视程度差的情况。因此，在现有数据集的基础上，本文还自建了营区周界警戒数据集，采用视频录制和互联网收集的方式构建了共有50个视频片段，并标记视频片段中每帧图像中行人出现的位置，用于训练和测试。 6.2. 常用性能评价指标 行人检测的性能评价指标主要有两个：真正率(True Positive Rate， TPR)和假正率(False Positive Rate， FPR)，计算公式如下 TPR = 正 确 检 测 到 的 行 人 数 量 标 记 的 行 人 数 量 × 100 % (20) FPR = 错 误 检 测 到 的 行 人 数 量 错 误 检 测 到 的 行 人 数 量 + 正 确 检 测 到 的 行 人 数 量 × 100 % (21) 这里，正确检测到行人的含义是：检测到的行人窗口与人工标记的行人窗口的重合度大于50%。错误检测到行人的含义是：检测到的行人窗口与人工标记的行人窗口的重合度不大于50%。重合度定义为 IoU ( r ， r ˜ ) = S ⌢ ( r ， r ˜ ) S ( r ) + S ( r ˜ ) − S ⌢ ( r ， r ˜ ) × 100 % (22) 其中， r 和 r ˜ 分别表示标记的行人窗口和检测到的行人窗口， S ( r ) 和 S ( r ˜ ) 分别表示 r 和 r ˜ 的面积， S ⌢ ( r ， r ˜ ) 是指 r 与 r ˜ 之间交叉区域的面积。 另外，行人检测效率也是行人检测性能的重要评价指标之一，本文采用平均检测耗时来描述行人检测效率，该值越小说明行人检测效率越高。平均检测耗时是指平均对每一帧视频图像进行行人检测所耗费的时间，不包含视频解码、显示以及分类器训练耗时。由于耗时测算与处理器和处理环境性能关联大，因此实验时需要在相同平台上进行耗时测试，本文使用的计算性平台参数如表1所示，后续不再赘述。 6.3. 不同方法的性能对比分析 为了评价本文提出的结合多通道模板和卷积神经网络的行人检测方法(简记为MC_CNN方法)的性能，将该方法与目前行人检测领域性能较好的方法进行对比实验。这里选取了三种方法进行对比实验。其中，文献 [ 4 ] 是一种基于特征的行人检测方法，采用HOG特征和SVM分类器实现行人的检测，简记为HOG_SVM方法。文献 [ 5 ] 是一种基于深度学习的行人检测方法，采用深度卷积神经网络(Deep Convolutional Table 1 Computer platform parameter 内容 参数 CPU Intel I5 3.2 GHZ 内存 8 G 操作系统 Windows 7 64位 软件平台 Matlab 2012 深度学习库 Caffe 计算机视觉库 OpenCV 2.4.11 表1. 计算机平台参数 Neural Networks)进行行人目标检测，简记为DCNN方法。文献 [ 6 ] 是一种结合运动检测和特征分类的行人检测方法，采用光流法检测运动区域，然后结合HOG特征和SVM分类器进行行人的检测，简记为OF_HOG_SVM方法。这三种方法可以从不同的侧面来印证本文方法的优越性。需要说明的是，四种方法都使用INRIA数据集、Caltech数据集的set00~set05子集以及自建数据集的前20个视频片段进行训练。测试时，首先在Caltech数据集的set06~set10子集上进行测试，然后再在剩余的自建数据集上进行测试，分别统计各个数据集上的行人检测性能指标。其中，图4展示了Caltech数据集上四种方法的性能指标。图5展示了自建数据集上四种方法的性能指标。表2给出了四种方法的平均检测耗时对比结果。下面结合实验结果进行分析。 1) FPR指标对比分析 由图4和图5可见，本文方法和文献 [ 5 ] 所述方法的FPR值明显低于其他两种方法，究其原因，主要是因为本文方法和文献 [ 5 ] 所述方法都是采用深度学习框架实现行人目标的检测，而文献 [ 4 ] 和文献 [ 6 ] 所述方法都是采用结合特征与分类器的方法实现行人目标的检测。这说明，深度学习框架在行人目标检测应用中的虚检率低，也即把非行人目标检测为行人目标的概率低。另外，本文方法的FPR值低于文献 [ 5 ] 所述方法，文献 [ 6 ] 所述方法的FPR值也低于文献 [ 4 ] 所述方法，这主要是由于本文方法和文献 [ 6 ] 所述方法采用运动侦测滤除了背景区域的干扰，降低了在这些区域将非行人目标检测为行人目标的概率，从而降低了FPR的值。对比图4和图5中各方法的FPR值可以发现，文献 [ 4 ] 所述方法在自建数据集下的FPR值增大明显，这是因为自建数据集下的干扰目标较多，容易造成虚检。而文献 [ 6 ] 所述方法通过运动侦测过滤了大量干扰目标，因此FPR值增大不显著。文献 [ 5 ] 所述方法采用深度学习框架进行行人目标的检测，虚检现象不显著，故FPR增加也不明显。本文方法通过感兴趣区域提取环节过滤了大量干扰目标，又结合卷积神经网络的深度学习框架实现了可靠的行人检测，因此FPR值也没有明显增加。 2) TPR指标对比分析 由图4和图5可见，本文方法的TPR值高于文献 [ 5 ] 所述方法，这是因为本文采用多通道模板增强了行人特征的显著性，在特征融合时采用最大值融合策略降低了行人目标的漏检率。本文方法的TPR值也高于文献 [ 4 ] 和文献 [ 6 ] 所述方法，主要原因是后两种方法在提取行人目标特征时受行人姿态和遮挡情况的影响较大，如果训练数据集中的行人姿态和遮挡情况不完备，那么在测试时难免存在行人漏检的现象。对比图4和图5中各方法的TPR值可以发现，文献 [ 4 ] 、文献 [ 5 ] 和文献 [ 6 ] 所述方法在自建数据集下的TPR值都有明显的下降，这是因为自建数据集中行人目标的光照、对比度等条件不理想，导致这三种方法存在不同程度的漏检。而本文方法融合了多通道模板，在RGB_CM、Y_CM、LBP_CM和G_CM四个通道模板上分别检测行人目标，避免某通道行人特征不显著造成的漏检现象，因此TPR值没有明显下降。 图4. Caltech数据集测试结果 图5. 自建数据集测试结果 3) 运算效率对比分析 由表2可见，文献 [ 5 ] 所述方法的平均检测耗时最多，其次是文献 [ 4 ] 所述方法，本文方法和文献 [ 6 ] 所述方法的平均检测耗时相当，明显小于其他两种方法，说明本文方法和文献 [ 6 ] 所述方法的运算效率高于其他两种方法。分析其原因，主要是因为本文方法和文献 [ 6 ] 所述方法都使用了运动检测方法过滤了大量背景区域，从而大幅降低了检测耗时。 Table 2 Average time-consuming comparison of four methods under two data set 方法 平均检测耗时/ms HOG_SVM 753 DCNN 1791 OF_HOG_SVM 79 MC_CNN 82 表2. 两个数据集下四种方法的平均检测耗时对比