system: [SYSTEM]

user: 3. 系统运行实验及分析 该系统的实现采用的是开源的跨平台计算机视觉库OpenCV以及基于COM视窗操作系统的Microsoft Speech API开发包。 3.1. 物体识别 首先针对物体识别的功能进行分析。如图7是系统的初始界面，共有三种读入数据的方式：摄像头读入，视频读入以及图片读入。摄像头读入是通过摄像头选定目标物体后跟踪和捕捉目标物体；视频读入则是在读入一个视频数据选定目标物体后对视频中的目标进行跟踪和捕捉目标物体；图片读入则是初始读入图片数据并选定目标物体，然后从摄像头中找到指定的目标物体。这三部分将通过包括平面移动、平面转动、复杂背景、慢速及快速运动、形变、光照、运动模糊等多面来测试系统对不同条件情况下的处理能力。 3.1.1. 摄像头读入 摄像头读入作为最核心的部分本文采用了室内室外两块具有明显光照区别的实验场景进行实验从而可以检测物体自动识别在各种情况下的效果。 首先是室内采用的是静态的物体识别测试，从最简单的方式开始检测物体识别的效果，包括摄像头的移动，遮挡，消失重现，摇晃四个方面来看。 如图8所列的(1) (2) (3) (4) (5) (6) (7) (8)八幅图分别是对摄像头读入的第11、34、45、54、67、80、89、95帧的追踪和识别结果。 1) 图8 (1)是初始识别状态； 2) 图8 (2)中看出当目标物体被遮挡时是肯定识别不到任何物体的，但从图(3)中可以看出物体重新被识别了； 3) 图8 (3)中目标物体和图(1)一样得到了重新得到了识别并更新了图像元； 4) 将摄像头如图8 (4)中向右边移动时图像元中的部分的分类器会变成变色，因为距离较远其实是有部分缺失才会导致这种情况，但整体的图像元依然能够清晰的识别，P-N学习的方法使得部分未缺失的图像元得到继续的学习和定位； 5) 图8 (5)将摄像头转移让目标物体消失后来测试训练集的效果； 图7. 系统界面 图8. 室内摄像头移动目标物体静止测试 6) 图8 (6)当摄像头中的图像元中重新出现有训练集的数据时，该图像就会被重新识别； 7) 图8 (7)同时尝试将摄像头晃动，看下不清晰的图像元对识别效果有什么比较大的影响； 8) 图8 (8)虽然图像会像图(7)中不稳定导致下半部分空白，但当摄像头得到稳定的图像后识别率依然很高； 由于室内的灯光比较昏暗，距离也比较远，从实验开始到结束目标物体的图像元基本都会有点残缺。当将实验场景移到户外光亮的地方时，该系统的识别效果就显露了出来。 如图9所列的(1) (2) (3) (4) (5) (6) (7) (8)八幅图分别是对摄像头读入的第20、34、42、61、72、83、98、109帧的追踪和识别结果。 1) 图9 (1)是初始识别状态； 2) 从图9 (2)中看出当目标物体移近放大时图像元的效果很好，与初始状态是几乎相同的，说明放大时并不会影响物体的识别效果； 3) 在图9 (3)中将目标物体平面缓慢移至左上角时图像元的效果也是很好，说明在低速运动下该算法的识别效果很不错； 4) 而当目标物体像图9 (4)中向右边突然快速移动时图像元中的部分分类器会有所缺失，但是整体的图像元依然能跟着目标物体移动，说明当目标物体消失的时候识别器就会凭着对过去目标物体识别的学习重新对其进行定位。这里面的学习方法便是P-N学习； 5) 同时再将目标物体再次慢速下移，如图9 (5)效果已经远不如当初图9 (3)能让所有识别器都能识别到目标物体的特征。但依然能凭借过去的P-N学习继续对其定位； 6) 让目标物体突然消失，然后过3 s后再次出现在摄像头范围内。图9 (6)中可以发现目标物体的图像元的识别器已经和当初的识别效果相同了，也是因为有了P-N学习才能再次训练分类器； 7) 将茶壶的盖子移开后，整个茶壶的形状实质上是发生了改变，如图9 (7)。虽然会缺少部分图像元但学习模块会根据跟踪器的跟踪结果对识别器的两个错误进行评估，并根据评估的结果生成训练样本对识别器的目标模型进行更新，同时对跟踪器的关键特征点进行更新，所以只要茶壶的主要特征点还在，虽然缺少了一个盖子但是主体依然能作为目标来继续识别； 8) 图9 (8)中的转动其实也包含有目标物体的形变，但只要变动不是特别大能识别出主体，则目标物体可以继续被识别和跟踪。 从室内和室外两个不同的测试可以看出基于TLD算法的物体识别系统对于光照的变化是比较敏感的，一旦发生了较大的光照变化，尤其是局部目标表示的方法时，目标物体容易丢失；在光照较强时目标物体更易于识别；而当光照较弱后，目标物体的分类器丢失严重。 同时根据图10物体识别相似度可以看出物体由于在识别过程中有移动、放大、变形、消失再出现等动作，所以相似度会在某段帧间有较大的波动。其中在后期出现变形和旋转时相似度虽然只有0.8左右，但依然能保持很好的跟踪识别效果。所以总体的相似度还是能与初始选定的目标物体相匹配。 同时图11的识别率变化则反映出虽然对目标物体的相似度不能达到非常好的效果，但依然能保持比较高且稳定的识别，从而保证目标物体不会丢失。 3.1.2. 视频读入 仅仅在通过摄像头在现实生活中的测试是远远不够的，因为有很多情况都容易忽视或实现，这时候就可以从visual Tracker Benchmark中下载大量的数据集来测试，如图12所示。这些数据集都是从IEEE等多个议会的多篇近期论文中选择出来的。这些测试数据集都尽可能的考虑测试视频所应该面对的恶劣场景的所有情况。 图9. 室外目标物体在摄像头中运动测试 图10. 物体识别相似度变化折线图 图11. 物体识别识别率变化折线图 图12. 测试数据集 [ 5 ] 我们从所有数据集中选取了几类不同环境下的数据集作为测试内容。其中以David最为经典，因为它所包含的测试有光照变化(IV)、尺度变化(SV)、闭塞(OCC)、变形(DEF)、运动模糊(MB)、内平面旋转(IPR)及外平面旋转(OPR)。所以将其作为接下来的测试内容。 如图13所列的(1) (2) (3) (4) (5) (6)六幅图分别是对视频读入的第12、14、42、61、72、83、98、109帧的追踪和识别结果。 1) 图(1)是初始读入的状态； 2) 从图(2)中看出当目标物体读入的时候环境已经是非常昏暗的，只能大概看的出是人脸的轮廓，但依然能识别出目标物体的位置； 3) 图(3)中目标物体的头发生了扭动，但依然不会影响识别的准确度； 4) 图(4) (5)中目标物体的亮度慢慢发生了变化，因此识别的效果更好，图像元所要跟踪的范围也可以缩得更小； 5) 根据图(6)当目标物体脱下眼镜时属于面部发生了形变的变化，但其主要的脸部特征并没有发生改变，所要依然能准确识别出目标物体的脸部。 从图13中可以看出视频的测试也是比较准确的，由于物体识别的相似度和识别率效果都与前者相同则之后都不再给出识别过程中的数据信息。 3.1.3. 图片读入 图片读入主要是先对一张图片中的指定物体进行选定，然后将指定物体作为目标物体通过摄像头来识别和跟踪。如图14中左下边是读入的图片内容，在图片内选定酒品作为识别物体，而右边则会根据选定的物体进行识别，最后识别的效果也和之前的识别效果相类似。 3.2. 语音识别 正如前面的工作内容所描述，由于读入的语音内容少，只需要对“识别结果正确”和“识别结果错误”两个语音进行处理，所以重点是更好的调试和实现它。所以实验部分也会比较简单，当识别到目标物体时只要念到“识别结果正确”就会弹出“识别结果正确”的提示框，然后可以继续识别；当无法识别或识别不到目标物体的时候只要念“识别结果错误”就会弹出“识别结果错误”的提示框，然后可以重新圈定目标物体并重新识别。图15中的六幅图是之前所有实验结果的识别情况：