system: [SYSTEM]

user: 3. 实验与分析 3.1. 关键帧提取 本文实验使用的数据是由课题组研发的蓝天一号(ASQ-HAA380)所采集的青海省海北藏族自治州的影像数据。由于飞艇在飞行过程中受气流的影响，造成航拍影像存在不规则的重叠区域。如果按照固定帧差提取关键帧影像则不能很好的满足相邻关键帧影像对之间的重叠度要求，从而影响了图像拼接的质量。按照固定帧差提取关键帧影像也不能适应测区内地表变化较大的情况。而本文提出的计算重叠度的方法可以快速有效的计算出两幅图像的重叠度，结合自适应关键帧的提取方法可以快速有效的提取关键帧影像。实验结果表明本文提出的自适应关键帧提取方法有效稳定，并且能适应测区内地表变换较大的情况，全面优于利用固定帧间隔的提取结果，获得重叠度分布均衡的提取结果，为后续的图像处理打下了坚实的基础。以第一测区为例，用本文方法提取的关键帧影像总数为99，该测区共有4566帧影像，关键帧提取的比例为2.1682%。以固定帧差间隔提取的关键帧影像的数目为96。表1为自适应关键帧提取方法和固定帧差间隔提取法的重叠度统计结果对比。如图7(a)所示，按照固定帧差间隔提取关键帧拼接成的影像存在局部明显错位的情况，而本文方法能够获得较好的拼接结果，如图7(b)所示。 3.2. 图像正射校正 先通过共线方程求解出图像所覆盖的范围，然后在区域内生成网格点，最后通过共线方程反求网格点在图像中的坐标，然后插值获得这些点的灰度值，完成图像的正射校正。正射校正的步骤如下： 1) 从图像坐标系到像平面坐标系的转换。首先获取图像的大小，记图像的宽为m，高为n，生成两个列向量，然后根据得到的两个列向量离散化生成图像坐标系。将生成的坐标系的每个点的横坐标减去m/2，纵坐标减去n/2，这样就将坐标原点移到了坐标网的中心，完成了图像坐标系到像平面坐标系的转换。 2) 通过共线方程解求图像覆盖的地面范围。根据摄影测量知识使用共线方程将第一步中得到的像平面坐标系下的各点计算得到其在地面摄影测量坐标系下的坐标。 3) 根据图像覆盖的地面范围，生成离散化地面坐标网格点。根据第二步可以得到该图像在地面的覆盖范围，从而得到其在横坐标方向的覆盖范围和在纵坐标方向的覆盖范围。根据实际情况定义地面坐标网格的间距，据此生成离散化的各网格点在地面摄影测量坐标系下的坐标。 4) 通过共线方程反求地面离散化坐标网格点在像平面坐标系下的坐标，完成图像的正射校正。根据第三步生成各点的坐标通过共线方程反求各点在像平面坐标系下的坐标，然后插值得到这些点的灰度值，完成图像的正射校正。 选择两幅图像，第一幅图像，为飞艇飞过牧场时采集的图像，除了一条道路之外，内部几乎不包含任何人工地物；图像为飞艇在城市区域采集的图像，内部包含大量的人工地物。使用前文提到的方法，将图像转化为正射图像(图8)。 Table 1 Comparison of adaptive key frame extraction method and fixed frame interval extraction metho 方法 最大值 最小值 平均值 方差 自适应关键帧提取 0.8999 0.7 0.77777 0.06256 固定帧差 0.9436 0.4586 0.751751 0.90657 表1. 自适应关键帧提取方法和固定帧间隔提取法重叠度统计结果的对比 图7. 图像拼接结果对比 图8. 正射校正前的影像和正射校正后的影像 3.3. 图像的快速实时拼接 为进一步评估本文方法拼接航带图像的性能，使用提取的关键帧影像拼接成全测区的影像。本文的实验环境为MATLAB 2012B实验的机器配置如表2所示。 由于SIFT特征具有尺度不变性，旋转不变性，对于光线、噪声具有鲁棒性，因此广泛的应用于图像拼接中。但是SIFT特征匹配的计算量大，错误率高，从而很大程度上影响图像拼接的速度。采用本文提出的自适应关键帧提取方法通过坐标解算得到相邻关键帧的数学模型，从而很大程度上的提高了图像的拼接速度，实现了图像的快速拼接。为说明本文方法的有效性，本文采用了一定的方法对图像拼接的结果做了精度评价，具体方法见下一节。表3为标准SIFT方法和本文方法在相邻两幅关键帧影像拼接时的结果对比。从表3可以得出，标准SIFT方法与本文方法在图像配准精度方面几乎不存在差异，但是本文方法用时仅为标准SIFT方法的十分之一。 表4为使用Agisoft Photo Scan商业软件及SIFT特征匹配方法和本文方法拼接测区内人工地物较多自然地物较少的比较好匹配区域的结果对比。实验结果表明三种方法都能获得很好的图像拼接结果，几乎很难用肉眼发现它们之间的差别。但本文方法用时为SIFT特征匹配方法的十分之一，Agisoft Photo Scan商业软件的二十分之一。本文方法几乎可以实现图像的快速实时拼接，很大程度上提高了图像拼接的效率。图像拼接的结果如图9，图9(a)为第一测区拼接结果，图9(b)为第二测区拼接结果。 Table 2 Properties of the compute 配置 操作系统 Windows 8.1 CPU Core i7-4720HQ 内存 8 GB 硬盘 三星SSD 850 表2. 实验的机器配置 Table 3 Comparison of the results of two key frame image stitchin 标准SIFT方法 本文方法 Rx Ry Rt time Rx Ry Rt time Data 1 0.825 1.125 1.395 18.26 0.771 1.031 1.253 1.74 Data 2 0.239 0.425 0.486 16.73 0.267 0.585 0.643 1.73 Data 3 0.847 1.296 1.589 17.64 0.640 0.994 1.153 1.76 Data 4 1.652 1.254 2.031 19.32 1.541 1.092 1.972 1.82 Data 5 1.328 0.965 2.352 18.78 1.789 0.747 1.938 1.76 表3. 两幅关键帧影像拼接时的结果对比 注：Rx为X方向的中误差，Ry为Y方向中误差，Rt为总中误差(单位像素)，time为消耗的时间(单位秒)。 Table 4 Comparison of results of image stitchin 方法 第一测区用时 第二测区用时 Agisoft PhotoScan 841.56秒 946.68秒 SIFT特征匹配方法 417.67秒 520.36秒 本文方法 39.51秒 48.31秒 表4. 图像拼接实验结果对比 为对比本文方法和Agisoft Photo Scan软件在人工地物较少自然地物较多的难匹配区域的配准情况，以第二测区内飞艇飞过牧场时采集的图像为例，如图10(a)所示Agisoft Photo Scan软件不能得到正确的结果，如图10(b)所示，本文方法依然能获得正确的拼接结果。 3.4. 图像拼接的精度评价 为了证明本文方法的可靠性，采用了一定的方法对图像的拼接结果做了精度评价。首先使用SIFT算法检测出一对关键帧影像对的特征点，并使用RANSCA算法 [ 23 ] 剔除误匹配的特征点对，然后将所有特征点对欧氏距离平方的均值定义为该影像对的误差R 2 作为该影像对的精度评价标准。如式(6)所示，其中n为特征点对的总数， ( x a ， y a ) 为该特征点在第一幅图像中的坐标， ( x b ， y b ) 为该特征点在第二幅图像中的坐标。 R 2 = ∑ i = 1 n ( x a - delta x i - x b ) 2 + ( y a − delta y i − y b ) 2 n (6) 循环上述过程，求得每个关键帧影像对的误差R 2 ，然后取所有关键帧影像对的误差R 2 的均值N 2 为整幅图像拼接的精度评价标准。如式(7)所示，其中m为关键帧影像对的总数： N 2 = ∑ i = 1 m R 2 m (7) 以测区一为例，表5为自适应关键帧方法和SIFT特征匹配方法拼接结果的精度对比。 图9. (a) 第一测区图像拼接结果；(b) 第二测区图像拼接结果 图10. 弱特征区域的图像拼接结果对比 Table 5 Comparison of adaptive key frame extraction methods and SIFT feature matching method of image stitching accuracy. Unit (pixels 方法 X方向最大值 Y方向最大值 误差平均值 自适应关键帧提取 4.9596 6.5356 6.7617 SIFT特征匹配 5.4403 5.9761 6.0685 表5. 自适应关键帧提取方法和SIFT特征匹配方法的图像拼接精度对比。单位(像素) 从表5可以得出本文方法具有较高的拼接精度和目前较为流行的SIFT特征匹配方法相比在拼接精度上几乎不存在差异。