system: [SYSTEM]

user: 2. 结合全局和局部深度线索的深度排序 当前主要使用深度线索获取单目图像的深度排序关系。遮挡作为确定局部区域之间深度关系的重要依据被广泛应用。现实生活中各个目标至今存在着各种各样的遮挡，通过有效的全局推理可以获取全局的局部排序关系。然而，遮挡作为深度线索进行全局深度排序存在以下问题：1) 目标之间的遮挡关系判定有误；2) 局部区域之间确定的深度关系无法确定全局目标之间关系；3) 区域之间的外观相似且遮挡信息缺失，无法确定遮挡关系。 另外，消失点作为全局深度线索也被用于深度排序。地面作为真实场景中目标之间相对位置之间关系重要的依据，被考虑到单目深度排序模型中。对于与地面有接触的区域，直接根据地面接触点的位置的前后关系进行遮挡关系判定，然而这一线索在解决深度排序时同样面临一些问题1) 消失点的位置无法确定；2) 对于悬浮的目标不存在地面接触点；3) 有些场景中无法确定地面区域。对于这些场景来说，消失点这一深度线索有效判定场景目标之间深度关系估计。 本文考虑到上述遮挡和消失点线索对深度的优点和缺点，从场景结构中的高层信息出发，联合考虑遮挡局部线索和消失点全局线索构建图模型进行全局深度推理。本文的算法流程如算法1所示。用N表示分割区域数目，m表示能量下降迭代次数，n是解决方案的个数，因此本文的算法复杂度是 O ( m n N ) 与GM2014，与GM2014 [ 9 ] 的复杂度一样。 Algorithm 1. Algorithm of depth ordering on monocular image 算法1. 单目图像深度排序算法 2.1. 构建图模型 给定一张图像和对应的分割图，本文的目标是为了推断这些目标之间的深度排序关系。本文的输入是图像的超像素分割区域，因为在复杂的场景中，不容易获取图像真实的分割，且图像的分割质量对本文方法并无直接的影响。用 表示图像的N个分割区域，使用 表示D个深度标签( )，根据区域距离摄像设备之间的距离进行排序。本文考虑全局深度线索来进行缓解仅使用遮挡关系确定的局部深度关系，以排序目标为节点构建图模型，实现全局和局部深度线索的结合，最终根据置信度传播进行能量优化。 为了协调发挥图像局部深度线索和全局深度线索确定的全局深度排序的优势，构建能量函数： (1) 是根据全局深度线索确定的地面接触点位置构建的数据能量函数，c为目标区域与地面区域接触的地面接触点的位置， 为根据局部遮挡线索构建的边界约束项，相邻区域之间的遮挡关系用e表示。 2.2. 全局深度线索 为了获取地面接触点的位置，单幅图像进行区域分割后，首先对分割后的图像中每个区域的属性进行标记，将其标记为地面、天空、垂直物中的某一类，以区域属性标记获得的垂直物为对象，使用尺度为3X3的圆盘结构算子，进行形态学腐蚀，然后根据形态学腐蚀前后的图像中对应区域之间的差异，获取图像中区域的边界像素集合，根据边界像素的梯度方向，分析边界像素两侧的区域的标记，将边界下侧区域属性为地面的边界像素低点保留，以此来获取地面接触点的像素集合。图2(d)给出了图2(a)的地面接触点的检测结果。 使用 [ 10 ] 提出的基于期望最大化的算法来估计消失点和消失线，找出属于场景成像区域内部的消失点位置，作为本文深度标定的消失点。根据消失点的位置，获取图像中与该垂直位置相同的水平消失线，来确定中心视野消失线的位置，进而来计算垂直目标的绝对深度。假设相机在同一地面上，地面上某一 位置像素点 的深度可以用 表示，其中f表示相机焦距， 表示相机高度， 是地面水平 线的位置。利用该深度估计模型，可以计算各种情况下垂直目标的深度关系映射表。图2(e)给出了图2(a)的分割区域深度映射图结果。然而，现实生活中并不是所有的垂直物都与地面有接触，对于与地面没有接触的垂直物，无法使用地面深度映射关系获取深度，因此遮挡线索同样被采用。 图2. 全局深度线索图 2.3. 局部深度线索 根据遮挡确定局部区域间的相对位置关系，一般情况下，遮挡区域相对被遮挡区域来说距离摄像设备更近。遮挡主要发生于T连接和凸形中，通常情况下，T连接的3个区域中靠近观察者的区域与其他两个区域边界形成的角度近似为平角，而另外两个区域与其他区域边界形成的角度对应任意角度，同样，具有凸形的自然目标被认为是前景目标，而凹的自然目标更趋向于是背景目标。为了恢复出区域之间的遮挡边界，本文采用Hoiem等人 [ 2 ] 的方法，计算区域的边界概率，并使用边界概率的平均值表示边界强度，另外考虑局部区域之间的颜色、位置等特征，相邻的颜色相似的超像素区域更可能对应同一个目标，位置相近的超像素区域也可能属于同一目标，把不大可能属于遮挡边缘的边界进行删除，恢复出区域之间的遮挡关系。 2.4. 深度置信度传播 本节综合考虑局部遮挡线索和全局消失点线索，综合两种线索的优势，构建图模型将两种线索结合，并通过置信度传播进行全局推理，得到初始的深度排序结果。本文构建的图模型如图3所示。 为了发挥全局消失点线索在单目深度估计中的优势，本文采用垂直物底部的位置估计每个区域被分配在不同的深度图层上的概率似然，以垂直物区域的深度的均值和方差，构建高斯模型，估计分割区域 在为某一深度标签的概率，公式表示如下： (2) (3) 其中 为分割区域 的深度均值， 是分割区域 的深度方差， 为区域 的深度标签。本文发现使用高斯分布进行拟合比简单的将所有的可能性分配给每个垂直物区域更加鲁棒。另外，需要注意的是每个图层都被分配了一个非零值，这样可以避免在后期的推理过程中不收敛的情况。 图3. 图模型 区域之间边界约束项表征了成对区域之间的遮挡关系。当两个分割区域之间存在遮挡关系，但却给它们分配在同一深度图层上，此时会设置惩罚项来约束此类错误。另外当获取的区域遮挡关系与分配的深度图层相矛盾时，同样会设置惩罚项。边界约束项的设置为： (4) (5) 这里e定义了区域之间的边界遮挡关系， 定义了区域 遮挡区域 ，相反 表示区域 遮挡区域 ，在本文中，我们采用两种不同类型的遮挡线索：T连接和凸形。 为了获取合理的单目深度排序结果，本文使用置信度传播进行有效的全局深度推理。置信度传播主要思想是对于图模型中的每个节点，通过并行的消息传播把该节点的状态信息传递给临近的节点，从而影响临近节点的状态信息，经过一定的迭代次数，所有节点的状态信息不再发生变化，每个节点的状态信息趋于稳定，此时每个节点的标签就是我们所求的最优标签。但是对于存在环状结构的图，无法获取最终的收敛结果，为此我们采用 [ 11 ] 中的方法来获取近似收敛结果。通过设定一定的阈值，多次迭代后保证所有节点的置信度总和小于该阈值，我们就认为达到了收敛结果。 2.5. 深度图层 给定一张由Arbeláez等人 [ 12 ] 提出的算法得到的过分割图像，上面所述的深度线索仅仅考虑了过分割区域之间的局部关系，当两个超像素区域有一样的深度，需要把它们合并到同一深度层。使用 表示L个深度图层( )，分割区域 在深度图层k层上表示对应的区域目标被 层上的区域遮挡，并遮挡深度在 上的区域，多个不同的超像素区域可能被分配在同一个图层上，能量函数为： (6) 表示根据局部遮挡关系和全局消失点信息确定的区域之间的深度排序关系， 表示外观相似的超像素区域之间更趋向于在同一深度层。其中： (7) 其中 表示区域的前景/背景特征的权重系数。 ，表示超像素区域的深度标签，其中nd表示超像素区域的深度标签的个数。 (8) 其中 ， 是颜色特征和纹理特征的权重系数。 ，表示超像素区域的颜色特征，其中nh根据颜色特征个数。 表示纹理特征，nw表示根据纹理特征个数。当判定的所有超像素区域之间的深度关系是正确的， 和 的值都是零，对应的 取最小值，此时是我们要寻找的最优结果。我们定义参数化的指数函数来表示能量函数： (9) 为了获取全局能量优化结果，获得全局一致的深度排序，本文采用混合进化算法 [ 9 ] 来最小化能量函数。