system: [SYSTEM]

user: 4. 连续离散联合求解算法 4.1. 背景建模与运动分析目标检测 通过对从摄像头获取或者现成的视频图像序列进行分析，将视频图像中的每一个像素点看作是产生像素的随机过程，使用混合高斯背景模型方法，利用像素在较长时间内大量样本值的概率密度等统计信息来表示背景，根据统计差分进行目标像素判断，可以对复杂动态背景进行建模，按照图像中的每一个像素点按不同权值的多个高斯分布叠加建模，得到的序列经过图像形态学处理后达到区分目标和背景的效果 [ 16 ]。 4.2. 连续离散问题联合求解 连续离散问题联合求解最开始是由Anton Andriyenko [ 17 ]提出的，通过递归的方式最小化能量函数来实现数据关联和轨迹预测的同步优化求解。能量函数由数据项、平滑项和多个标签成本约束项组成。其中，数据项建模了在t时刻某个目标的位置与所对应运动轨迹的相似度；平滑项表示相邻目标之间的相似度；标签项则用来规定合理轨迹所需要满足的多元化约束条件。联合求解方式结合递归的方式进行，进而在实现能量函数最小化近似求解的同时实现最优轨迹组合的选择。 4.3. 连续轨迹模型 跟多目标跟踪的纯粹的离散方法对比，我们使用三次B样条来表示连续空间的个人轨迹，三次B样条适合表示在现实世界中的场景，因为它可以避免离散化的轨迹，并提供了模型之间权衡模型的灵活性和内在的运动平滑。轨迹样条描述了在t时刻轨迹上每个目标的位置，我们假设样条有不同数量的控制点，并参数化矩阵，有利于明确每条轨迹起点和终点，但是往往倾向于呈现出极端值，导致极不可能的运动轨迹出现，为了确保样条不在起点和终点以外采取极端值，在每一个边界加一个Δ，防止相邻帧的其他检测目标属于轨迹。假设我们已经给出了数据关联，我们可以制定能量最小化的轨迹估计问题如下方程(1)： E f t e ( T ) = ∑ i = 1 N ( E f t e ( T i ) + E v t e ^ ( T i ) ) (1) E f t e ( T i ) = ∑ t = s i e i ∑ j = 1 | D t | δ [ i − f d j t ] ⋅ c j t ⋅ ‖ p j t − T i ( t ) ‖ 2 (2) 如式(2)，对于每一个轨迹，我们的目标是最大限度地减少所有在有效图像帧的每个目标假设的欧式距离， | D t | 表示在t时刻里的目标数量， δ [ a − b ] 表示当a = b时值为1，否则为0。 表示t时刻j目标对应的置信度， ‖ p j t − T i ( t ) ‖ 2 表示目标实际距离与轨迹上的对应点的欧式距离。 E v t e ^ ( T i ) = ∑ s i − △ ≤ t < s i e i < t ≤ e i + △ ‖ v i t − T i ( t ) ‖ 2 (3) ‖ v i t − T i ( t ) ‖ 2 表示通过线性外推得到的虚拟位置V与轨迹上的对应点的欧式距离。Δ表示安全边界，一般取2。三次样条的目的是方便最大限度的能量最小化，在全局封闭的形式下解决最小二乘法问题。 4.4. 离散数据关联 数据关联往往是多目标跟踪最具挑战性的一个方面。我们制定一个利用强大的离散优化方法的多标签问题，实现离散成对的马尔可夫随机场的能量最小化。给出离散成对的马尔可夫随机场的能量最小化的方程： E T d a ( f ) = ∑ d ∈ D U d ( f d ， T ) + ∑ ( d ， d ′ ) ∈ E S d ， d ′ ( f d ， f d ′ ， G d ， G d ′ ) (4) 在式(4)中，数据项建模了t时刻第j个目标的位置与运动轨迹的相似度，用目标位置与其相关轨迹的欧氏距离和该目标的置信度乘积来表示，如式(5)。 U d j t ( l ， T ) = c j t ⋅ ‖ p j t − T l ( y ) ‖ 2 (5) 平滑项代表了相邻目标之间的相似度，本文中结合了组的信息G，平滑项定义将有权重矩阵 W ( d ， d ′ ， G d ， G d ′ ) 和标签矩阵 L ( f d ， f d ′ ) 两部分相乘得到，如式(6)。 S d ， d ′ ( f d ， f d ′ ， G d ， G d ′ ) = η ⋅ W ( d ， d ′ ， G d ， G d ′ ) ⋅ L ( f d ， f d ′ ) (6) 在式(6)中， L ( f d ， f d ′ ) = δ [ f d j t − f d k t + 1 ] 在时域上利用了Potts模型对相邻帧的目标标签 f d j t 和 f d j t + 1 的一致性进行建模。对于 W ( d ， d ′ ， G d ， G d ′ ) 式子，在多目标跟踪过程中，多个邻近的目标之间常见以组的形式进行运动，组内的每个目标之间通常满足较近的间距以及相似的运动速度和运动方向，本项目在基于运动分析的目标检测结果和带有噪声的目标轨迹基础上，对组的定义提出一种时域空域聚类方法，该方法能在较长的时间段内将具有相似速度且走得较近的多个目标划分到同一组中，利用聚类得到群组的信息可以在空域时域上提供相邻目标和轨迹之间的语义约束，从而有助于减少在多目标跟踪所带来的误差。其定义如式(7)所示，规定了当相邻图像帧的目标 d j t 和 d j t + 1 对应的组 G d j t 和 G d k t + 1 为同一个组时，他们运动的速度 v j t 和 v k t + 1 以及方向 o j t 和 o k t + 1 需要尽可能接近。 W ( d ， d ′ ， G d ， G d ′ ) = { exp ( − ( ‖ v j t − v k t + 1 ‖ 2 + ‖ o j t − o k t + 1 ‖ 2 ) / ψ 2 ) ，                                 if   G d j t = G d k t + 1 c o n s t ，                                                                                                                                                                                                                                                                                                       otherwise (7) 在构建基于时域-空域图时，将时域上的j目标检测看作图中的节点，只有满足时域上运动距离变化要求的节点之间才用边进行连接，如图2所示。 图2. 时域-空域连接图 4.5. 标签成本的离散连续跟踪 由于轨迹估计和数据关联方程的制定完成，接下来通过递归的方式最小化能量函数来实现数据关联和轨迹预测的同步优化求解。能量函数由数据项、平滑项和多个标签成本约束项组成，如式(8)。其中，数据项建模了在t时刻某个目标的位置与所对应运动轨迹的相似度；平滑项表示相邻目标之间的相似度；标签项则用来规定合理轨迹所需要满足的多元化约束条件。上述联合求解的方式在原有图切割的基础上结合递归的方式进行，进而在实现能量函数最小化近似求解的同时实现最优轨迹组合的选择。 E ( T ， f ) = ∑ d ∈ D U d ( f d ， T ) ︸ 数 据 项 + ∑ ( d ， d ′ ) ∈ E S d ， d ′ ( f d ， f d ′ ， g d ， g d ′ ) ︸ 平 滑 项 + k ⋅ h f ( T ) ︸ 标 签 项   (8) 标签项将用来实现轨迹的规范化。主要包含了一下五个标签代价函数，如式(9)： h f ( T ) = ∑         i = 1 ∃ d : f d = i N h i d y n + h i p e r + h i f i d + h i c o l + h i r e g (9) 1) h i d y n ：由于现实世界中目标速度受物理约束的限制，对速度影响最大的样条曲线的三次系数施加一个惩罚。其定义如式(10)所示。 h i d y n = λ ⋅ max r C i ( r ， 1 ) (10) 2) h i p e r ：执行长而且持久的轨迹来避免不必要的ID交换是关键，通过样条曲线，使我们能够确定每一个轨迹的开始和结束点，并对那些起点和终点均远离图像边界的轨迹进行惩罚。如式(11)，其中，和分别代表第条轨迹的起点和终点，而则代表到图像边界的距离运算。 h i p e r = μ ⋅ ( b ¯ ( τ i ( s i ) ) + b ¯ ( τ i ( e i ) ) ) + v ⋅ ( e i − s i ) − 1 (11) 3) h i f i d ：表示高阶数据保真度，数据项鼓励轨迹附近的检测，以更好地解释所观察到的图像证据，如式(12)，其中，代表满足上述条件的轨迹中所具有的图像帧数。 h i f i d = ξ ⋅ ∑ k | G k | 3 (12) 4) h i c o l ：表示相互排斥性，如果2个假定的目标位置是彼此接近，加上一个高的罚款，除非至少有一个被标记为离群值在他们最接近的时间，最接近的每个人最小距离的计算和用于定义的标签成本。如式(13)，表示两个轨迹的时间重叠。 h i c o l = ζ ⋅ ( min j < i min t ∈ O ‖ T i ( t ) − T j ( t ) ‖ ) − 1 (13) 5) h i r e g ：一个固定的正则化成本 h i r e g = 1 用来惩罚大量存在的轨迹。 在联合求解过程中，最小化能量函数的方式可通过递归的方式进行：首先，在结合标签代价函数的基础上通过传统的图切割实现数据关联的近似最优解；其次，根据数据关联的结果来实现连续轨迹的拟合。上述过程将递归地进行直到能量收敛到全局最小，从而得到优化后的数据关联和轨迹预测结果 [ 17 ]。