system: [SYSTEM]

user: 3. 去雾算法 3.1. 算法框架 图1给出了本文的算法流程图，流程主要包括三步骤：第一步：对图像进行光照和细节增强得到两个输入图像；第二步：分别计算两幅图像的权重图；第三步结合权重图和输入图像，得到最终的去雾结果。 3.2. 输入图像生成 3.2.1. 亮度图生成 根据图(1)的流程对雾天图像进行白平衡预处理。夜晚图像整体亮度低，光照不均匀，针对这个问题。根据流程图生成的第一个输入是亮度较好的。已有的算法 [ 3 ] 估计出光照图像Ｌ，之后使用伽马校正对光照图做统一处理。来消除光照不均匀的影响并提高亮度。统一的处理方式有时会造成较暗的地方亮度提升不明显，较亮的地方会造成曝光。 本文提出了新的光照调整函数，在提高光照不足区域的亮度的同时也要保证光照充足区域不过曝，公式(3)： L ( x ) = x + s i g m a _ s ⋅ g ( x ) − s i g m a _ h ⋅ g ( 1 − x ) g ( x ) = x c 1 exp ( − c 2 x ) (3) 图1. 本文算法流程图 式中sigma_s的值越大调节曲线在光照不足区域越凸起，提高光照能力越强。同理sigma_h的值越大对光照充足区域抑制能力越强。 g ( x ) 和 g ( 1 − x ) 关于 x = 0.5 对称。 3.2.2. 细节图生成 通过对夜间雾天图像进行分析，发现景深与图像饱和度和亮度之间关系。在景深较浅的地方物体的颜色较为鲜艳，即该处像素在某些颜色通道上值比较高，某些通道上比较低，即饱和度较高，但是亮度较低。随着景深的增加，场景受雾的干扰导致亮度增加，但是饱和度变低。根据上面的观察和上述给出的退化模型，估计出模型中变量。 I i λ = J i j t + A i λ ( 1 − t i ) ，在一个局部块 Ω ，根据上述观察，引入局部均值 M ( x ， y ) 根据大气光散射模型用 V i ( x ， y ) 代替 A i ( 1 − t ( x ， y ) ) ，然后改写退化模型。 M I ( x ， y ) = M J ( x ， y ) t ( x ) + V ( x ， y ) (4) 由式(4)可知 0 < V ( x ， y ) < A ； 。大气散射光值随着场景深度的增加而增大。根据之前所描述的图像局部均值和饱和度的差也随着场景深度的增大而增大。所以使用图像局部均值和饱和度的差来估计大气散射光 V ( x ， y ) ： V ( x ， y ) = max ( min ( ρ B ( x ， y ) ， M I ( x ， y ) ) ， 0 ) (5) 其中， B ( x ， y ) = | M ( x ， y ) − S ( x ， y ) | 为图像局部亮度均值和饱和度的差值， ρ 为调整参数。 V ( x ， y ) 的计算过程如下： 在以坐标 ( x ， y ) 为中心的局部区域 Ω 内，先将该区域所有的点 ( x i ， y j ) 转换成灰度值 K ( x i ， y j ) ，之后选最小的作为局部均值(6)，之后对于该区域的所有点 ( x i ， y j ) 计算局部区域的饱和度(7) M ¯ ( x ， y ) = min ( x ， y ) ∈ Ω ( K ( x i ， y j ) ) (6) S ( x i ， y j ) = max ( I l ( x i ， y j ) ) − min ( I l ( x i ， y j ) ) (7) 得到大气散射光之后，使用下式的到传输图。 t ( x ， y ) = 1 − V ( x ， y ) A Ω (8) 为了避免块效应，使用文献 [ 8 ] ，的方法优化传输图。之后根据雾天图像退化模型，使用式(9)得到细节增强图像。 J ( x ， y ) = I ( x ， y ) − A Ω max ( t ( x ， y ) ， ε ) + A Ω (9) 图2为细节图生成的一些中间结果。 3.3. 权重图 在图像融合中，不同的融合算法中各个输入图像的权重计算方式对融合后的结果有很大的影响，所以图像融合中对权重的研究也是一个重要的研究方向。本文融合流程中使用权重图去计算每一个得到的输入图像，并确保在高对比度或者显著性的区域分配高的权重值。 亮度权重图，计算输入图像的每个像素点的可见度，并将较大值分配给具有良好可见度的区域，反之分配较小值。该权重图的计算过程根据RGB颜色空间信息。根据已知先验，在饱和高的区域有一个或 图2. 生成细节图中间结果 二个通道的值比较高。因此亮度权重图是从输入图像中计算每个像素点R，G，B三个通道与该点亮度L的差值。式(10)所示 W L k = 1 / 3 [ ( R k − L k ) 2 + ( G k − L k ) 2 + ( B k − L k ) 2 ] (10) 对于每个输入图像 I k ，其中k表示得到的第k个输入图像，L表示亮度值本文取RGB三通道的均值。亮度权重图中值较高的像素点我们假设他为最初的无雾像素点。另一方面，由于雾的存在造成的偏色和低对比度等问题所以在权重图中值较低(减少这些位置对输出图像的贡献)。对于得到的输入图像，光照权重图较黑的地方可以认为是有雾区域，光照权重图可以直观的将该区域标记出来。 亮度权重图的作用标记出多幅输入图像中无雾的区域，并使输入图像之间过度自然，但是会造成全局对比度降低和偏色问题。为了克服该问题，我们的融合框架中又设计了两种权重图饱和度权重(偏色问题)，显著权重图(全局对比度)。 饱和度权重图，为了控制输出图像饱和度的增加。该权重图的是根据一个事实，一般情况下人更喜欢饱和度高区域。因为颜色是图像质量的内在指标，所以使用颜色映射来增强颜色是常用的方法。 饱和度权重计算公式(11)，表示每个像素点，其饱和度S跟饱和度最大值之间的距离。 W C k = exp ( − ( S k ( x ) − S max k ) 2 2 σ 2 ) (11) 其中k表示第k个输入图像，标准差 σ = 0.3 ， S max 是一个常数，取决于所使用的颜色空间。本文选用的是HIS颜色空间，所以 S max = 1 。将较小的值分配给饱和度较低的像素点，而高饱和度的像素点值较大。该权重图能确保最终结果饱和度较好。 图像显著性是图像中重要的视觉特征，体现了人眼对图像的某些区域的重视程度。对于一幅图像来说，用户只对部分区域感兴趣，该区域称之为显著区域。显著区域的选择是非常主观的，由于个体任务和知识背景的不同，对于同一副图像，不同的用户可能会选择不同的区域作为显著区域。自从1998年Itti的工作以来，出现了很多量化图像显著性的方法，这些方法广泛应用于图像压缩、编码、图像边缘和区域加强、显著性目标分割和提取等。 显著权重图，本文使用的是Zhao J. Feng [ 9 ] 等人提出的算法作为显著权重图的计算方法。根据心理学理论，人类视觉系统对图像中强度和色彩的变化敏感。利用HVS特性来设计反应输入图像在不同像素点区域视觉重要性的显著性权重。该显著性图通过不同像素带你之间的强度对比得到的。对于输入图像I中的像素点p位置的显著性值可以定义为式(12) V ( p ) = ∑ ∀ q ∈ I G ( p ， q ) (12) 显著性的值可以根据上式计算，类似颜色距离。用 I p 表示像素点p的强度值， G ( p ， q ) 可以表达为相应像素点的差值： G ( p ， q ) = | I p − I q | (13) 根据式(13) V p 能按照式(14)的形式逐个像素点展开。 V ( p ) = | I p − I 1 | + | I p − I 2 | + ⋅ ⋅ ⋅ + | I p − I M | (14) M为图像中像素点的个数，根据式(13)和式(14)，当像素点值相同时，它们的显著性值相同。以灰色图像为例，对于图像I中的强度 I p ，计算相对应的显著性值，式(15)。 V ( I p ) = ∑ j = 0 L − 1 N j G ( I p ， j ) (15) 其中j代表强度， N j 表示图像中强度为j的像素点个数。L为灰度级，如果是8位的灰度图像，L的值为255。计算式(15)中所有的强度值，就能获得图像I原始显著图，之后对其进行归一化处理，使 V I ∈ ( 0 ， 1 ) 。 通过实验，我们发现上述的三个权重对实验结果都有影响。但是第一种权重的影响最大，但是其效果还是没有使用三种权重的效果好。为了直观的表示这种影响，图3展示的是一次只用一种权重图所产生的结果。能够直观的看出使用三种权重图的情况下，融合效果比使用单一权重图效果好。图中，使用三种权重图时远处的吊桥能复原出来，而只使用显著度权重结果中没能复原出；在亮度上比仅使用饱和度权重的要好。在只使用一种权重的情况下，使用光照权重图的效果比其他两种要好，比如对小亭子的细节恢复。 最终的权重 W k 通过三种权重得到， W ¯ ( x ) = W k ( x ) / ∑ k W k ( x ) 这个操作我们成为归一化，其目的是在一个像素点x使其三种权重的值加在一起的值等于1。 融合 根据融合过程所处的不同阶级，图像融合可以在三个不同的层次上进行：像素级融合、特征级图像融合、决策级图像融合。本文输入像素级别图像融合在融合过程中，输入图像通过计算本文上述的权重图，以保存输入图像中最重要的特征，得到清晰的输出结果。对于输出图像F计算公式(16) F ( x ) = ∑ W ¯ k ( x ) I k ( x ) (16) 其中 I k 为输入图像(k表示第k个)， W ¯ k 表示第k个归一化之后的权重图。 图3. 只用一种权重产生的结果