system: [SYSTEM]

user: 3. 交通标志检测方法流程 本文同时利用了交通标志的颜色和形状的先验信息检测提取交通标志候选区域(ROI)。首先，利用交通标志的颜色特征，采用红蓝化标准化方法对图像预处理，区分交通标志和环境背景；然后，利用交通标志形状的双边对称性，对预处理后的灰度图像进行相位对称性计算处理 [ 30 ] ，使图像中具有对称性的图像区域获得高亮突显效果，而这些区域很可能是交通标志候选区域；再其次，针对相位对称性检测后的图像，进行形态学滤波操作，进一步增强图像中交通标志的轮廓形态；最后，采用MSER [ 31 ] 算法和几何约束过滤检测出交通标志ROI候选区域。该方法对于道路交通环境光照变化，旋转和尺度变化均具有较好的适应性。 3.1. 图像红蓝标准化预处理 GTSDB交通标志数据库主要有三大类交通标志：禁止标志类，指示标志类和危险标志类。标志轮廓颜色多为红色或蓝色，因此，RGB图像中的红色和蓝色通道值是上述交通标志的重要颜色特征。基于交通标志的红蓝颜色信息，我们做以下预处理：首先，为了减少光照对图像造成的影响，对三通道RGB图像做线性对比度拉伸，如公式(1)所示。然后，对红、蓝两个通道的数值进行加权计算，对图像进行红蓝化处理 [ 32 ] ，如公式(2)所示。最后，对得到的单通道图像再做进一步的对比度增强处理。 C ′ = C R + G + B ， C ∈ { R ， B } (1) Ω R B = max ( R R + G + B ， B R + G + B ) (2) 将三通道的RGB图像红蓝标准化成单通道的灰度图像，能够有效地降低光照条件造成的影响，突出显示交通标志所在的区域，区分交通标志和环境背景，效果如图2所示。 3.2. 基于局部频率信息的相位对称性检测方法 GTSDB数据集中的交通标志的外围形状一般为正多边形，具有较强的双边对称性，如图3(a)所示。正多边形检测一直是定位图像中三角形，圆形和八角形交通标志的重要手段 [ 18 ] ，而对称性检测则是正多边形检测时需要考虑的一个重要因素。 目前，基于交通标志轮廓形状的对称性特征的检测方法中仅有且常用的方法是在 [ 28 ] 中被首次提出的径向对称检测子—对灰度图像梯度图阈值化后，根据梯度方向加权投票，得票最高者就是可能的图像中心。文献 [ 18 ] [ 19 ] [ 30 ] 将该算法应用到了交通标志检测方面，且扩展到了常规等角多边形的检测。 图2. 图像红蓝化预处理效果 (a) 正常光照亮度图像、红蓝化处理效果；(b) 光照过亮图像、红蓝化处理效果；(c)光照过暗图像、红蓝化处理效果 本文采用了一种新的基于局部频率信息分析的对称性检测方法—相位对称性检测 [ 30 ] ，使红蓝化灰度图像中具有对称性的图像区域获得高亮突显效果(如图3(b)所示)，而这些区域很可能是交通标志候选区域。 基于局部频率信息分析的对称性检测方法采用小波变换的方式获得图像的局部频率信息，用一对小波正交对分别对原始信号作卷积：用I表示原始信号，分别用 和 表示尺度为n的偶对称小波和奇对称小波，则小波分析过程可用公式(3)表示。 [ e n ( x ) ， o n ( x ) ] = [ I ( x ) ∗ M n e ， I ( x ) ∗ M n o ] (3) 其中， e n ( x ) 和 o n ( x ) 小波分析结果的实数部分和虚数部分。 图3. 图像相位对称性检测交通标志检测中的效果 (a) 从GTSDB数据集中选取的不同形状交通标志样本；(b) 与(a)对应的交通标志的相位对称性处理结果；(c) 选取的背景图像没有交通标志的样本；(d) 与(c)对应的背景图像的相位对称性处理结果 用尺度为n的小波分析后，该点的幅度值和相位值可分别用公式(4)和公式(5)表示。 A n = e n ( x ) 2 + o n ( x ) 2 (4) Φ n ( x ) = a tan 2 ( e n ( x ) ， o n ( x ) ) (5) 实验测试效果如图3所示，(a) 从GTSDB数据集中选取的不同形状交通标志样本；(b) 与(a)对应的交通标志的相位对称性检测结果；(c) 选取的背景图像没有交通标志的样本；(d) 与(c)对应的背景图像的相位对称性检测结果。图3的对比实验结果证明，具有对称性的点在偶对称滤波器下输出值的绝对值较大，而在奇对称滤波器下输出值的绝对值则较小，该检测方法对交通标志的检测效果显著，可以减少了环境背景的干扰。 上述实验表明，具有对称性的点在偶对称滤波器下输出值的绝对值较大，而在奇对称滤波器下输出值的绝对值则较小。 本文将偶对称滤波器的输出值绝对值与奇对称滤波器的输出值绝对值的差，衡量某一点对称性。由于小波分析是多分辨率分析，所以为了将多尺度下的滤波器响应结果结合起来，我们采用公式(6)方法计算加权平均值作为最终衡量该点对称性的标准： Sym ( x ) = ∑ ​ n A n ( x ) [ | cos ( φ n ( x ) ) | − | sin ( φ n ( x ) ) | ] − T ∑ ​ n A n ( x ) + ε = ∑ ​ n [ | e n ( x ) | − | o n ( x ) | ] − T ∑ ​ n A n ( x ) + ε (6) 其中， A n 是该点在尺度为n的滤波器上响应的幅度值， 是常数值，以防信号均匀分布时产生除数为0的情况，T为噪声补偿项。 公式(6)给出了一维空间中某一点的对称性计算方法。我们可以通过在多个方向的1-D空间上分别使用公式(6)的分析方法，最后加权求和，扩展到二维图像空间。对红蓝化预处理后的单通道灰度图像做基于局部频率信息分析的对称性检测(如公式(6)所计算)，使图像中具有对称性的局部区域具有较高的能量值，以高亮区域突显可能是交通标志的区域。该方法能有效减少噪声干扰，区分交通标志和环境背景，对局部对比度变化具有较好的鲁棒性。对称性检测处理效果如图4所示，其中：(a) 在环境背景中存在与标志颜色相似物体时的检测效果；(b) 在不同环境光照条件下的检测效果，即该方法对光照条件变化的鲁棒性。 3.3. 形态学滤波 为了进一步增强图像中交通标志的轮廓形态，有利于后续的标志检测，我们对相位对称性检测处理的图像做进一步的形态学滤波，使用顶帽变换和底帽变换两种形态滤波器进行处理。顶帽变换使较于局部环境具有高对比度的像素更加突出，比如相位对称性检测后的图像中交通标志的内部像素点。底帽变换使较于局部环境较暗的像素更加暗淡，比如对称性检测后的图像中交通标志的外围边缘像素点。通过这两个形态学操作，计算方法如公式(7)，(8)所示，得到的结果图分别记为 I T 和 I B . I T = I − I O ，   I O = I D o I E (7) I B = I C − I ，   I C = I E o I D (8) 其中，I为输入的相位对称性检测后的图像， I O ， I C ， I D ， I E 分别表示开运算，闭运算，膨胀和腐蚀运算操作。 最后，我们将顶帽变换和底帽变换联合起来处理交通标志图像，进一步增加对比度得到图像更本质的形态，区分交通标志和环境背景。形态学滤波的效果如下图5所示。 3.4. ROI区域检测提取 对经形态学滤波后的相位对称性检测结果图，我们用MSER特征检测出交通标志的候选区域。针对用MSER特征已检测到的连通部分区域，首先采用椭圆拟合的方式减少边界噪声点的干扰，然后根据椭圆拟合后的边界计算出候选区域的最小外围矩形框(并非一定是水平放置，以防形变过大对边界框约束造成干扰)。最后，通过交通标志的经验性约束信息筛选候选区域，包括交通标志的高度、宽度、宽高比等，如表1所示。 对经形态学滤波后的相位对称性检测结果图，采用MSER特征检测出交通标志的候选区域。该方法对视角变化，尺度变化，对比度和光照条件变化，以及旋转都具有较好的鲁棒性，检测效果如图6所示，左侧为源图像，右侧为MSER特征检测出的交通标志候选区域。其中，(a) 说明该检测方法对视角变化情况下的检测效果；(b) 远距离交通标志的检测效果，说明该检测方法对尺度变化的适应性；(c) 在逆光情况下交通标志光照较弱时的检测效果；(d) 说明交通标志旋转变化情况下的检测效果。 图4. 在颜色相似、不同光照情况下的相位对称性处理结果 (a) 在环境背景中存在与标志颜色相似物体时的相位对称性处理效果；(b) 在不同光照条件下的处理效果 图5. 形态滤波处理结果 图6. 本文方法的交通标志ROI检测结果 (a) 本文方法对几何尺度变化的鲁棒性；(b) 本文方法对对比度变化的鲁棒性；(c) 本文方法对几何旋转的鲁棒性 Table 1 The traffic sign geometry constraint Feature Minimum Maximum Width 22 128 Height 22 128 Height/Width 0.5 1.5 表1. 交通标志的几何形状约束信息