system: [SYSTEM]

user: 2. 方法 本文提出了一种基于图像的纹理、颜色、语义辅助的交通标志提取方法。首先，基于YOLOv3网络目标检测对全景影像中的交通标志进行检测识别并输出相应的包围盒、类别信息；其次，经过预处理的点云通过标定参数文件和上述标牌检测结果建立对应关系，得到标牌在点云中的感兴趣区域(RegionofInterest， ROI)，在ROI范围内对标牌候选点进行聚类和筛选得到粗提取结果，投影到二维平面找到标牌的几何中心，再对标牌点云进行精确提取，具体流程图见图1 (深色圆角矩形表示输入输出数据文件，浅色圆角矩形表示中间结果文件)。 图1. 方法流程图 2.1. 全景影像交通标志自动检测和识别 本文利用端到端的YOLOv3网络进行全景影像交通标志的自动检测和识别。YOLOv3借鉴了残差网络结构和多尺度特征提取，在保证实时性的同时，提升了总体检测精度，特别是小物体检测效果 [ 18 ]。全景影像在输入网络之前需要进行预处理，得到前进方向和路两侧的场景影像输入网络，得到交通标志检测框位置信息和类别信息等。检测结果的表达形式为：影像名，交通标牌类别标签，检测结果得分，检测框角点像素坐标。 本文探讨的中国主交通标志主要分为三个大类：警告标志(w*)、禁令标志(p*)和指示标志(i*)，多为正三角形、圆形和矩形(具体尺寸和定义见表1)其中每一个交通标志有单独的标签，有的标志如限速标志是一个类别，包含多种速度，用“pl*”表示，“*”表示一个特定的数值，如限速50则表示为“pl50”。 2.2. 车载激光点云与全景影像初始融合 本文采用三维的车载激光点云和二维的全景影像数据，通过坐标系之间的转换关系将两者进行联系和统一也即融合(见图2)。该过程中涉及三种坐标系：世界坐标系 ( X w ， Y w ， Z w ) ，相机坐标系 ( X c ， Y c ， Z c ) 和像平面坐标系(u，v)。二者的融合原理见图2，首先将世界坐标系中的激光观测依据 t r a n s 1 转换到相机坐标系中式(1)，再根据球面成像模型，即 t r a n s 2 ，将相机中的点转换到像平面上，式(2)~(5)。 [ X c Y c Z c 1 ] = [ R T 0 T 1 ] [ X w Y w Z w 1 ] (1) θ = arctan ( Y c X c ) (2) Φ = arccsc ( Z c X c 2 + Y c 2 ) (3) u = imagewidth − ( θ / 2 π ) ∗ imagewidth (4) v = ( Φ / π ) ∗ imageheight (5) 其中，R和T分别为旋转矩阵和平移向量。Φ和θ分别表示空间中某一点和相机坐标系中心的连线与Z c 坐标轴的夹角、该连线在X c O c Y c 面上投影与X c 的夹角，imagewidth，imageheight表示对应全景影像的宽度和高度，其中imagewidth = 2*imageheight。 图2. 融合模型 根据图2的 t r a n s 1 进行相机坐标系和世界坐标系的转换，同时，按照 t r a n s 2 进行相机坐标系和图像坐标系的转换。由上述转换关系可得最终三维点在图像上的二维坐标，即实现了初始融合，见图3。由于随着车载移动测量系统采集作业时间的增加，传感器之间由于振动会发生轻微移动，根据标定文件从世界坐标系到像素坐标系的转换关系仍然有误差存在。 图3. 点云和全景影像的初始融合 2.3. 交通标志信息提取 结合2.1全景影像交通标志检测包围盒(见图4左下角)和2.2初始融合结果，建立ROI提取交通标志候选点云。对于ROI内(见图4红色棱锥状内)的点，先进行欧式聚类，利用深度即聚类中心相对于曝光点的距离筛选前景点作为交通标志候选点，然后基于强度滤波进一步精化该标牌候选点。将标牌候选点投影到平面进行模板匹配得到该交通标志的三维中心位置和所包含的准确候选点，即完成交通标志的定位。结合交通标志检测中心和语义信息，对真实交通标志点进行邻域插值和赋色得到具有精细语义和完整几何信息的交通标志。 图4. 点云中ROI示意图 2.3.1. 感兴趣区域计算及局部投影 根据2.2构建的初始融合模型，以及2.1确定的交通标志包围盒和类别信息，计算该标志的中心像素坐标(u c ，v c )，在中心像素的基础上增加缓冲区以建立ROI窗口。 将候选标牌三维点由原始坐标系转换到该标牌二维检测结果源图像文件对应曝光点为视点的局部坐标系c-xyz下，相机坐标系的定义如下：以主成分分析(Principal Component Analysis， PCA)计算出来的法向作为z轴并指定朝曝光点方向为正，指定原始北东高坐标系的高方向作为x轴，与xoz面垂直的方向为第三轴，按照右手法则建立直角坐标系c-xyz。经过坐标转换后，ROI内的每个交通标志候选点均被转换到以该点云块质心c为原点的局部坐标系下，将ROI内所有点平面投影到xoy面上，并设置每单位的点距对应像素值 p i x e l d ，得到二维投影图像。公式(6)和(7)将点云从世界坐标系转换到局部坐标系c-xyz，(8)和(9)将点云从局部坐标系投影到xoy平面上： R = [ p x v x n x p y v y n y p z v z n z ] (6) ( X ， Y ， Z ) ⋅ R T = ( x ， y ， z ) (7) u = [ x max − ( x − x min ) ] ∗ p i x e l d (8) v = [ y max − ( y − y min ) ] ∗ p i x e l d (9) 其中 ( X ， Y ， Z ) 是点在原始坐标系下的坐标， ( x ， y ， z ) 是局部坐标系下的坐标，u和v为图像坐标系下的像素坐标。 ( n x ， n y ， n z ) 为ROI候选点云PCA计算得到的法向量， ( p x ， p y ， p z ) 为指定方向即原始点云中交通标志的立面方向， ( v x ， v y ， v z ) 则是通过右手法则确定的第三个方向。所有候选点投影到像平面后，得到灰度图Img i 。 2.3.2. 基于能量优化的交通标志信息提取 根据现行关于城市道路交通标志的国家标准 [ 19 ]，交通标志按其作用分为主标志和辅标志两大类，其中主标志包括禁令标志、警告标志、指示标志等。本文主要研究城市道路出现频率较多的交通标志，标志版面尺寸标准和设计速度关系见表1。 Table 1 The relationship between traffic sign size and road velocit 设计速度(km/h) 100 80 60/50/40 30/20 警告标志 三角形边长(m) 1.3 1.1 0.9 0.7 禁令标志 圆形直径(m) 1.2 1.0 0.8 0.6 三角形边长(m) —— —— 0.9 0.7 八角形边长(m) —— —— 0.8 0.6 指示标志 圆形直径(m) 1.2 1.0 0.8 0.6 正方形边长(m) 1.2 1.0 0.8 0.6 表1. 标志版面尺寸与设计速度的关系 根据表1中的标志版面尺寸与城市道路速度的关系制定相应交通标志尺寸模板 t e m p l a t e p ，首先，对投影Img i 图像进行膨胀处理，再提取该标牌的中心。本文采用模板匹配的方法实现交通标志中心检测。将Img i 栅格化为图像(见图5(a))，采用膨胀操作实现图像增强(见图5(b))，使用Laplacian边缘检测算法获得梯度图像(见图5(c))，使用构建的面状模板 t e m p l a t e p 作为卷积核与图像进行卷积操作，当模板刚好覆盖标牌时，强度值最大(见图5(d))。由于初始融合精度问题，相邻标牌缓冲区内点云存在混杂情况，仅使用总强度值难以准确检测中心。在此基础上，构建边缘模板 t e m p l a t e e 检测边缘梯度值，当边缘模板 t e m p l a t e e 和标牌投影边缘重叠最大即梯度值最大(见图5(e))表示模板范围最可能为标牌的边界，可以有效排除缓冲区范围内多个标牌点云混杂导致总强度值最大的错误情况。据此，本文设计包含强度和梯度两部分的能量函数，当能量函数最大时，得到最终的中心检测结果(见图5(f))。 E i = w 1 M 1 N 1 + w 2 M 2 N 2 (10) 第一项强度项中M 1 为第i个标牌增强图像与对应面状模板 t e m p l a t e p 的卷积结果，N 1 为 t e m p l a t e p 的总强度值，第二梯度项中M 2 为第i个标牌增强图像与对应边缘模板 t e m p l a t e e 的卷积结果，N 2 为 t e m p l a t e e 的总强度值，w 1 和w 2 分别是二者的权重且 w 1 + w 2 = 1 ，取能量函数最大值对应的中心作为中心检测结果。 图5. 二维点云投影图像的中间处理结果 由于在点云分块预处理过程中对数据进行了下采样，故2.3.2小节提取模板内的标牌点云较稀疏且存在由于ROI划分误差导致的部分残缺，直接进行赋色效果不佳。本文为了提高点云中交通标志的观感，基于每个标牌的拟合中心结果及对应的真实交通标志点进行邻域插值得到相对完整和密集的标牌点云，利用相应的交通标志二维模板对每个物点进行颜色赋值，得到具有真实色彩的交通标志。