system: [SYSTEM]

user: 3. 多特征融合 3.1. 三维局部二值模式(3D-LBP) 本文在进行颜色和纹理特征提取时，选用三维局部二值模式(3D-LBP)，该模式较通常的一维局部二值模式(LBP)有较大改变，一维局部二值模式是通过原始图像的邻域像素值得计算生成一幅灰度图像，再根据灰度图像提取纹理特征。而三维局部二进制模式(3D-LBP)则是通过原始图像的邻域像素计算生成三幅新的彩色图像，再从彩色图像中提取出颜色和纹理特征 [ 13 ] - [ 15 ] 。 3D-LBP算法描述：对于一幅图像， 是任意像素点 的邻域， 是中间像素点，它的灰度值被用来作为阈值。像素点 邻域的其他像素点被定义为 ，其中 是用来标记邻域像素点。中心像素点 对应LBP值的计算方法如下： (2) 其中 和 分别是像素点 及其邻域的灰度值。 是一个阈值函数定义如下： (3) LBP算法相对容易实现，因为在(2)式中LBP算法只需要中心像素与其相邻像素的灰度值差值来计算。图2左边是一幅灰度图像，右边是它的LBP图像，而在中间有两个 的矩阵则是以灰度值为207的中心像素为例，详细介绍了LBP算法。中心像素作为一个阈值的函数，并在右侧 的矩阵中揭示了通过中心像素与其相邻像素之间灰度值的差异来进行阈值去噪的过程。通过(2)式和(3)式，可以得到一个阈值为207的符号函数，进而得到LBP的二进制代码为00001111，其对应于的十进制数为15。 但是，由于LBP算法是在灰度图上进行的，并未携带颜色特征，所以在对于某些对象和场景的图像检索中性能较差 [ 16 ] - [ 18 ] 。而三维LBP的算法则与传统的LBP算法不同，该算法是在彩色图像上进行的，因此携带了颜色的特征。对于一幅彩色图像，3D-LBP算法可以理解为通过三个立体的LBP算法生成三幅彩色图像。图3展示出一幅彩色图像，进行三维LBP算法的方法及过程，最终生成了三幅彩色图像。3D-LBP中第一个LBP算法，适用的邻域为 的矩阵，算法依据图3第一行中间图片所示，首先将彩色图像的分为R、G、B三个分量进行LBP计算，然后再将三个运算后的分量进行组合，形成一个新的彩色图像，如图3中第一行最后一幅所示，该图像与原始彩色图像相比，缺少了最外面一圈像素点的灰度值。第二个LBP算法，适用的邻域为 的矩阵，算法依据图3第二行中间图片所示，将R、G、B的三个分量的像素点依次按行进行组合并进行LBP计算，将三个运算后的分量进行组合后得到新的彩色图像，如图3中第二行最后一幅所示，该图像与原始图像相比，缺少了首列和尾列两列像素点的灰度值。第三个LBP算法，同样适用的邻域为 的矩阵，算法依据图最后一行中间图片所示，将R、G、B的三个分量的像素点依次按列进行组合并进行LBP计算，将三个运算后的分量进行组合后得到新的彩色图像，如图3中最后一行第三幅图片所示，该图像与原始图像相比，缺少了首行和尾行两行像素点的灰度值。 通常情况下，一幅彩色图像由RGB三个平面构成，在执行3D-LBP算法时，需要将三个平面扩充到五个，只需要复制R、B两个平面即可，使一幅彩色图片由BRGBR五个平面构成，对BRG运用算法，可以得到新的R平面，同理分别对RGB、GBR运用3D-LBP算法得到新的G和B平面，再将新平面组合最终成为图3中最后一列的三幅图像，以便于进而提取图片的特征。3D-LBP与传统LBP算法相比，增强了图像垂直和水平方向的局部特征。 3.2. Harr小波变换 当通过3D-LBP得到三幅彩色图像后，完成了特征提取的第一步，下面还需要继续图像进行预处理，主要会用到Harr小波变换的方法。Harr小波变换 [ 19 ] ，通过提高彩色图像各分量的局部对比度，以达到提取局部信息的目的。Harr小波转换 [ 20 ] 是于1909年由Alfréd Haar所提出，是小波转换(Wavelet transform)中最简单的一种转换，也是最早提出的小波转换，它是Daubechies小波变换的N = 2的特例。Harr小波变换相对于其他小波变换有算法简单、计算效率高等优点。 通过Haar小波变换可以将一幅灰度图像分解成低通低通(LL)、高通低通(HL)、低通高通(LH)和高通高通(HH)四部分。如图4所示，首先将一幅彩色图像分离成R、G、B三幅灰度图，运用Harr小波变换将灰度图像分别分解成LL、HL、LH、HH四幅图片，再分别将由R、G、B灰度图分解后得到的四幅图片进行组合，最后得到的图片如图4中最后一列所示。通过观察可以发现，该图像LL为彩色图像，用于后续的颜色特征提取，LH、HL、HH均为黑白图像，其中LH、HL纹理特征明显、形状清晰，用于后续纹理特征的提取，由于HH图像内容较为模糊，故在后续实验中不做考虑内容。 3.3. 颜色特征提取 颜色直方图是提取颜色特征最常用的方法之一，其核心思想是在一定的颜色空间中对图像中各种颜 图2. 以阈值为207的点为例，展示灰度图像成为其LBP图像的过程 图3. 3D-LBP图像的描述 图4. Harr小波变换示意图 色出现的频数进行统计。计算颜色直方图需要将颜色空间划分为若干个小的颜色区间，每个区间成为直方图的一个柄，这个过程称为颜色量化。按照人的视觉分辨能力，把色调H分成8份，饱和度S分成4份，亮度V分成2份，并根据色彩的不同范围进行非等间隔量化，量化后的色调、饱和度和亮度值分别为，将HSV空间划分成了 个区间。这样对H、S、V进行量化，可以得到下列计算式： (4) 在运算过程中，对 三维特征矢量取不同的权值，进而组合成一维特征矢量便于计算。在这三个矢量中，人眼对于颜色的划分主要是根据色调，其次是饱和度，最后是亮度，故加权后得到一维矢量： (5) 其中， 和 分别是S和V的量化级数。若取 ， 上式可表示为： (6) L的取值为 ，计算L可以得到64柄的一维直方图，而H、S、V三个分量也通过L在一维矢量上分布开来。色调H取的权重取为8，饱和度S的权重取为2，亮度V的权重取为1，这就大大减轻了图像亮度V对检索结果的影响，而且也削弱了饱和度S对检索结果的影响，却能够对颜色分布不同的图像得到较好的检索结果。 LL的颜色特征提取还需要运用到动态金字塔理论。首先，将LL图像压缩成方阵，进行HSV空间颜色特征提取，得到64维特征。再将压缩后的方阵进行减半处理，行列分别交叉进行选取。本文将LL图像缩减3次，分别在HSV空间提取颜色特征，得到192维特征，加上原始LL图像的64维颜色特征，共256维。 3.4. 纹理特征选取 本文选取的纹理特征为Histogram of oriented gradients (HOG)。HOG描述器最重要的思想是：在一幅图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。具体的实现方法是：首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。为了提高性能，还可以把这些局部直方图在图像的更大的范围内进行对比度归一化，所采用的方法是：先计算各直方图在这个区间中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后，能对光照变化和阴影获得更好的效果。 在本文实验中，将灰度图像分割 共9个区域，每个区域的直方图梯度等级分为9级，这样每幅图像的形状特征为81维。针对前面叙述的Harr小波波变换理论，如图5所示，将LL彩色图像分离成R、G、B三个灰度图像，分别用HOG描述器提取形状特征，可得到 维特征，将LH、HL彩色图像直接转化成灰度图像，再用同样方法提取形状特征各得到81维特征。 图5. Harr小波变换后通过HOG描述器提取形状特征示意图 3.5. 多特征融合 一幅彩色图像通过关键点复杂网络建模及动态演化可得到270维形状特征，经过SIFT关键点经过3D-LBP算法可得到三幅彩色图像，而每幅彩色图像经过Harr小波变换后，能提取出256维的颜色特征以及405维的纹理特征。综上所述，一幅彩色图像原图加上通过3D-LBP得到的三幅图像，共能提取出2914维特征。再通过利用PCA对2914维特征数据进行降维，最终得到165维特征，此时特征贡献率可达到85%以上。