system: [SYSTEM]

user: 3. LBP的理论扩展方法 自Ojala提出基本的LBP描述子(LBPP，R、LBPu2P，R、LBPriP，R和LBPriu2P，R的统称)以来，LBP便在纹理分析和人脸识别领域引发了研究热潮。相比于其他局部特征描述子(如SIFT [ 22 ] 、RIFF [ 23 ] 、LQP [ 24 ] 、WLD [ 25 ] 等)，LBP具有理论简单，容易计算，特征提取无需训练的优势 [ 5 ] [ 26 ] - [ 29 ] 。然而在具体应用中，基本的LBP方法仍然在尺度大小，图像噪声，特征维数等方面存在一定的局限性 [ 5 ] [ 26 ] - [ 29 ] 。面对以上问题，研究者们对LBP方法进行了不同方向的理论扩展，提出了更具辨别力的LBP特征。 LBP的理论扩展方法有很多，但归纳起来主要分为以下几种扩展方式：1) 基于阈值的扩展方法，减小了基本LBP对噪声和周围邻域像素值微小波动的敏感性。2) 基于尺度大小的扩展方法，尺度大小不必局限于3 × 3，可根据实际需求进行调整。3) 基于预处理的扩展方法，可以得到不同尺度的纹理信息，也可以运用低通滤波先去噪，再提取更具表达力的特征。4) 基于多特征融合的扩展方法，将多种特征融合是目前发展的一个潮流方向，可以考虑与颜色、轮廓等特征融合，更全面提取图像特征。当然，针对不同的场景图像，还存在一些其他的理论扩展方法。以下将举例描述每种扩展方法。 3.1. 基于阈值的扩展方法 3.1.1. 多灰度级的局部二值模式(MGLLBP) 为提高局部二值模式对噪声干扰的鲁棒性，Ojala等 [ 3 ] 提出多灰度级的局部二值模式(Multi-Gray Level LBP， MGLLBP)。其计算公式可以描述为： 其中， 这里灰度级t可自由选取。一旦t确定了，对应的LBP值也就确定了。由公式可以看出，若t值较大，则LBP倾向于描述图像纹理变化剧烈的特征；反之，若t值较小，则LBP倾向于描述图像的细节纹理信息；若t取为0，则MGLLBP描述的就是原始LBP。其应用过程见图5。 3.1.2. 改变阈值的LBP 该方法将邻域点的均值作为阈值，改变了原始LBP用中心像素点作为阈值的思想 [ 10 ] [ 30 ] ，有效地抑制了噪声对LBP的影响。其计算公式如下： 其中， 3.1.3. 局部三进制模式(LTP) 局部三进制模式 [ 31 ] (Local Ternary Pattern， LTP)是LBP的衍变。选取合适的阈值T，将邻域像素点与中心像素点的灰度差值变成3种状态。LTP的计算公式为： 其中， 该方法能有效抵制噪声的影响，对纹理具有较高的辨别力。若周围邻域像素点有P个，则会产生 种模式，其特征维数将随着邻域像素点个数巨增。为减小计算量，于是研究者将LTP编码分为’upper’ code(ULBP)和’Lower’ code(LLBP)两个分量来简化计算复杂度。 ULBP的计算公式如下： ， LLBP的计算公式如下： ， LTP分解过程见图6。 3.2. 基于尺度大小的扩展方法 3.2.1. 多尺度分块LBP LBP方法可以比较精确地描述图像的局部纹理信息，但其缺乏对图像整体信息的度量，易受噪声干扰。于是，Liao等 [ 32 ] 在2007年提出多尺度分块LBP来弥补这一不足。 图5. 多灰度级局部二值模式对噪声的鲁棒性 图6. 将LTP分解成ULBP和LLBP的过程 多尺度分块LBP (Multi-scale Block LBP， MB-LBP)是LBP根据不同大小的邻域的一个扩展。在MB-LBP中，将LBP中的像素点之间的比较变成子区域的平均灰度值的比较。每个子区域是一个包含邻域像素的正方形块。这里，MB-LBP的算子的尺度大小以9 × 9为例，特别地，当尺度大小为3 × 3时，MB-LBP就是原始LBP。MB-LBP计算方法可以描述为：先在每个3 × 3的子区域中计算出邻域的平均灰度值，再对由平均灰度值组成的新的3 × 3块应用LBP的计算方法，将得到MB-LBP。基本LBP描述子和MB-LBP描述子的对比见图7。 3.2.2. 拉伸的局部二值模式(ELBP) 拉伸的局部二值模式 [ 33 ] (Elongated LBP， ELBP)是原始LBP领域结构的直接变形，它将原始LBP的圆形邻域结构扩展为一个椭圆的局部结构，弥补了圆形领域旋转不变而丢失的信息。ELBP的邻域拓扑结构见图8。 图7. 基本LBP描述子和9 × 9的MB-LBP描述子 图8. ELBP的邻域拓扑结构 3.3. 基于预处理的扩展方法 3.3.1. 局部Gabor二进制模式 Zhang等 [ 34 ] 人提出了局部Gabor二进制模式(Local Gabor Binary Pattern， LGBP)，该方法结合了Gabor滤波器和LBP两者的优点，弥补了LBP不能提取的尺度信息的特征，使得提取到的特征更具表达力和辨别力。其思想为： 先用Gabor滤波器G与灰度图像I(x，y)进行卷积，得到多尺度、多方向空间频率特征： 经过Gabor变换将得到分解的幅值和相位谱，而该方法选取幅值作为特征描述。然后再对卷积后得到幅值提取LBP纹理特征，就得到GLBP。 其中， 图9为窗口大小是5 × 5的Gabor滤波器。 3.3.2. 局部Haar二进制模式 Harr小波变换 [ 35 ] 是Alfred Haar在1909年提出的，是小波变换(Wavelet transform)中最简单的一种变换，是Daubechies小波变换的N = 2的特例。 图9. 窗口大小是5 × 5的Gabor滤波器 Harr小波变换具有算法简单、计算效率高的优点，可将一幅灰度图像分解成低通低通(LL)、高通低通(HL)、低通高通(LH)和高通高通(HH)四部分。Haar-LBP的思想是对得到的LL，LH，HL和HH图像分别提取LBP特征，然后将提取到的特征结合在一起，得到更多的纹理信息，以更丰富的表达图像。其中，LL包含了图像的大部分特征，是特征提取的主要特征，HL、LH和HH有明显的纹理特征和轮廓特征，可以作为图像特征提取的补充特征。图10为Harr小波变换示意图。 3.4. 基于多特征融合的扩展方法 3.4.1. 三维局部二值模式(3D-LBP) 三维局部二值模式 [ 36 ] (Three Dimension LBP， 3D-LBP)作为一种新的描述子，编码了图像的颜色信息和纹理信息，可以产生3张彩色图像，提取彩色的纹理特征。彩色图像一般由R，G，B三个颜色通道组成，3D-LBP方法则是通过采用三种正交的LBP编码方案产生了3张新的彩色图像。图11展示了3D-LBP的特征提取过程。 选取 邻域，3D-LBP的第一种编码方案，如图11中间列第一张图片所示，首先将彩色图像分成R、G、B三个颜色分量，分别对其计算LBP值，再将运算后的三个分量合成一张新的彩色图像，如图11中第三列的第一张彩色图像所示。第二种编码方案，如图11中间列第二张图片所示，横跨R、G、B的行信息并相应的提取LBP特征，再将提取的LBP特征合成，得到图11最后一列第二张所示的彩色图像。第三种编码方案与第二种编码方案类似，横跨R、G、B的列信息并相应的提取LBP特征，然后合并提取的特征得到图11第三列第三张所示的彩色图像。通常，一张彩色图像由R、G、B三个颜色通道组成，但在运算3D-LBP时却丢弃了一部分信息，故将平面扩充为B、R、G、B、R五平面即可解决上述问题。3D-LBP与原始的LBP相比，不仅加入了彩色信息，还加强了图像垂直和水平方向的局部特征，使得得到的特征更具表达力。 3.4.2. 三维局部二值模式–Haar方向梯度直方图(3DLH) 三维局部二值模式Haar方向梯度直方图(3-Dimensional LBP-HarrHOG， 3DLH)是Sugata等 [ 37 ] 人在2012年提出的一种新的图像分类的描述子。它是将3D-LBP描述子和HaarHOG描述子进行特征融合。图12展示了HOG描述子提取的过程。图13展示了HaarHOG描述子提取的过程。 此外，本文对RGB颜色空间进行变换，得到HSV、YCbCr、oRGB、I1I2I3，UCS和DCS颜色空间上的3D-LBP和HaarHOG，通过PCA降维的方法将两种描述子具有代表力的部分结合，得到不同颜色空间上的3DLH，同时，将各个颜色空间上的3DLH特征融合，得到FC-3DLH，然后在MIT自然图像库、UIUC运动图像库和Caltech256图像库进行了验证，得到融合特征FC-3DLH的图像分类结果最好，分别达到64%，84.9%和90.4%。实验说明，融合颜色空间特征比单一颜色空间特征更具辨别力。 3.4.3. Gabor–局部二值模式–金字塔方向梯度直方图(Gabor-LBP-PHOG， GLP) Atreyee等 [ 38 ] 人于2012年对图像分类提出了一种颜色描述子Gabor LBP PHOG (GLP)，它是由Gabor-LBP (GLBP)和Gabor-PHOG (GPHOG)两个描述子组成。随之，比较了GLP在HSV、YIQ、YCbCr、oRGB、DCS、RGB六个颜色空间上的图像分类精度。将各个颜色空间特征进行融合，通过PCA降维得 图10. Harr小波变换示意图 图11. 3D-LBP的特征提取过程 图12. HOG描述子提取的过程 图13. HaarHOG描述子提取的过程 到最具代表力的融合特征，在Caltech256图像库、MIT自然图像库、UIUC运动图像库上进行验证，得到融合特征FC-GLP的图像分类精度最高，分别为35.3%，84.3%和91.3%。实验结果说明，融合颜色空间特征比单一颜色空间特征包含更多的图像信息，其分类精度较高。GLBP和GPHOG描述子的提取过程见图14。