system: [SYSTEM]

user: 4. 具体应用中的LBP扩展方法 针对不同的场景图像和特征识别要求，许多学者在具体应用领域中对LBP进行了扩展，尤其在纹理分析和人脸识别领域中应用较广泛。下面将从纹理分析领域中的LBP扩展方法、人脸识别领域中的LBP扩展方法和其他应用领域中的LBP扩展方法等三大类的具体应用中详细介绍LBP的扩展方法。 4.1. 纹理分析领域中的LBP扩展方法 目前，LBP已经发展成为一类不可替代的纹理特征提取方法，在纹理分析与分类、动态纹理识别和计算机视觉领域中占据了非常重要的地位，有着广阔的发展前景。以下将对近年来在纹理分析领域中几种比较有影响力的LBP扩展方法进行介绍和分析。 4.1.1. 中值二值模式(MBP) 中值二值模式(Median binary pattern， MBP)是Hafiane等 [ 28 ] 人在2007年提出的一种纹理分类方法。与原始LBP方法类似，不同之处在于该方法将邻域像素点的中间值作为阈值。MBP对旋转具有不变性。其计算方法如下： 其中，P为周围邻域像素点的个数，g i 表示周围邻域像素点的灰度值。 4.1.2. 中心对称局部二值模式(CS-LBP) 中心对称局部二值模式(Center-Symmetric， CS-LBP)是由Heikkila等 [ 39 ] 人在2009年提出的一种LBP扩展方法。CS-LBP的目的是对LBP较小的数产生适应于区域描述符的直方图，同时对平坦区域具有稳健性。CS-LBP的计算方法如下： 其中， ， 和 代表是中心对称位置。LBP和CS-LBP的特征计算方法见图15所示。 4.1.3. 完整的局部二值模式(CLBP) 为了加强利用LBP方法所丢失的信息，Guo等人提出了完整的局部二值模式 [ 5 ] (Completed LBP， CLBP)。该方法从局部差异符号与大小转换(Local difference sign-magnitude transform， LDSMT)的角度分析了LBP算法，并给出三种不同的描述子：中心描述子(CLBP-Center， CLBP-C)、符号描述子(CLBP-Sign， CLBP-S)和大小描述子(CLBP-Magnitude， CLBP-M)。CLBP的架构如图16所示。 CLBP_S和原始的LBP编码是相似的，只是将编码二值化的值“0”变成了“−1”，其描述子的表示为： 图14. GLBP和GPHOG描述子提取的过程 图15. LBP和CS-LBP的特征计算过程 图16. CLBP架构 其中 。 CLBP_M和CLBP_C描述子可以表示为： ，其中 ，阈值 是一般设定为局部图像的均值。 ，式中 ，这里的阈值 一般设定为整幅图像的均值。 CLBP描述子通过实验验证了CLBP_M信息的重要性，且符号部分CLBP_S比数值大小部分CLBP_M更重要，进一步验证了将三种描述符进行融合得到的特征更具辨别力，融合特征的实验效果最好。 4.1.4. 局部二值模式的方差表示(LBP Variance， LBPV) VAR是对LBP特征的补充，在使用VAR时需要进行量化处理。为了消除由于量化而对实验结果的影响，Guo等 [ 40 ] 人在2010年提出了局部二值模式的方差表示(LBP variance， LBPV)。由于VAR是对区域变化的表示，所以VAR值越大，其区分贡献就大，因而权重越大。该方法将每个点的方差作为编码值的权重进行直方图的累加。其计算公式如下： 其中， ， 。 LBPV方法凭借其不需要量化、不需要训练的优势在纹理分类中取得了较好的分类效果，但是需进一步加强该方法对噪声的鲁棒性。 4.1.5. 贝叶斯局部二值模式(Bayesian LBP， BLBP) 图像信息的随机性导致了图像对光照和噪声比较敏感。于是，为考虑到图像的随机性，He等 [ 41 ] 人提出了贝叶斯局部二值模式(Bayesian LBP， BLBP)。该方法在标签空间加入马尔可夫随机场(Markov random field， MRF)，建立了标签获取的随机过程模型。然后，在最大后验概率准则(Maximum a posteriori， MAP)下将标签过程作为联合优化处理。最后，用标签的概率密度的直方图估计作为描述子。BLBP的标签处理过程见图17。 4.1.6. 尺度不变局部三值模式(Scale Invariant Local Ternary Pattern， SILTP) 为解决在复杂背景下灰度强度变化的问题，Liao等 [ 42 ] 人于2010年提出了尺度不变局部三值模式(Scale Invariant Local Ternary Pattern， SILTP)。SILTP的编码方法如下： 其中，I c 是中心像素点的灰度值，I k 是半径为R的圆形邻域的像素点的灰度值， 代表二值串的连接操作， 是制定范围的灰度因子， 是一个分段函数，定义如下： 图17. BLBP的标签处理过程 SILTP方法的优势源于有三个阈值。首先，相比于LBP方法，SILTP方法计算效率更高。其次，由于LTP对某一范围有容错性，所以该方法对某一范围内的局部图像噪声具有鲁棒性。最后，尺度不变特性使得SILTP方法对光照变化具有不变性。 4.1.7. 其他LBP扩展方法在纹理分析与识别上的应用 Liao等 [ 29 ] 人在2009年提出了显性局部二值模式(Dominant LBP， DLBP)，该方法用二值模式中出现频率较高的模式来描述纹理信息，对图像旋转以及有噪声的图像具有良好的适应性和鲁棒性。 为了完整地表示图像的空间结构，Guo等 [ 43 ] 人在2010年提出了自适应局部二值模式(Adaptive LBP， ALBP)的纹理分析方法。该方法提出了三种不同的方向统计特征：局部方向差异的平均值、标准差和最小化局部差异的自适应系数，在纹理数据库分类的试验中得到了较好分类效果 [ 44 ] ，但是噪声的鲁棒性有待进一步加强。 由于LBP方法的统一模式忽略了非统一模式中许多重要的纹理信息，于是，充分利用了LBP方法中的非一致模式的信息，Zhou等 [ 14 ] 人提出了扩展的局部二值模式(Extended LBP， ELBP)，将非统一模式分为表示结构信息和表示发生概率信息的两个不同子集。ELBP方法对噪声有较好的鲁棒性，在纹理数据库中取得了较好的分类效果。随后，Liu等 [ 45 ] 人也提出的扩展的局部二值模式(Extended local binary patterns)的纹理分类方法，该方法基于灰度和差异分别提出了CI (Centralpixel)、NI (Neighbors pixel)、RD (Radial-difference)、AD (Angular difference)四个描述子。Khellah等 [ 46 ] 人提出的凸显邻域结构(Dominant neighborhood structure， DNS)的纹理分类方法也很好的利用了LBP中非一致模式的信息。 Guo等 [ 6 ] 提出了Fisher判别学习的局部二值模式(FSC-based learning LBP， FBL-LBP)。该方法先提出基于Fisher判别的学习框架，然后将其与LBP结合构成了用来提取凸显模式分类特征的FBL-LBP描述子。此外，Zhang等 [ 47 ] 提出的局部能量模式(Local energy pattern， LEP)的纹理分类方法，以及Zhao等 [ 48 ] 提出的旋转不变性的LBP描述子在处理动态纹理试验中获得了不错的实验结果。 Qi等 [ 49 ] 人在2015年提出了多尺度共现局部二值模式(Multi-scale Co-occurrence Local Binary Pattern， MCLBP)的纹理分类方法。该方法可以有效捕捉不同尺度之间的相关关系，提取更多的图像信息。同时，相比于LBP，CLBP和MSJ-LBP等具有局部旋转不变性的方法来说，MCLBP还具有全局旋转不变性。Ryu等 [ 50 ] 人提出了一种连续排序的局部二值模式(sorted consecutive local binary pattern， scLBP)的纹理分类的方法。当通过排序连续的模式来维持旋转不变特性时，scLBP方法可以将任意空间转换次数的所有模式进行编码。由于基本的LBP对尺度、旋转、视角变化和非刚性的变形比较敏感，Reza等 [ 51 ] 人提出了一种改进的LBP的纹理分析方法。在该方法中，对每个像素点分配一个圆形邻域半径和区域方向。随着LBP的深入研究和广泛应用，LBP正朝着其他领域延伸和发展。 4.2. 人脸识别领域中的LBP扩展方法 随着LBP及其扩展模式的优越性能和广泛应用，研究者们将其应用到人脸识别领域，同样也获得了出色的效果。以下将对近年来在人脸识别领域中应用较广泛且较有影响力的LBP扩展方法进行介绍和分析。 4.2.1. 改进的局部二值模式(Improved Local Binary Patterns， ILBP) 为加强LBP的局部结构，Jin等 [ 10 ] 人提出了改进的局部二值模式(Improved Local Binary Patterns， ILBP)。该方法结合了局部形状和纹理信息，且对光照变化具有鲁棒性。9位十进制数的计算方法如下： 其中， 是内核中的平均灰度值。 随后，Qian Tao和Raymond Veldhuis [ 52 ] 通过将8邻域赋相等的权重提出对光照标准化的简化的局部二值模式(Simplified Local Binary Pattern， SLBP)。该方法对光照的变化更具鲁棒性，对模式方向的变化不敏感。对 邻域来说，编码模式的种类从256大大降低为9。SLBP的计算方法如下： 4.2.2. 局部线性二值模式(Local Line Binary Patterns， LLBP) Petpon等 [ 53 ] 人提出了局部线性二值模式(Local Line Binary Patterns， LLBP)的人脸分析与识别方法。该方法通过设定阈值化的局部窗口和二进制权重概括了图像的局部空间结构，同时将十进制数作为纹理特征描述子，大大降低了计算量。其编码方式如图18所示。 LLBP方法通过水平或垂直方向来获得线性二值码，其梯度表示图像强度的变化，如边缘、角等。LLBP描述子在人脸图像中的应用例子见图19。 4.2.3. 中心二值模式(Centralized Binary Patterns， CBP) Fu等 [ 54 ] 人于2008年提出中心二值模式(Centralized Binary Patterns， CBP)，该方法具有以下优势：1)通过成对的对比邻域值降低了直方图的维数，2) 考虑了中心像素点的影响，分配给中心像素点较大的权重，提高了对图像的辨别力，3) 通过修正LBP中的符号函数降低了白噪声对人脸图像的影响。其计算方法如下： 其中， ， 是阈值常数。 计算原理见图20。 为了提高表情图像对微小波动的鲁棒性，Wang等 [ 55 ] 人将图像的欧氏距离(image Euclidean distance， IMED)嵌入到CBP中，实验该方法证明可以提高人脸表情识别的效果。 4.2.4. 局部量化模式(Local Quantized Patterns， LQP) Hussain等 [ 24 ] 人在2012年提出局部量化模式(Local Quantized Patterns， LQP)。该方法同时对多个尺度上的邻域系统计算二进制模式，然后对产生的所有二进制模式进行K均值聚类，将获得的聚类中心作为主导二进制模式，进一步对图像编码。其特征计算过程见图21。 4.2.5. 三斑块局部二值模式(Three-Patch LBP， TP-LBP) Wolf等 [ 56 ] 人提出了三斑块局部二值模式(Three-Patch LBP， TPLBP)的人脸识别和分析的方法。该方法通过比较三个斑块的值来产生一个值，然后将该值赋给编码值。对于图像的每个像素点，假设在中间选取一个 的斑块，在半径为 上均匀分布 个斑块，以角度每经过 选取一对斑块，然后将它们与中心斑块的值进行比较。 TP-LBP计算方法如下： 其中， ， 是中间的斑块， 和 是圆形邻域上的两个斑块， 是两个斑块之间的任意的距离函数。其编码方式如图22所示。 图18. 长度为9个像素点，8位的LLBP计算过程 图19. 长度为9个像素点的LLBP描述子在人脸图像中的应用例子：(a)原始图像；(b)和(c)分别是沿着水平和垂直方向的LLBP；(d)梯度图 图20. CBP(8， 1)计算原理 图21. LQP的特征计算过程( ) 图22. TP-LBP的编码方式(a) 参数 (b) 参数 4.2.6. 四斑块局部二值模式(Four-Patch LBP， FP-LBP) 为了产生四斑块局部二值模式 [ 56 ] (Four-Patch LBP， FP-LBP)，对于图像的每个像素点，选取半径分别为 和 的两个圆环，每个圆环上均匀分布 个斑块，斑块大小选取 。在内外环上分别比较了两个中心对称的斑块，以角度每经过 选取一对斑块。FP-LB计算方法如下： 其编码方式如图23所示。 将TP-LBP和FP-LBP两种方法分别应用到一张人脸图像上，其效果图见图24。 4.2.7. 其他LBP扩展方法在人脸识别与检测上的应用 Maturana等 [ 57 ] 人提出了基于决策树的局部二值模式(Decision tree-based local binary patterns， DT-LBP)。假设该方法的决策树有M层，将每一层中心像素点的值与周围领域像素点的值作比较，如果中心像素点值大于邻域像素点值，走左边的路线，反之，走右边的路线，直到遍历完最后一层，将正确路线上的节点用1表示，错误路线上的节点用0表示。这就是DT-LBP。该方法大大降低了计算数据的维度。 图23. FP-LBP的编码方式(a) 参数 (b) 参数 图24. TP-LBP和FP-LBP在人脸图像上的例子 Chan等 [ 58 ] 人提出了基于多波段局部二值模式(Multispectral local binary pattern)的线性判别分析(Linear discriminant analysis， LDA)的人脸识别方法。该方法先将彩色的人脸图像归一化，并将其分成几个不重叠的区域，分别提取LBP直方图，然后连接起来作为图像的特征输入LDA空间得到最终的人脸描述符。Chan等 [ 59 ] 等人提出了多尺度的局部二值模式(Multi-scale local binary pattern)。 Lahdenoja等 [ 60 ] 通过将统一模式中有相同对称特征的模式归到一类，降低了LBP特征向量的长度。Zhang等 [ 61 ] 提出了高阶局部描述符和局部导数模式(Local derivative pattern， LDP)的人脸识别方法。Chao等 [ 62 ] 人提出了一种特定表情的局部二值模式(expression-specific local binary pattern， es-LBP)的人脸识别方法。 Yan等 [ 63 ] 人提出了局部组合二值(Locally assembled binary， LAB)的Haar特征。该方法中，对Haar变换后的特征进行二值化，然后与LBP特征组合成新的特征，因此对光照变化具有鲁棒性。Radhey等 [ 64 ] 人提出了一种扩展的局部二值模式(Augmented Local Binary Pattern， ALBP)的人脸识别方法。该方法有效地将局部的一致模式和非一致模式相结合。先用一致模式的大部分有效值代替非一致模式，然后再和邻域的一致模式结合来提取图像中有价值的信息。 4.3. 其他应用领域中的LBP扩展方法 LBP及其扩展方法不仅在纹理分析领域、人脸识别领域中取得了广泛的应用，获得了显著的效果，而且已被成功应用于人脸表情识别、医学图像处理、图像匹配等领域。 以下将介绍几种常见的其他应用领域中的LBP扩展方法。 Loris等 [ 31 ] [ 65 ] 人提出了延伸的二值模式(Elongated Binary Pattern， ELBP)、延伸的三值模式(Elongated Ternary Pattern， ELTP)、延伸的五值模式(Elongated Quinary Pattern， EQP)的人脸表情识别和分析的方法，在医学图像处理方面得到了广泛的应用。这些方法通过考虑不同邻域形状和局部灰度尺度差异的编码方式来获得，并在新生婴儿人脸图像库中取得了较好的面部表情的识别和分析效果。 Trefny等 [ 66 ] 人提出了转换局部二值模式(Transition LBP， tLBP)和方向局部二值模式(Direction LBP， dLBP)两个描述子，并成功将其应用到汽车检测领域中。在UIUC的汽车数据库的检测中取得了较高的检测精度。 Mu等 [ 67 ] 人将LBP扩展模式应用到行人检测中，提出了语义局部二值模式(Semantic-LBP， S-LBP)和傅里叶局部二值模式(Fourier-LBP， F-LBP)两个描述子，并在INRIA行人数据库 [ 68 ] 上进行大量实验，取得了不错的实验效果。其中，S-LBP描述子解决了LBP特征向量计算存储空间大和二值编码无法表示语义特征的问题，而F-LBP描述子将滤波引入到LBP中，解决了不同局部阈值带来的误差，使数据压缩可控。 此外，Zhao等 [ 69 ] 人提出了体积局部二值模式(Volume LBP， VLBP)和局部二值模式的三维正交平面(LBP three orthogonal planes， LBP-TOP)两个描子，并将其成功的应用到人脸表情识别领域。Kellokumpu等 [ 70 ] - [ 72 ] 人将LBP扩展模式应用到手势识别和步态识别的领域中，并取得了较高的识别率。Costa等 [ 73 ] 人将LBP扩展模式应用到音乐类型的分类识别。