DEIM Forum 2014 F5-4

勾配情報を用いた Local Binary Pattern の改良
寺島 裕貴†

喜田 拓也†† 北海道大学大学院情報科学研究科 〒 060–0814 北海道札幌市北区北１４条西９丁目
E-mail: †{tera,kida}@ist.hokudai.ac.jp
あらましLocal Binary Pattern (LBP) は，画像の認識や分類に用いることのできる特徴量の一つである．LBP は，通常 3 × 3 の画素領域で計算され，局所的な特徴を抽出する．特に，照明の変化の影響を受けにくく，高速に計算できるという特長がある．本稿では，この LBP の考えを元にした，より高精度の画像分類が行える特徴量を提案する．
本稿で提案する特徴量では，5 × 5 の領域から疎に参照点を選択し，さらに対象画素付近の輝度勾配の情報を付加することで 512 次元の特徴を表現する．LBP のほか，既存の改良手法である improved LBP や uniform LBP との比較実験を行い，顔画像の分類において本提案手法が有効であることを示した．
キーワード

Local Binary Pattern, Gradient Local Auto-Correlations, 画像認識, 画像分類, 勾配, 局所特徴量

1. は じ め に

これまでの研究において，局所特徴量では注目画素の周囲の参照点を増やすことにより精度の向上が図れることが知られて

1. 1 研究目的と背景いる [9] [10]．しかし，参照点を増やしすぎると，特徴量の次元近年，画像処理及び機械学習の技術の向上により画像解析や数が爆発してしまい，取り扱いが困難になる．そこで，豊田ら指紋認証など様々な分野で画像認識が行われている．これらは，は参照点を疎に特徴を選択することで次元数の爆発を抑える手計算機やスマートフォン等のカメラの性能向上により個人でも法を提案している [9]．また，SIFT と SURF，そして GLAC気軽に扱える技術になりつつある．特に，コンピュータが画像と NLAC といった特徴量では勾配情報が特徴量の中で用いら内の物体を一般的な名称で言い当てる一般物体認識には，物体れており画像分類において勾配情報が有効であることがわかっの名前を言い当てる特定物体認識，物体をカテゴライズする画ている．よって本稿では，LBP の参照点を多くすることで引き像分類，特定の物体の位置を特定する物体検出といった問題が起こる次元数の爆発を，勾配情報を用いた特徴量である GLAC

存在しそれぞれの問題には多くのニーズがある [1] [2]．よって，を取り入れることで，512 次元に抑えたパワースペクトルベー

これらの問題の速度や認識精度等の機能向上は過去盛んに行わスの特徴量を提案する．

れてきた．その中でも特に，画像分類は，特定物体認識や物体検出に応用可能であり重要な問題である．
本稿では，画像認識の問題の中でも画像分類に着目し分類精度の向上を図る．画像特徴量には，特徴点ベースの特徴量，パター

実験では，顔画像のデータデットを用いて分類を行う．LBPの他，LBP の改良手法である improved LBP [11] や uniform

LBP [12] との比較実験を行い提案手法が優れていることを示す．

ンベースの特徴量そしてパワースペクトルベースの特徴量が考え

1. 2 関 連 研 究られる．特徴点ベースの特徴量は，特徴点を抽出し特徴点ごとに本稿で既存手法として用いている LBP に回転不変性を付加特徴を記述した Shift Invariant Feature Transform (SIFT) [3]

した rotated LBP [13] がある．これは，求めた LBP のパターや Speeded-up Robust Feature (SURF) [4] 等がある．SIFT とンに該当するヒストグラムのビンへ投票する際，パターンを回SURF は通常，画像分類を行うために特徴点を visual word と転し，そのうちの最小値を新たなパターンとして用いる．また，見立てた Bag-of-Keypoints 法 [5] を用いる．パターンベースの

通常 LBP は画像分類に用いられるが，OpenCV（注 1） では物体特徴量は，ラスタスキャンを行い注目画素の近傍領域でパターン検出にも用いられている．これは物体検出では画像内から対象を形成し，出現頻度を記述した Local Binary Pattern (LBP) [6]の物体を見つける際に，2 クラスの正誤で分類する問題に帰着等がある．パワースペクトルベースの特徴量には，注目画素とのすることができるためである．そのほか，OpenCV では．積相互関係をとる参照点のマスクを用意して輝度値の乗算をとった

分画像を用いることで画像内の特定領域の輝度を高速に求める

Higher Order Local Auto-Correlations (HLAC) [7] や HLAC

Haar-like [14] も LBP 同様に物体検出のための特徴量として用を改良した Gradient Local Auto-Correlations (GLAC) [8] やいられている．

Normal Local Auto-Correlations (NLAC) [8] 等がある．これ
らの特徴量の中で，LBP は高精度かつ高速な特徴量であり，そ2. 準備のアイデアは画像分類において非常に効果を発揮する．そこで

2. 1 画 像 分 類

本稿では，パターンベースの特徴量である LBP に着目し，そ画像分類とは，一般物体認識における１つの問題であり，画のアイデアを用いることにより，より高精度に画像分類が行えるような特徴量を提案する．

（注 1）：http://opencv.org/

入力画像

学習段階

認識段階

学習画像

分類画像

特徴量抽出

特徴量抽出

画像処理

学習

認識

機械学習

LBP 画像

LBP
20000

2500

18000
16000

2000

14000
12000

1500

10000
8000

1000

6000
4000

500

図1

2000
00

1
12233445566778
89
100
111
122
133
144155
166
177
188
199
210
221232243254

認識結果1122334
4556
6778
89
100
111
122
133
144
155
166
177
188
199
210
221232
243
254

学習結果

画像分類の流れ

LBP

4500

20000

4000

18000

3500

16000
14000

3000

12000
2500
10000
2000
80001500

200000112233445566778891001111221331441551661771881992102212322432544000

500

11223344556677889100111122133144155166
1771881992102212322432546000

1000

図 3 LBP の照明不変性
図 2 LBP の計算法あり，P の最大は 8 となる．R = 2 のときは近傍領域は 5 × 5像中の物体のクラスを求める問題である．例えば，車というクとなり，P の最大は 16 となる．LBP は注目画素 gc と近傍領

ラスには，セダンやワゴンといった車の形態や，消防車やパト域の画素値 gp の大小比較によってパターン LBPP,R が算出さカーや救急車といった種類の違うものが含まれる．画像分類は，れ，その種類は 2P となる．LBP はこのパターンの頻度を記述

固有名詞ごとに分類を行うと物体認識になり，そして顔や非顔したヒストグラムの特徴量である．

画像等といったような正誤による分類を行うと物体検出になる．

LBP は理論上 P と R の値に制限はないが，特徴量の次元

そのため，画像分類はクラスの広狭により様々な問題に置き換数が爆発するため，実際は，R = 1，P = 8 における LBP をえることができとても重要な問題といえる．

用いることが多い．本論文においても，R = 1，P = 8 の場

図 1 に画像分類の流れを示す．画像分類はまず初めに，学習合について取り扱う．このとき，LBP は図 2 のように 3 × 3

画像からそれぞれのクラスについて特徴量を抽出する．抽出しの近傍領域の画素で算出される．このときパターン LBP8,1 はた特徴量をクラスごとに統計的学習法により学習することで，28 = 256 となり，これが特徴量の次元数となる．また，このパ多クラスの分類器を生成する．

ターン LBPP,R で注目画素の画素値を置き換えた画像を LBP

次に，分類画像から特徴量を抽出する．抽出した特徴量は，画像と呼ぶ．

事前に生成された多クラス分類器に入力され，分類画像がどのLBP は，画像における位置情報を特徴量に記述していないクラスに分類されるかを調べる．画像分類では，入力される学ため位置不変性を有する．また，照明の変化における画像内の習画像と分類画像に，分類対象となる物体が画像中に大きく明るさの大小関係が逆転することはないので，注目画素と近傍写っていなければならない．したがって，入力される画像はあ領域の画素値の大小比較を行っている LBP は照明不変性を有らかじめ分類対象の物体が切り取られている必要がある．

する．図 3 にそれを示す．

LBP には様々な改良手法が提案されている．近傍領域の画素

2. 2 Local Binary Pattern
Local Binary pattern(LBP) [6] はテクスチャ解析で用いら値の平均を求め，その値と近傍領域の画素との大小比較を行っれるパターンベースの特徴量であり，精度の高さや計算コストている improved LBP [11] や，uniform パターンと呼ばれるパの低さから近年注目されている．特徴量はラスタスキャンにターンを用いてヒストグラムを形成している uniform LBP [12]よって算出され，注目画素の周囲の半径を R，近傍領域の画素等がある．また，パターン LBPP,R を回転し値を最小値となる数を P として以下のように算出される．

ように設定することで回転不変性を付加した rotated LBP [13]LBPP,R =P−1∑

も存在する．

s(gp − gc )2p ，p=0{s(x) =2. 3 Gradient Local Auto-Correlations
Gradient Local Auto-Correlations (GLAC) [8] は HLAC [7]1(x >= 0)を拡張した特徴量であり，曲率を特徴づけたパワースペクトル0(x < 0)．

ベースの特徴量である．参照点の勾配方向の量子化を行い，マ

ここで，gc は注目画素の画素値を示し，gp は参照点の画素値

スクパターンで指定される参照点の勾配方向の関係をパターンを表している．近傍領域は R = 1 のとき近傍領域は 3 × 3 で化して勾配強度を特徴づけている．

(a)P T(b)

図 6 LBP による参照点の位置੩క৖ඥƷӋༀໜ

.$2ƴǑǔӋༀໜഏࣇЎƴǑǔӋༀໜ

H T =?

図 4 gradient orientation vector

図 7 提案手法の参照点

දႸဒእ

0次 GLAC

目画素と 1 つの点を参照し，特徴量の次元数は D + 4 × D 2 となる．

3. 提 案 手 法
1次 GLAC

図5マスクパターンδI δI t画像の勾配は ( δx, δy ) のように表され，勾配強度は n =√δI 2δI 2δI δI( δx ) + ( δy ) ，勾配方向は θ = arctan( δx, δy ) と表すこと

本稿で提案する手法は注目画素における 0 次の GLAC を算出し，R = 2，P = 6 における LBPP,R を用いて場合分けしたものである．0 次の GLAC は注目画素の周囲 3 × 3 の範囲の情報を取得するために用い，LBP は注目画素の周囲 5 × 5 の範囲の情報を取得するために用いている．GLAC の G-O ベク
ターは D = 8 として扱った．最終的にこれらのパターンを組ができる．GLAC では図 4 のように注目画素の勾配方向の量み合わせることにより，64 × 8 = 512 個のパターンを形成し子化を行う．勾配方向の量子化は，注目画素の周囲を D 個のパワースペクトルベースの特徴量を記述した．

成分に分解し，勾配方向を挟んでいる 2 つの方向に分解する．

dGLAC ではまず初めに，0 次の GLAC の特徴量を算出す

これにより図 4 のような疎なベクトル f (∈ RD ) として表現さる．これは 3 × 3 の範囲の局所領域の情報を取得するためであれる．このベクトルを gradient orientation vector (G-O ベクる．dGLAC では G-O ベクターを D = 8 として用いる．したター) と呼ぶ．以上の定義から，N 次の GLAC の特徴量は以下

がって，GLAC の次元数は 8 次元となる．同じく 3 × 3 の範のような式で表すことができる．

囲の情報を取得している R = 1，P = 8 における LBP を算出

R(d0 ,..., dN , a1 , ..., aN ) =∫min[n(r), n(r + a1 ), ..., n(r + aN )]I

fd0 (r)fd1 (r + a1 )...fdN (r + aN )dr．
fd は G-O ベクター f の d 番目の要素を表している．また，ai

した場合，特徴量は 256 次元になるので大きく次元数を削減できている．勾配算出には 1 次微分を用いており，画像 I の任意の画素 I(x, y) における 1 次微分は，勾配強度を n，勾配方向を θ とすると，以下のような式で表される．
√δI 2 δI 2n=+，δxδyは注目画素からの変位ベクトルであり，図 5 に示すマスクパターンの点を参照する．N を増やすことで注目画素の周囲の参照点を増やし多くの情報を取得することができるが，特徴量の次元数が爆発するため実際は，N = 0 と N = 1 の GLAC が用いられる．0 次と 1 次の GLAC はそれぞれ以下のようになる．

0次:R(d0 ) =∑n(r)fd0 (r)，

r∈I

1次:
∑R(d0 , d1 , a1 ) =min[n(r), n(r + a1 )]fd0 (r)fd1 (r + a1 )．

r∈Iθ = arctan(δI δI, )，δx δyδI= I(x + 1, y) − I(x − 1, y)，δxδI= I(x, y + 1) − I(x, y − 1)．
δy
0 次の GLAC の算出が終わると次に，算出した 0 次の GLACを分けるための LBP を算出する．dGLAC では，R = 2，P = 6として LBPP,R を算出する．LBP の参照点は注目画素の半径 2の範囲からは最大 16 個選択することができるが，本論文では図6(a) のように疎に 6 つの参照点を選択する．これは参照点を疎0 次の GLAC では図 5 のように注目画素のみを参照し，特徴に選択しても十分な情報を取得できるためである [9]．また，領量の次元数は D 次元となる．1 次の GLAC は図 5 のように注域を回転することにより 6 点の参照点の選び方は図 6(b) のよ表 1 顔画像分類の性能

図 8 AT&T データセット

AT&T

MIT CBCL

Proposed

90.770%99.655%

LBP

88.760%99.580%

improved LBP

87.500%99.594%

uniform LBP

85.145%99.530%

けているもの，かけていないもの等，様々な顔画像が含まれている．

MIT CBCL データセットは図 9 のような顔画像のデータセットであり，10 人のグレースケール画像が各 200 枚ずつ，計2000 枚の画像からなる．画像はクラスごとにサイズが正規化されておらず，様々な角度から撮影されている．
これらのデータセットを用いて以下のような条件で画像分類の実験を行った．
（ 1 ） 各クラスからランダムに半分の画像を選択し，それを図 9 MIT CBCL データセット学習画像とする．
うな場合も考えられる．本論文では，予備調査の結果，精度に（ 2 ） 残りの半分の画像を分類画像とする．

大きな差が確認されなかったため図 6(a) に統一した．これによ（ 3 ） 学習画像，及び分類画像から特徴量を抽出する．

り通常 R = 2，P = 16 としたときの LBP では，216= 65536（ 4 ） 学習画像の特徴量を多クラス分類が可能な線形 SVM次元になるのに対し，5 × 5 の範囲の情報を 26 = 64 次元で表により学習する．

すことができる．

（ 5 ） 生成された分類器に分類画像の特徴量を入力する．

最後に 0 次の GLAC を LBP による 64 個のパターンで分割（ 6 ） 出力された結果が正しいクラスに属しているか否かをすることで特徴量の記述を行う．0 次の GLAC は 8 方向 (8 次調べ，正しいクラスであれば正解とする．

元) で特徴づけられているので，dGLAC は 512 個のパターン

AT&T データセットでは学習画像，分類画像はそれぞれ 5 枚，で表現される．特徴量は 0 次の GLAC の特徴量を基準として

MIT CBCL データセットでは学習画像，分類画像はそれぞれいるので LBP のようなパターンベースの特徴量ではなく注目100 枚となる．このような実験を 100 回行い，その平均を求め画素の画素値の重みによって算出されるパワースペクトルベーることで，精度を求めた．提案手法は予備調査の結果，特徴量スの特徴量となる．最終的に，dGLAC の参照点は図 7 のようを正規化しないほうが良い結果が得られていたため，正規化はになる．算出される特徴量 D は，0 次の GLAC 特徴量 R(d) と行っていない．提案手法に対する比較手法としては，LBP の他

LBP6,2 を用いて以下のように表せる．に，improved LBP と uniform LBP を用いた．uniform LBP
では注目画素の周囲の範囲を 3 × 3 から 7 × 7 まで変化させ

DLBP6,2 ,d = R(d)．

たうえで，最良の結果を用いており，AT&T データセットでは以上により，注目画素の周囲 5 × 5 の範囲から疎に参照点を選択し勾配情報を用いて特徴量を算出することで，512 次元の555 次元を，MIT CBCL データセットでは 243 次元の特徴量を使用している．
実 験 結 果 は 表 1 の よ う に なった ．AT&T デ ー タ セット

特徴量として記述される．

では，提案手法が 90.770%であるのに対し，既存手法では4. 分 類 実 験

LBP が 88.760%，improved LBP が 87.500%，unform LBP

提案手法の有効性を調べるために顔画像を用いた画像分類の（注 2）実験を行う．実験には AT&T データセットと MIT CBCLデータセット（注 3） を使用した．

AT&T データセットは図 8 のような顔画像のデータセットであり，40 人のグレースケール画像が各 10 枚ずつ，計 400 枚の画像からなる．全ての画像は 92 × 112 ピクセルで固定されている．また，データセットには目が開いているもの，目が閉じているもの，笑っているもの，笑っていないもの，眼鏡をかが 85.145%という結果となり，提案手法が既存手法より優れていることが確認できる．MIT CBCL データセットにおいても提案手法が 99.655%であるのに対し，LBP が 99.580%，improved LBP が 99.594%，uniform LBP が 99.530%となりいずれにおいても提案手法が優れている結果となった．これは，提案手法が既存手法に対し，より多くに情報を特徴量に含んでいる点，そして勾配情報を用いていることからそれぞれの人間における固有の顔の情報を取得できているからであると考えられる．

（注 2）：http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.

html（注 3）：http://cbcl.mit.edu/software-datasets/heisele/

facerecognition-database.html

5. お わ り に本稿において，LBP の参照する範囲を広げることで特徴量

の次元数が爆発しないように LBP の特性を活かしながら参照点を設定し，0 次の GLAC の特徴量を取り入れることで，より多くの情報を取得することができる特徴量を提案した．また，顔画像の分類に関する分類実験では提案手法が既存の特徴量に比べ精度が優れていることを示した．今後は，データセットの変化に対して最善となるように，提案手法をより一般化できるようにさらなる改良を加えること，そしてテクスチャや人等といった多くのニーズがある対象物の画像に対しても実験を行う必要がある．

文献[1] 藤吉弘亘. 一般物体認識のための局所特徴量 (SIFT と HOG).
PCSJ/IMPS2008 ナイトセッション, 2008.
[2] 柳井啓司. 一般物体認識の現状と今後. 情報処理学会論文誌:
コンピュータビジョンとイメージメディア, Vol. 48, pp. 1–24,
2007.
[3] David G Lowe. Distinctive image features from scaleinvariant keypoints. International Journal of Computer Vision, Vol. 60, No. 2, pp. 91–110, 2004.
[4] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool. Surf:
Speeded up robust features. In Proceedings of European
Conference on Computer Vision, ECCV 2006, pp. 404–417.
Springer, 2006.
[5] Gabriella Csurka, Christopher Dance, Lixin Fan, Jutta
Willamowski, and Cédric Bray. Visual categorization withbags of keypoints. In Proceedings of European Conference
on Computer Vision, ECCV 2004, Vol. 1, p. 22, 2004.
[6] Timo Ojala, Matti Pietikäinen, and David Harwood. A
comparative study of texture measures with classification based on featured distributions. Pattern Recognition,Vol. 29, No. 1, pp. 51–59, 1996.
[7] Nobuyuki Otsu and Takio Kurita. A new scheme for practical flexible and intelligent vision systems. In Proceedings ofIAPR Workshop on Computer Vision, pp. 431–435, 1988.
[8] Takumi Kobayashi and Nobuyuki Otsu. Image feature extraction using gradient local auto-correlations. In Proceedings of European Conference on Computer Vision, ECCV2008, pp. 346–358. Springer, 2008.
[9] 豊田崇弘, 長谷川修. テクスチャ識別のためのマスクパターンによる特徴抽出法. 電子情報通信学会 PRMU 研究会, PRMU200463, pp. 77–84, 2004.
[10] 豊田崇弘, 長谷川修. 高次局所自己相関特徴の拡張. 画像電子学
会誌, Vol. 34, No. 4, pp. 390–397, 2005.
[11] Hongliang Jin, Qingshan Liu, Hanqing Lu, and XiaofengTong. Face detection using improved lbp under bayesianframework. In Proceedings of Third International Conference on Image and Graphics, pp. 306–309. IEEE, 2004.
[12] Timo Ojala, Matti Pietikainen, and Topi Maenpaa. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on
Pattern Analysis and Machine Intelligence, Vol. 24, No. 7,
pp. 971–987, 2002.
[13] Matti Pietikäinen, Timo Ojala, and Zelin Xu. Rotationinvariant texture classification using feature distributions.
Pattern Recognition, Vol. 33, No. 1, pp. 43–52, 2000.
[14] Constantine P. Papageorgiou, Michael Oren, and Tomaso
Poggio. A general framework for object detection. In Proceedings of Sixth International Conference on Computer
Vision, 1998, pp. 555–562. IEEE, 1998.