計測自動制御学会東北支部 第 280 回研究集会 (2013.5.29)
資料番号 280-4

エッジ画像と色情報を用いた SURF アルゴリズムの検討
A Study of SURF Algorithm using Edge Image and ColorInformation○佐々木栄裕 ∗ ，今野峻一 ∗ ，恒川佳隆 ∗○ Yoshihiro Sasaki∗ , Syunichi Konno∗ , Yoshitaka Tsunekawa∗*岩手大学*Iwate University
キーワード : SURF (Speeded Up Robust Features)，画像認識 (image recognition)，エッジ画像 (edgeimage)，色情報 (color information)，特徴点検出 (interest point detection)

連絡先 : 〒 020-8551

盛岡市上田 4-3-5 岩手大学 工学部 恒川佳隆，Tel.&Fax.: (019)621-6468，E-mail: tsune@iwate-u.ac.jp

1.

はじめにが必要なものが多いため，処理の高速化が重要な

近年，画像認識や特徴点追跡が様々な分野で利用されている．例としては，デジタルカメラの顔認識，防犯カメラの人認識・追跡，指紋認証などが挙げられる．これらの画像認識や特徴点追跡では局所特徴量抽出処理が行われている．
局所特徴量とは，特徴点検出法により画像中の濃淡の変化が大きい特徴点を検出し，その特徴点周りの領域を画素値や微分値により特徴ベクトルにしたものである．
画像認識や特徴点追跡に局所特徴量を利用する手法として Lowe の Scale-Invariant Feature
Transform (SIFT)1) がよく用いられている．SIFTは画像認識に必要な特徴点の検出と特徴量の記述を行う手法であり，その特徴量は画像の回転，スケールの変化，照明変化に対して不変性を持っている．また，処理には画素の輝度を用いている．しかし，SIFT は計算コストが高く，SIFT を用いたアプリケーションではリアルタイム処理テーマとなっている．そこで，SIFT を拡張した手法として，必要な処理を近似処理に置き換え高速化した Speeded Up Robust Features(SURF)
が Herbert Bay らによって提案されている 2) ．

SURF は SIFT を高速化したものであるが，その処理の精度は SIFT に対してあまり向上していない．原因として，認識したい物体上に検出される特徴点が少ないことや，物体の背景の変化により，その特徴が変化してしまうからだと考えられる．
本報告では，高速な処理が可能な SURF に注
目し，入力画像のエッジ画像と色情報を用いることで高性能化した SURF を提案し，道路標識認識を例に，エッジ画像と色情報を用いることの有用性を検討する．高精度化の手法としては，エッジ画像を用いて標識上に検出される特徴点を増やし，色情報により標識外の部分に現れた特徴点を削除する．この手法により標識認識に使–1–

用される点数を増やし，認識精度の向上を図る．

2.

SURF

SURF は照明や回転，スケールの変化に不変な特徴量を記述するため，画像を用いたトラッ(a)LoG filter(Lyy)

キングや一般物体認識，画像のはり合わせなどFig. 1に用いられる．SURF の処理の概要は以下の通(b)D filter(Dyy)

LoG filter と D filter ( y 方向)りである．

1) 特徴点の検出
2) 特徴点の絞り込み
3) オリエンテーションの決定
4) 特徴量記述
Fig. 2

極値検出

特徴点の検出2.1

特徴点とは特徴抽出に適した点であり，そのGaussian) フィルタと呼ぶ．Fig.1 は y 方向のフ点の周りの輝度の勾配情報から特徴量と呼ばれィルタの例である．LoG フィルタと入力画像のる情報を記述する．ヘッセ行列によって DoG 画

畳みこみでは処理時間がかかってしまうので，像を作成し，DoG 画像を用いて極大値を検出す

Fig.1(b) のように近似したフィルタを用いて高ることで特徴点を検出する．

速処理する．近似したフィルタを D フィルタと呼ぶ．その後，式 (4) によってヘッセ行列を計

2.1.1

DoG 画像の作成算する．ここで，式 (4) の 0.9 は，LoG フィル
タを D フィルタに近似した際の誤差を補う係数

DoG 画像の作成はヘッセ行列を用いる．ヘッ
セ行列は式 (1) となり，G(x, y, σ) はガウス関数，L(x, y, σ) はガウス関数の二階微分，I(x, y) は入である．

det(Happrox ) = Dxx ∗ I(x, y) × Dyy ∗ I(x, y)

力画像である．

−(0.9 × Dxy ∗ I(x, y))2

H(x, y, σ)[Lxx (x, y, σ) ∗ I(x, y)=
Lxy (x, y, σ) ∗ I(x, y)

Lxy (x, y, σ) ∗ I(x, y)
Lyy (x, y, σ) ∗ I(x, y)L(x, y, σ) = G′′ (x, y, σ)( 2)
x + y2exp −G(x, y, σ) = √2σ 22πσ 21(4)式 (4) を計算すると Fig.2 のような DoG 画像が](1) 一つ作成される．次にガウス関数の σ を大きくしていき，すなわち D フィルタのサイズを大き(2)くしていき，式 (4) を再び計算し DoG 画像をまた一つ作成する．この処理を繰り返し行い，(3)DoG 画像を最低 3 枚作成する．その後，作成した DoG 画像を用いて極値検出を行い，特徴点を検出する．

ここで，式 (2) を Fig.1(a) のように 2 次元のフィルタ形式にしたものを LoG(Laplacian Of–2–Fig. 32.1.2

検出された特徴点

Fig. 4

極値検出(4) のヘッセ行列を計算した後の値であり，Fig.2

特徴点の検出は Fig.2 のように DoG 画像 3 枚一組で行う．DoG 画像の注目画素と，その周りの近傍 26 点を比較し，極値であった場合，その画素を特徴点として検出する．この極値検出は，σ の値の小さい DoG 画像から行う．一度極値が検出された画素は，より大きなスケールで極値が検出されても特徴点としない．この処理をスケールの異なる DoG 画像の全画素に対して行う．
この処理を行うと，DoG 画像 n 枚に対して特徴点画像が n-2 枚作成される．作成された特徴点画像をすべて重ね合わせると，Fig.3 のようにすべての特徴点が検出された画像が作成される．

Fig.3 の円の中心にあたる部分が特徴点である．
円の大きさは，特徴点が検出されたスケールの大きさを表している．

2.2

絞り込み後の特徴点の画素値の事である．コントラストが低いとノイズによる影響を大きく受けてしまう．DoG 値はコントラストが低い領域では小さくなるため，DoG 値が閾値以下の特徴点を削除する．微分は値の変化量を見ているので，輝度変化が大きい部分で値が大きくなる．すなわち DoG 値が小さい特徴点は空や道路といった局所的に輝度変化が少ない部分に現れやすく，コントラストによる絞り込みでは主にその部分が削除される．
次に主曲率による絞り込みを行う．主曲率による絞り込みはヘッセ行列の固有値から，エッジ上にある特徴点を判断し削除する．ヘッセ行列から求められる第 1 固有値を λ1 ，第 2 固有値を λ2 (λ1 > λ2 ) とすると，λ1 >> λ2 またはλ1 << λ2 の場合，その点はエッジ上にあると判断できる．これらの絞り込みを行った結果をFig.4 に示す．

特徴点の絞り込み

2.3

Fig.3 のままでは特徴点が多く，DoG 値が小さい点やエッジ上の点が含まれている．これらの点はノイズや背景の影響を受けやすく特徴抽出に不向きな特徴点である．そこで，コントラストによる絞り込みと主曲率による絞り込みで不要な特徴点を削除する．
まずコントラストによる絞り込みでは DoG値によって特徴点の削除を行う．DoG 値とは式

オリエンテーションの決定

検出された特徴点に対して特徴点を比較する要素である特徴量の記述を行う．まず，検出された特徴点のオリエンテーションを求める．オ
リエンテーションとは特徴点における方向を表し，特徴量記述の際にオリエンテーションにより向きの正規化を行なうことで，回転不変な特徴量となる．オリエンテーションの決定は，検–3–

Fig. 5

Haar 型フィルタ
Fig. 7

特徴点マッチング結果る．これにより回転に不変な特徴を得る．次に，定めた周辺領域を 4 × 4 のブロックに分割し，各ブロック内で勾配 (dx, dy) を計算する．そして各ブロック内でFig. 6∑

dx,∑|dx|,∑dy,∑|dy| を求めることにより，4 × 4 × 4=64 次元の特徴量

オリエンテーションの決定が得られる．

出された特徴点の位置から，直径が検出された特徴点のスケールサイズ σ × 6 の円領域内で勾3.

特徴点のマッチングと道路標識認識

配方向 (dx,dy) を Haar 型フィルタにより求め，それらを用いて決定する．Haar 型フィルタとは道路標識を認識する場合，カメラから得られFig.5 に示すようなフィルタである．求めた勾配る入力画像から特徴点を検出し，特徴量の記述(dx,dy) を Fig.6 のようにプロットし，灰色の部を終えたら，認識したい画像 (テンプレート画分を 15 度ずつ回転させながら，灰色の中の点を像) にも同様の処理を行い，それぞれの特徴点式 (5) で計算する．そして M n の値が一番大きの比較を行う．他の特徴点より際立って同じよい時の角度をオリエンテーションと決める．

うな特徴量を持った点であれば，Fig.7 のように

Mn =

∑

dx2 +∑dy 2(5)

一致させる (特徴点のマッチング)．そして，一致した特徴点が認識したい標識に多く集まっていれば，テンプレート画像が入力画像中に存在2.4

すると判断する．

特徴量記述

特徴点のスケールとオリエンテーションを元に，64 次元の特徴量の記述を行う．特徴量の記4.

エッジ画像と色情報を用いた SURF

述は検出された特徴点の周辺領域の勾配で計算

SURF による道路標識認識では，標識とのマッする．周辺領域の範囲は，一辺が検出された特チング点数が多いほど判断材料が増え，標識認徴点のスケールサイズ σ × 20 の正方領域であ識・識別が行いやすくなるため，マッチング点る．そしてこの領域をオリエンテーション方向数を増加させることが課題となる．そこで，特に回転させ，この向きにあわせた勾配を計算す

徴点検出にエッジ画像と色情報を用いた SURF

–4–

を提案し，性能の向上を図る．また，SURF を用いて道路標識認識を行う場合，道路標識が回転していることは希なため，オリエンテーションの決定の処理は省略する．

4.1

エッジ画像を用いることによる特徴点増加(b) エッジ画像(a) 入力画像

画像認識は検出したい特徴点が多いほど，テFig. 8

入力画像とそのエッジ画像

Fig. 9Dxx フィルタリング処理

ンプレート画像と一致しているかの判断要素が増えるので精度が向上する．そこでそのままの入力画像から特徴点検出するのではなく，Fig.8(b)のような入力画像からエッジを検出した画像に対して特徴点検出を行うことで，特徴点を多く検出させる．
特徴点検出処理ではヘッセ行列が使用され，DoG 画像の作成が行われる．ここで，近似したヘッセ行列の要素 Dxx の働きを Fig.9 を基に考える．Dxx フィルタは Fig.1(b) の Dyy フィルタを 90 度回転したものである．Fig.9 の灰色部は画素値 0 であり，白い部分はエッジを表している．Dxx フィルタのサイズを変更しエッジにフィルタリングすると，結果は Fig.10 のようになる．フィルタサイズが大きいほど，早い段階でフィルタがエッジ上を通るので，より左側から微分の値が出始める．またフィルタサイズがFig. 10大きいほど，多くのエッジの値を取り込むのでフィルタリング結果より大きな値となる．Fig.2 のように特徴点はDoG 画像 3 枚一組で，2 枚目の注目画素が極値る．また，標識に描かれるシンボルもはっきりである場合に検出される．Fig.10 においても四と色分けされているためエッジが検出しやすい．

角い影の部分のように，前後のフィルタ出力結ゆえに，標識上に多数の特徴点を検出できるの果より大きい値をとる場所 (極値) が存在する．

である．例として，Fig.8(a) からは 39 点の特徴式 (4) よりこの Dxx の値が DoG 値に影響する点が検出されるが，Fig.8(b) からは 472 点ものので，四角い影の部分の位置が極値となりやす特徴点が検出される．

い．すなわち，エッジとなる局所領域で特徴点検出を行えば，エッジの両側に特徴点が検出さ4.2

れる．
道路標識は視認性を高めるように目立つ色で着色してあり，背景との境界がはっきりと現れる．つまり背景と標識の間にはエッジが存在す

色情報による特徴点の絞り込み

エッジ画像を用いることにより特徴点数が増え，比較対象は増加したが，認識したい物体以外の部分，例えば道路標識以外の部分に現れる特–5–Fig. 11

入力された風景画像

Fig. 13 青空の削除・クロージング処理・メディアンフィルタ適用後回禁止 (Fig.8(a)) のような白い部分が含まれる
標識では隙間ができてしまい，このままでは標識の中に現れた特徴点まで削除してしまう．そこでこの隙間を埋めるため，クロージング処理を行う．そして，ごま塩ノイズを除去するメディアンフィルタを適用した結果が Fig.13 である．
また，画像から青を抽出するため青空まで検Fig. 12出してしまう．抽出された青空部分に現れた特徴

赤青抽出画像点を削除するために，赤と青を抽出した Fig.12
徴点の数も増加している．この余分な特徴点が多いと特徴点の比較に多くの時間がかかってしまう．そこで色情報を用いた特徴点の絞り込みを新たに行う．
道路標識は主に，赤，青，白から構成されている．したがって画像から赤と青を検出し，その部分の特徴点以外を削除する．白を検出しなの画像の処理段階で，標識の大きさよりも大きい局所的範囲で，すべて白であったら空と判断しその点の特徴点は削除する，という処理を追加する．
このように色情報を用いた処理の追加により，標識外の部分に現れた特徴点を削除し，標識上に多くの特徴点を残すことが可能となるのである．

いのは，風景画像には雲などの白いオブジェク

5.

トが多く存在するからである．
画素を一つ一つ注目し，RGB 成分のうち，Rが G と B それぞれよりも画素値が 30 離れている場合は赤，B が R と G それぞれよりも画素値が 30 離れている場合は青と判断する．画像

Fig.11 から赤と青のみを抽出した画像を Fig.12に示す．Fig.12 の白色以外に現れた特徴点を削除すれば，標識だけに特徴点が現れる．

提案型 SURF での処理結果

エッジ画像と色情報を用いた提案型 SURF での処理結果を示す．Fig.14 は入力画像のエッジ画像から特徴点を検出した後に，色情報によって絞り込まれた特徴点である．各円の中心に特徴点が存在する．Fig.15 は提案型 SURF によるマッチング結果である．Fig.7 と比較すると，標識とマッチングがとれている数が増加している

しかし画像から赤と青のみを抽出したため 転ことがわかる．

–6–Table 1
SURF
認識率 [%]
処理時間 [s]6.
Fig. 1425.014.86

性能比較

SURF+エッジ画像
58.3
47.05

提案型 SURF

58.3
29.93

まとめ

本報告では SURF の高性能化を図るために，色による特徴点絞り込み後の特徴点エッジ画像と色情報を用いた SURF を提案した．
そして，道路標識認識を例に性能評価を行った．
エッジ画像を使用することで，検出される特徴点の数を増加させ，色情報を用いることで不要な特徴点を削除する．これにより処理の増加，特徴点数の増加に伴う処理時間の増加を抑えつつ，認識率を高めることができた．
今回は道路標識認識を例に処理を行ったが，道路標識以外を認識する場合，色による判断が有Fig. 15提案型 SURF によるマッチング結果効であるとは限らない．しかし，検出したい物体以外の部分に現れた特徴点を削除する手法は有効であり，特徴点を物体上に多く残すことで，従来の SURF と提案型 SURF の性能の比較認識率の向上が可能であると考えられる．今後を示す．評価項目は画像の認識率と処理時間での課題としては，物体上に多くの特徴点を残すある．標識の認識基準は，認識したい標識との手法の検討やハードウェア化による処理の高速マッチングが 3 点以上とれている場合である．

化が挙げられる．

評価は Intel Core i7-3770 3.4GHz CPU，MathWorks 社 Matlab を用いて行った．用意した入力画像は 26 枚であり，画像サイズは 480 × 640

参考文献である．これらの画像と標識のテンプレートとの間でマッチングを行った．処理時間は平均値である．評価結果を Table1 に示す．
提案型 SURF は従来の SURF に比べ，認識率を大きく向上することができた．さらに，エッジ画像に加え，色情報も用いることにより，処

1) David G.Lowe ”Object Recognition from Local Scale-Invariant Features”, Proc. of theInternational Conference on Computer Vision,Corfu Sept. 1999.
2) Herbert Bay, Tinne Tuytelaars, Luc Van
Gool ”SURF: Speeded Up Robust Features”,
computer vision-ECCV Lecture Notes in
Computer Science, 20063) 今野峻一, 恒川佳隆, ”SURF 特徴点検出を用いた道路標識検出アルゴリズムの検討”, 平成 24
年度第 3 回情報処理学会東北支部研究会

理時間の増加が抑えられた．

–7–