Boost 学習に基づく特徴量の貢献度の評価に関する研究
画像認識講座土屋 成光

1.はじめに近年，一般物体認識分野では，特徴量を入力とした識別器を構築する方法が用いられている．これらの識別器には非線形な識別境界を構築できるものが有用とされ，代表的なものとして AdaBoost，Support Vector Machines(SVM)等が挙げられる．しかし，対象の認識に対してこれらの識別器へどのような特徴量を入力すればよいか，また，各特徴量がどれだけ有効であるか定量的評価は難しい．そのため，特徴評価を行うことが重要である．そこで，本研究では Boost 学習により実際に得られる弱識別器とその重みを用いて，簡易に非線形な識別境界の構築に際して有用な特徴量評価を行う手法を提案する．

2.Boost 学習に基づく特徴量の貢献度
Boost 学習による識別器は，そのアルゴリズムによって有用な特徴量を多く，不要な特徴量を少なく判断に利用するよう構築される．これは，Boost 学習による識別器自身による特徴評価である．Boost 学習を行う際の弱識別器を各特徴量と関連付け，学習の結果得られる重みを考慮することで，実際に識別に対してその特徴量が貢献した度合いを求める．弱識別器は 1 特徴量のみを用いた識別器とする．

2.1.AdaBoost による学習
各識別対象毎に特徴量の評価を行うため，単純に 2 クラス識別器 H(x) を H A , H B , H C , H D · · · のように各クラス
class = {A, B, C, D, · · ·} に対して構築し，各クラス毎に学習過程で選択された弱識別器に着目する．まず，各クラスに対して，対象クラスかそうでないかを出力とする 2 クラス識別器 H c を構築する．c は対象クラスのラベルである．このとき，他クラスの positive サンプルを自クラスにおいて negative サンプルとして学習する．
AdaBoost の学習による弱識別器 h の生成は，まず，学習サンプルから両クラスのヒストグラムを特徴量 p 毎に求め，次に，それら全てに対して誤識別率を最小とする閾値
th を探索することで行う．学習回数 t 回目における弱識別器 hp,th(x) は，図 1 中（c）のように t − 1 回目の学習結t果に基づいて重み付けされたデータに対して，特徴量集合P 全てについて閾値探索を行い，最良の識別率が得られる
特徴量 p とその閾値 th を採用する（1 式）．
Xargmin
hp,th(x)={δ(y,sgn(xpi − th))} (1)Kit(0 ≤ th, p)i

AdaBoost では，識別関数 ht (x) が誤識別を起こしたデータを重視して再学習を行う．この処理をラウンド数 T回反復し，生成された識別器群の識別関数のアンサンブルによって最終的な識別関数を生成する．最終的な識別関数
HT (x) は次式で表される．X
THT (x) =αt ht (x).
(2)

指導教授

選択された各特徴量の弱識別器から，貢献度 Cp を以下のように定義する．
TX
Cp =αt′ · δK [P (ht ), p](3)t−1′ここで，α は識別器において重み α を次式のようにその総和で正規化したものとする．
αtαt′ = PT(4)i=0 αiP (ht ) は，ht に採用された特徴量を求める関数である．
この Cp を各クラス識別器において選択された弱識別器群から求めると，特徴量 p がその識別器の識別能力にどの程度貢献するかを示す指標となる．このような特徴量の貢献度を予め求めることで，より多くの学習サンプルを用いて長時間の学習を必要とする高性能な他の識別器（SVM 等)を構築する際の特徴選択の指針とできる．

3.比較評価実験
従来法との比較として，特徴量に対する従来法，提案手法による各評価値と，その特徴量を除いた際の SVM 識
別器の識別性能の変化の相関性によって評価を行う．相関性が高いほど有効な評価値であるといえる．従来法としては，principal component analysis(PCA)，multiplediscriminant analysis(MDA) を用いる．
PCA は，得られた寄与度を各特徴量のスコア Cppca へ式 5 によって変換する．因子負荷量 LÃ i,j は，第 i 特徴ベク
トルと第 j 主成分ベクトルとの相関係数であり，N は成分数である．
MDA の評価値は特徴軸の判別への重要度を表す偏 F 値
Nを用いる．
XCppca =λj Lp,j(5)j=1

3.1.識別問題
特徴評価を行う識別問題として 3 種の問題を扱う．
問題 1. 人工データによる識別問題
それぞれがオーバーラップを持つ，f1，f2，f3 の 3 種の特徴量を用いて構成した 2 クラス識別問題を用いる．
問題 2. CU database による物体識別問題
物体画像を自動車／人／複数の人／自転車の 4 クラスに識別する問題である．識別器への入力特徴量としては，表1 に示す 7 種類を用いる．
表 1 : 入力特徴セット：問題 2 CU database
形状
テクスチャt=1

ここで，αt とは t 番目の弱識別器による識別結果の信頼度を表し，最終的な識別に対して弱識別器 ht の結果が影響する度合いである．以上のアルゴリズムを図 1 に示す.
Algorithm The Adaboost algorithm
1. Input: n, Training dataset (xi , yi )2. Initialize: w1 (i) = 1/n(i = 1 · · · n), h0 (x) = 0Pn
3. Do for t = 1, . . . , T. ϵt (h) =i I(yi ̸= h(xi ))wt (i)(a) ϵt (h(t) ) = minϵt (h)(b) αt = 12 ln(1−ϵt (h(t) )ϵt (h(t) ))(c) wt+1 (i) = wt (i) exp(−αt h(t) (xi )yi ))4. Output: Final hypothesis with weights αtTXsign(Ht (x)), where HT (x) =αt ht (x)t=1

図 1 : Adaboost 学習アルゴリズム

時間

特徴ベクタ数
縦横比と主軸の傾き (AS)2
複雑度 (CS)1
垂直方向エッジ (V)2
水平方向エッジ (H)2
右上がり方向エッジ (R)2
左上がり方向エッジ (L)2
オプティカルフローの分散 (OF)1

問題 3.caltech 101 database による画像分類問題
caltech 101 database 内より airplanes，car side，Faces，Motorbikes の 4 クラスに非物体画像である BACKGROUND Google を加えたデータを入力とし，それぞれを識別する．また，表 2 に示すような 17 種の特徴量を用いる．問題 3 に対しては，背景，物体サイズの影響などが存在する
ため，問題 2 で用いた大域的な特徴量と異なり Low-levelな特徴を用いる．
表 2 : 入力特徴セット：問題 3 caltech 101 database
テクスチャ

2.2.特徴量の貢献度
弱識別器として選択された特徴量と，その弱識別器の正規化後の重みである α′ は，その識別対象クラスの識別に重要な要素である．そこで，学習後の AdaBoost において

藤吉弘亘

カラー

特徴LMﬁltrer(4 方向 ×2 の Gaussﬁlter+Gaussﬁlter+2 スケールの LOGﬁlter)
RGB
HSV

ベクタ数
各 10243×10243×1024

0.7

0.11

0.4

0.1

0.5

0.09

0.4

0.08

0.3

0.07

0.2

0.06

0.1

0.05

00.04
f1

f2

HUURUUDWH

0.6

0.35
0.30.350.3

PCA

MDA

Error rate

0.12

0.32

0.1

0.3

0.08

0.28

0.06

0.26

0.04

0.24

0.25

0.25
0.2

0.2

0.15
0.1

0.15

0.02

0.1

00.05
0f3

AS

IHDWXUHVHWၥ㢟

VH

R

LCOF

HUURUUDWH

0.45

HUURUUDWH
FRQWULEXWLRQUDWH

0.12

FRQWULEXWLRQUDWH

FRQWULEXWLRQUDWH

proposal method
0.8

0.22

2

2

2

2

2

2

2

2 *)

/

/

+695

*%

0.2

IHDWXUHVHWၥ㢟IHDWXUHVHWၥ㢟

図 2 : 従来法との比較

3.2.比較評価結果
各問題に対する提案手法による評価値，PCA で得られた評価値，MDA で得られた評価値，識別性能の変化をそれぞれ特徴量ごとに図 2 に示す．図より，問題 1 において提案手法が最も識別性能の変化をよく表現できていることがわかる．また，問題 2 において従来法と提案手法はよく似た傾向を持つ．しかし，表 3 に示す相関係数の値をみると，提案手法が最も識別性能の変化を表現できていることがわかる．ここから，提案手法は従来法に対し表現力の高い，有効な特徴評価であると考えられる．最後に問題 3 に関しては，提案手法，従来法ともにあまり高い精度で評価できなかった．ここから，提案手法は Low-level な特徴量に対して高精度に評価することができないことがわかる．
しかし，前述の問題 1，2 と合わせて平均を用いて評価すると，提案手法は従来法より総合的に有効な特徴量評価法であるといえる．
表 3 : 各問題に対する評価値と識別性能の相関係数
問題 10.91-0.110.76

提案手法
MDAPCA問題 20.790.630.55

問題 30.25-0.050.26

平均0.650.160.52

4.最適化に対する頑健性
提案手法は，Boost 学習時の弱識別器の持つ重みを特徴毎に分類することで得られる．しかし，Su らは逐次的に与えられた弱識別器より得られた特徴量の貢献度を，弱識別器の重みを最適化することで同等性能且つ，より少ない弱識別器数の識別器を実現している [2]．識別への評価値はこのような最適化を行っても不変性を持つべきである．そこで，進化戦略アルゴリズム（EA）により再配置した弱識別器の重みに対して貢献度を求め，学習直後の重みによる貢献度と比較を行う．

4.1.最適化実験
まず，学習後の弱識別器 700 個とその重みに対して，学習直後と EA を用いて重みの再配置を行う．次に，それぞれより貢献度を算出し，その相関係数の大きさより評価する．相関係数が大きければ両貢献度は類似しており，最適化による影響は少ないと考えられる．なお，再配置の結果，弱識別器数は 58 個削減され，大きく異なった重み配置が得られている．

4.2.実験結果
図 3 に，学習直後と EA を用いて再配置を行った後のそれぞれより算出した貢献度，また，その相関係数を示す．
図から，両貢献度間には相関係数 0.97 という大変強い相関があることがわかる．これは，識別に対する大域的最適化により，弱識別器単位では重みが大きく変動するが，特徴量単位で見れば殆ど変化は無いことを示している．ここから，提案手法により識別境界に有効な評価値が得られると考えられる．
FRQWULEXWLRQUDWH

0.35Ꮫ⩦┤ᚋ෌㓄⨨ᚋ

0.30.25┦㛵ಀᩘ 

0.2
0.15
0.1
0.05
0AS

CS

VH
R
IHDWXUHVHW

LOF

図 3 : 学習直後と再配置後の貢献度の比較

5.貢献度の応用例：学習後の識別器の調整
貢献度の利用法として，学習後に貢献度に基づいた調整によりオープンデータへ対応可能な識別器を提案する．
実際の物体識別において，学習サンプルデータと設置現場でのオープンデータの違いから識別性能が低下する問題がある．この問題への対処には，学習サンプルデータにオープンデータを加え，識別器を再学習することが一般的である．しかし，システムの納入現場において，再学習による早急な対処は難しい．そこで，貢献度を参考に，識別対象と各特徴量に対して性能を調整可能な識別器を考える．

5.1.学習後に調整可能な識別器
2 章で述べた物体識別器は，1 特徴量の閾値判別の結果を重みつき多数決している．その弱識別器の閾値を特徴量毎に調整することで，学習後の識別器をオープンデータに対応させる．具体的には，式 6 に示すように，AdaBoost
学習後に得られた弱識別器における閾値 th を ∆th により調整することで，弱識別器の感度を変更する．
ht (x) = sgn {x − (th − ∆th · δK [P (ht ), p])} (6)複数のクラス間で貢献度の高い特徴量を優先的に調整することで，オープンデータに対して迅速に対応できる．

5.2.調整実験
貢献度を用いた調整実験を行う．問題 2 に対して構築した識別器はオープンデータに対して，HG の一部が SH に誤識別されることが多く，全体の識別性能を低下させていた．そこで，図 2 に着目し，SH，HG 間で最も貢献度が高い特徴である AS について HG の識別感度を調整した．表4 に，貢献度に基づいた調整後 (a)，調整前 (b)，それぞれのオープンデータに対する識別性能を示す．何も調整しない (b) に対して，貢献度の高い特徴のみを調整した (a) は，HG クラスの識別性能を 15%向上させつつ，他クラスへの悪影響が少ないため，総合的な識別率が向上していることがわかる．
表 4 : オープンデータへの調整 [%](a) Cp に基づいた調整
(b)
無調整

VH
100.0
100.0

SH
83.0
86.0

HG
88.073.0

BK
88.0
88.5

Total
89.1
86.7

6.おわりにBoost 学習により貢献度という新たな特徴量の評価値を得る手法を提案した．識別器の識別性能の変化との比較により，提案手法が PCA，MDA といった従来法より線形判別不可能，大域的な特徴量を用いたケースにおいて高い表現力を持つこと，Low-level な特徴に関しては従来法と同じく低精度であることを示した．また，EA よる最適化実験により，最適化の前後において貢献度が不変であることを示した．以上より，本手法の特徴評価は物体識別のための特徴評価として有効な手法であるといえる．最後に，提案した貢献度の応用例として，学習後に調整可能な識別器への応用例を示した．今後は，特徴間の共起性を表現した評
価，複数の Boost 学習手法間での比較を行う予定である．

参考文献[1] Y. Freund and R.E. Schapire : “A decision-theoreticgeneralization of on-line learning and an application toboosting”, Journal of Computer and System Sciences,Aug, 1, 55, 119-139, 1997.
[2] Jun-Su. Jang, Jong-Hwan. Kim : “Evolutionary Pruningfor Fast and Robust Face Detection”, Evolutionary Computation. CEC 2006. IEEE Congress on, p.1293-1299,
2006.

研究業績
[1] M. Tsuchiya, H. Fujiyoshi : “Evaluating Feature Importance for Object Classiﬁcation in Visual Surveillance”, 18th Int’l Conf. on Pattern Recognition(HongKong/China), pp. 978–981, 4 pages (Aug. 2006).
(他 学会口頭発表 3 件)