Random Forest の高精度化と画像応用に関する研究
三品 陽平

指導教授：藤吉 弘亘

1. はじめに本研究では，Random Forest[1] の高精度化と画像応用に関する研究について取り組んだ．本稿では，Random Forestの高精度化として追加学習に関する研究について述べる．統計的学習手法により，識別器を学習する際は汎用的なデータセットを利用する場合が多く，多数のデータセットが公開されいる．しかし，汎用的なデータセットを用いて学習した識別器は，実利用シーンにおいて誤識別サンプルが存在する．それは，学習用サンプルと識別用サンプルの性質が異なるため，例え学習サンプルに対して高精度に識別可能であっても実利用シーンにおいて誤識別する可能性がある．実利用シーンにおいて誤識別を抑制する方法として，追加学習が有効であると考えられる．追加学習は，実際に誤識別サンプルを収集し正しいラベルを与え，識別器が誤識別サンプルを正しく識別できるように学習する．その際に重要な点は，学習サンプルに対しても識別を誤らないことである．Random Forest は，木構造を利用しサンプルを分割し識別する．追加学習の際に，誤識別する末端ノードのみを更新することで，識別器の変更を最小に抑えて誤識別サンプルに適応できると考えられる．そこで，本研究では Random Forest における追加学習を提案する．

2. 追加学習型 Random Forest
提案手法の学習アルゴリズムについて説明する．提案手法は，まず学習サンプルと誤識別サンプルをすべての決定木に入力する．その後，図 1 に示すように，すべての決定木を走査し，誤識別サンプルのクラス確率が低い末端ノードを更新する．追加する分岐関数は特徴選択型の分岐関数
か事例型の分岐関数を用いる．そこで，以下にその説明を述べる．
特徴選択型の分岐関数
特徴選択型の分岐関数は，事前に算出した特徴量を参照するか，各ノードにおいて特徴量を抽出した値としきい値を比較する．分岐関数は参照する特徴次元とそのしきい値をランダム選択した候補の中から情報利得を基に選択する．
図 2(a) に特徴選択型の分岐関数を示す．図 2(a) では，入力した画像から Haar-like フィルタにより特徴抽出し，しきい値と比較している．
事例型の分岐関数
分岐関数に事例を用いる分岐方法が提案されている [2]．図2(b) に事例型の分岐関数例を示す．事例を用いた分岐関数
は，学習サンプルの中からテンプレートを選択し，識別時にはテンプレートと入力サンプルの距離を計算することでサンプルを分岐させる．距離計算では，様々な計算方法が考えられるが，単純にユークリッド距離を使用することもできる．追加学習において，実利用シーンの誤識別サンプ
ルは汎用データセットの例外的なサンプルが多いと考えられる．また，誤識別サンプルの収集にはコストがかかるためより少ないサンプルを用いて追加学習するためには，統図 2 : 分岐関数例
計的な学習方法よりも事例型の分岐関数がよいと考えられる．そのため，追加ノードの分岐関数は事例型の分岐関数を使用する．情報利得が 0 になる場合に末端ノードを生成する．

3. 評価実験
提案手法の有効性を評価するために評価実験をする．評価実験は 2 つのデータセットを用いて評価する．1 つ目は，マルチクラス問題であるナンバープレートの陸支コード認識を対象とする．2 つ目は，2 クラス問題である人検出を対象とする．

3.1 ナンバープレートの陸支コード認識実験
まず，陸支コードの認識実験について説明する．自動車のナンバープレートを撮影した画像から陸支コードを切り出し，切り出し画像のクラス (陸支コード) を認識する問題である．陸支コードは，105 種類あるため 105 クラスの分類問題として扱う．学習パラメータは，木の数は 25，木の深さは 20，特徴次元選択回数は 100，しきい値選択回数
は 200，サブセットサイズを 75%とする．比較手法は，追加学習が容易な k-Nearest Neighbor 法，Random Forestを再学習する手法，追加学習を比較する．提案手法である
追加学習は，特徴選択型の分岐関数と事例型の分岐関数を用いて追加する手法を比較する．
データセット図 3 にデータセットの陸支コードの一例を示す．本実験に使用するデータセットは，学習用に各クラス約 3000 枚，追加学習用に各クラス約 500 枚，評価用に各クラス約 500 枚づつある．画像は，照明変化，幾何変化をランダムに与えた自動生成画像を含める．また，学習用と検証用，評価用には同じ画像は含まれない．

図 3 : 陸支コードのデータセット例
特徴量
本実験には，Haar-like フィルタを用いる．Haar-like フィ
ルタは，画像の局所領域の総和の輝度差を応答値としている．Random Forest の分岐ノードでは，応答値としきい値を比較することで左右に分岐する．分岐関数は，フィルタパターン，サイズ，位置を情報利得を基に選択する．
図 1 : 決定木の更新

実験結果
追加学習用サンプル内で，誤識別したサンプルは 4361 個存在した．誤識別サンプルから重複なしのランダムサンプリングし，追加するサンプルの割合を 1%-10%まで変化させた場合の F 値を図 4 に示す．k-NN 法や再学習法では，追加サンプルを 10%まで増加させても識別性能の向上は限定的である．しかし，提案手法である追加学習は誤識別サンプルのうち 2%を追加することで F 値が 7%向上した．図

図 6 : 追加学習時間

図 4 : 追加学習による認識性能の変化

5 に，追加学習後の ConfusionMatrix を示す．ConfusionMatrix は，行方向に入力クラスを示し，列方向に出力結果を示している．確率が高いほど赤くなり，低いほど青くなる．そのため，対角成分が赤いほど識別精度が高いことを示す．追加学習前では，誤識別しているクラスが存在しているが，追加学習後はほぼすべてのクラスにおいて 100%正解している．図 6 に追加学習時間を示す．誤識別サンプル

ティブ 2,640,461 枚を使用し，評価用サンプルはポジティ
ブ 556 枚，ネガティブサンプル 2,583,544 枚を使用する．
特徴量
特徴量には，人検出に多く利用されている Histograms ofOriented Gradients(HOG) 特徴量を用いる．HOG 特徴量
は，画像をセルと呼ばれる局所領域毎に勾配方向ヒストグラムを作成し，複数のセルを正規化することで，照明変化や幾何学的変化に対する不変性を獲得している．本研究で用いる画像は 128 × 64 画素であり，セルを 8 ピクセル，ブロックを 2 セル，勾配方向を 9 方向とし算出される HOG
特徴量は 3780 次元となる．
実験結果
検証用サンプルに対して Random Forest による未検出サ
ンプルは 30 枚存在し，誤検出サンプルは 41983 枚存在した．その中から重複せず，1%-3%をランダムサンプリングし，追加学習サンプルとした．図 7 に DET カーブを示す．
図より，Random Forest に誤識別サンプルを追加し学習することで識別性能が向上している．
HOG+SVM

HOG+RF

追加学習(1[%])

追加学習(2[%])

追加学習(3[%])

0.01

0.1

1

0.1

0.01

0.001
0.00001

0.00010.001

1

図 7 : DET カーブ

4. おわりに

図 5 : 各手法の学習後の ConfusionMatrixを用いた再学習は，1666[分] 以上学習時間が必要なのに対して，追加学習は 16[分] 以下の時間で学習が可能である．

3.2 人検出実験
次に，提案手法が 2 クラスの人検出問題でも有効であるか評価実験を行う．識別精度の評価には Detection Error
Trade-oﬀ(DET) カーブを用いる．DET カーブは横軸にFalse positive per window，縦軸に Miss rate を表しており，原点に近いほど高精度であることを表す．比較手法として，SVM と比較する．
データセット
データセットには INRIA Person Dataset を用いる．学習用サンプルにはポジティブ 2,416 枚，ネガティブ 13,161 枚を使用する．検証用サンプルにはポジティブ 566 枚，ネガ

本研究では，Random Forest における追加学習を提案した．木構造を利用するため，識別器の更新を抑え学習サンプルへの影響を抑制しながら，効率よく学習する追加学習を実現した．また，複数の評価実験により提案手法の有効性を示した．今後は，能動学習の考えを取り入れ追加するサンプルの選択を導入し更なる効率化を目指す．

参考文献[1] L. Breiman， Random Forests”, Machine Learning, vol. 45,no. 1, pp. 5-32, 2001.
[2] D.Tang, Y. Liu, and T. K. Kim, Fast Pedestrian Detection
by Cascaded Random Forest with Dominant Orientation
Templates.”, BMVC, 2012.

研究業績[1] Yohei Mishina, Masamitsu Tsutiya, Hironobu Fujiyoshi,
Boosted Random Forest”, International Conference on
Computer Vision Theory and Applications, 2012.
（他 学会口頭発表 5 件）

受賞
[1] 電気関係学会東海支部連合大会 学生奨励賞