第 16 回画像の認識・理解シンポジウム

共変量シフトを用いた Random Forest による転移学習土屋成光1,a)1. はじめに藤吉弘亘1,b)Training Samples

Subsets

Decision Trees

Target domain

Random Forest (RF) [1] はランダムネスにより高い汎Updating covariate loss λ化性能をもつマルチクラス識別器である．コンピュータ
ビジョンの分野では，画像分類，セマンティックセグメン
テーション，キーポイント検出，人検出などに利用されている．しかし，物体検出においては学習時と実際に使用すAuxilialy domain weightedλTarget domain

る環境でのデータの分布が一般に異なり，その性能低下を招く．そのため，実際に使用する対象のシーンでサンプル

Updating covariate loss λを再採集する必要があるが，これは非常に人的コストが高い．サンプル収集では，サンプル画像内の物体の位置やス

Auxilialy domain weightedλ

な，異なる分布を持つ複数ドメイン（目標ドメイン，事前~~ケールを揃えることが求められるためである．このようTarget domainドメイン）のサンプルに対し，一方から一方へ「転移」を行うことで効率的にシステムを構築する，転移学習手法が提案されている [2][3]．これらは，物体検出問題において，目的とするシーンからの新規データの再収集をより省力化

Auxilialy domain weightedλ

図 1 転移学習を導入した Random Forest の学習

し，少数の目標シーンサンプルと多数の事前シーンサンプ
ルによって，シーン間のカメラ俯角や照明の差異に対応している．そこで本稿では，RF への，共変量シフトによる転移学習 [3] の導入を提案する．

2. 共変量シフトを用いた Random Forest による転移学習
提案手法では，学習前に事前ドメインとそれを学習したRF を既得とし，事前ドメインと目標ドメイン両方のサンプルを学習する．その際，両ドメインのサンプルは木毎

2.1 Random Forest への共変量損失 λ の導入
Forest の構築は RF 同様ランダムに特徴を選択し，末端ノードに到達した学習サンプル群から c ∈ C, p(c|x) によってクラス確率を生成する．重み λ は Phang らの提案する

Covariate shift Boost[3] で用いられているものをマルチクラス識別器である RF に合わせ次式で求める．

λj =1 + ePa (ck |L,xj )1 + ePt (ck |L,xj )(1)に同数，ランダムに選択され，サブセットを構成する．学

ここで，ck は事前サンプル xj の正解クラスラベル，L は習過程において，目標ドメイン Xt 3 xi と事前ドメイン到達したリーフノード，Pa (ck |L, xj ) は既得の事前ドメイ

Xa 3 xj の分布の差に応じて事前ドメインに λ による重みンサンプルによって学習された RF の正解ラベル確率，付けを行い，事前ドメインサンプルに重み付けを行う．こPt (ck |L, xj ) は現在構築中の Forest の正解ラベル確率であれにより，目標ドメインの学習に有効な事前ドメインサン

る．これにより，学習中，目標サンプルに不足している事プルを取り込み，齟齬のあるサンプルの影響を低減する．

前サンプルを重視し，目標サンプルと齟齬のあるサンプル

学習の流れを図 1 に示す．

をリジェクトする．

2.2 λ を用いた木構造の分岐関数
木構造の分岐関数は，Covariate lossλ を考慮して事前サ
1a)b)

中部大学，〒 487–8501 愛知県春日井市松本町 1200
tsuchiya@vision.cs.chubu.ac.jp
hf@cs.chubu.ac.jp

ンプルについては重み付きで評価を行う．Forest の分岐関数の評価式は次式で示される．

1

第 16 回画像の認識・理解シンポジウム∆E =|Il ||Ir |E(Il )
E(Ir )|I||I|(2)

Miss rate [%]E(Il )，E(Ir ) は選択された分岐関数候補におけるシャノンのエントロピーである．シャノンエントロピーは次式で示される．

E(I) =C∑proposed transfer forest

P (ck ) log P (ck )100 samples
800 samples
all samples
re-train 100 samples
800 samples
all samples
multi-task 100 samples
800 samples
all samples

(3)

k=1

P (ck ) は各クラスに属するサンプルから計算されるクラス
ck のクラス確率であり，次式で計算される．
P (ck ) =Error rate [%]|Ick |t + |Ick |a.
|I|

(4)

図 2 識別精度の比較

ここで，サブセット内の目標ドメインに関する評価 |Ick |t枚，100 枚へと減少させた際の識別精度を図 2 に示す．100は通常の RF 同様分岐されたサブセット内に存在する全目枚まで減少させた際，再学習では識別性能が大きく低下し標サンプル数と，ck に属するサンプルの比に基づいて計算ており，マルチタスク学習ではその低下を軽減できている．

されるが，事前ドメインに対する評価 |Ick |a は全事前サン

それに対し，提案手法は全データを使用したものとほぼ変プル，ck に属するサンプルに対し，それぞれの λ の総和のわらない性能である．また，全データを使用するとマルチ比を求める．末端ノードが持つクラス確率についても同様

タスク学習では事前ドメインが障害となり，再学習より性に，末端ノードに到達したサンプル群から式 (4) を用いて能が低いことに対し，提案手法は性能を安定して発揮でき各クラスのクラス確率が算出される．各木の出力の結合はている．

RF と同様である．また，λ は逐次的に適応を行うため，T本の木で構成された Forest を構築する場合，2T 本の木を4. おわりに構築し後半の T 本を使用する．これは，同様に逐次的な転本稿では，共変量シフトによる転移学習を導入した RF移学習である [2] で用いられている方法と同様である．

フレームワークを提案した．提案手法は複数ドメインのサ

3. 実験

ンプルに対する効率的な学習を可能とし，実験において，再学習やマルチタスク学習に比べ，より少数のサンプルに実験として，2 つのドメインから提案手法，マルチタスおいて安定的に高精度を示した．今後は，マルチカテゴリク学習，再学習をそれぞれ行い性能を比較する．マルチタの画像分類など，マルチクラス，マルチドメイン問題におスク学習は両ドメインを足しあわせた集合を学習サンプルける性能評価を行う．また，サンプルだけでなく，事前にとし，重み付けなどは行わなず RF を構築する．再学習は構築した RF の木構造識別器群を再利用する更なる省力化

目標ドメインのサンプルのみで RF を構築するものである．

を検討する．

物体検出問題としては HOG 特徴量による人検出を用いる [4]．表 1 に，実験に用いたツリーパラメータを示す．また，パラメータは各手法で同一である．学習用画像として，
表 1 実験に用いたツリーパラメータ
Number of tree
50

Max depth of tree

5

Number of feature3780. p3780)
63(=.

Number of feature selection trial

参考文献
[1]
[2]

[3]

目標ドメインに INRIA Person Dataset[4] から人画像 2,416枚，非人画像 1,238 枚，事前ドメインに DaimlerChrysler[4]

Mono Pedestrian Detection Benchmark Dataset[5] から人
画像 15,600 枚，非人画像 67,000 枚を使用した. また，評価用画像として INRIA Person Dataset から，1,135 枚の人画像と 453 枚の背景画像を用いた．

[5]

L. Breiman. “Random forests.” Machine Learning,
45(1):5-32, October 2001
W. Dai,Q. Yang,G. Xue and Y. Yu, “Boosting for Transfer
Learning”. International Conference on Machine Learning. 2007.
J. Pang, Q. Huang, S. Yan, S. Jiang and L. Qin, “Transferring Boosted Detectors Towards Viewpoint and Scene
Adaptiveness”, IEEE Trans. on Image Processing 20(5):pp.1388–1400, 2011.
N. Dalal and B. Triggs: “Histograms of oriented gradientsfor human detection”, IEEE Conf. Computer Vision andPattern Recognition, pp. 886-893, 2005.
M. Enzweiler and D. M. Gavrila. Monocular Pedestrian
Detection: Survey and Experiments IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.31, no.12,
pp.2179-2195, 2009.

3.1 実験結果
各手法に対し，目標ドメインの人画像を 2,416 枚から 800

2