社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

共変量シフトに基づく Transfer Forest
土屋 成光†

弓場竜††

山内悠嗣††† 山下隆義††† 藤吉 弘亘†††† 株式会社セキュア 〒 160-0023 東京都新宿区西新宿 7-7-30†† 株式会社 日立製作所 日立研究所 〒 319-1292 茨城県日立市大みか町 7-1-1††† 中部大学 〒 487-8501 愛知県春日井市松本町 1200
E-mail: †tsuchiya@secureinc.co.jp, ††ryo.yumiba.xp@hitachi.ac.jp, ††† {yuu@vision., yamashita@,hf@}cs.chubu.ac.jp
あらまし 多クラス識別器である Random Forest は識別性能の高さから，物体検出や画像分類等の画像認識問題に用いられている．しかし，画像認識に用いる実際のカメラ環境において，学習時と物体の見えが異なると識別性能が大幅に低下するため，学習サンプルの再収集及び再学習が必要となる．学習サンプルの再収集は大きな人的コストを要するという問題がある．そこで，本稿では共変量シフトに基づく転移学習を導入した Random Forest を提案する．提案手法は，目標ドメインの学習サンプルが少ない場合でも，識別性能の低下を抑制することが可能となる．評価実験
より，提案手法は従来法と比べ学習サンプル数を 1/10 に減少しても識別性能を維持可能であることを確認した．
キーワード

ランダムフォレスト，転移学習，共変量シフト，物体検出，機械学習

Transfer Forest based on Covariate Shift
Masamitsu TSUCHIYA† , Ryo YUMIBA†† , Yuji YAMAUCHI††† , Takayoshi YAMASHITA††† , andHironobu FUJIYOSHI†††† SECURE, INC. Nishishinjuku 7-7-30, Shinjuku, Tokyo, 160-0023 Japan†† Hitachi, Ltd., Hitachi Research Laboratory Omika 7-1-1, Hitachi, Ibaraki, 319-129 Japan††† Chubu University Matsumoto 1200, Kasugai, Aichi, 487-8501 Japan
E-mail: †tsuchiya@secureinc.co.jp, ††ryo.yumiba.xp@hitachi.ac.jp, ††† {yuu@vision., yamashita@,hf@}cs.chubu.ac.jp
Abstract Random Forest which is a multi-class classiﬁer based on statistical learning is used in widely applications because of the ability of the high generalization performance by randomness. However, in applications such as
object detection, disparities in distributions between the training samples and the test samples from target scene areoften inevitable, resulting in degraded performance. In this case, re-acquisition of the training samples for the target
scene is needed. In this paper, we present a transfer learning for random forest with covariate shift. Experimental
results show that the proposed method can adapt for the target scene at low cost by transferring training samples.
Key words Random forest, Transfer learning, Covariate shift, Object detection, Machine learning

1. は じ め に発生しないことが求められるため，大量に収集することは大きな人的コストを必要とし容易ではない．

統計的学習法を用いて構築した識別器では，学習サンプルとこの問題を解決するには，既に収集した大量の学習サンプル

入力サンプル間に画像上の見えの違いが発生すると識別性能がから，設置環境に適応するサンプルを用いて転移学習により再低下するという問題がある．例えば，物体検出問題において学利用することが考えられる．転移学習は，事前に学習した識別器

習サンプルの収集環境と設置したカメラの俯角が異なると，大や学習サンプルを事前ドメイン，設置環境などの新たな環境を幅な識別性能の低下を招く．このような場合，設置環境におい目標ドメインと定義し，事前ドメインを利用して目標ドメインて学習サンプルを大量に再収集して再学習する必要がある．しに対する識別器の構築を効率化する手法である．転移学習を取かし，学習サンプルには画像中の位置や人の姿勢などにずれがり入れた統計的学習法として，文献 [1]〜[3] が提案されている．

—1—

図 1 Transfer Forest の流れ．

これらの文献ではカメラ視点の異なるシーンにおいて，転移学とで，少数のサンプル追加での目標ドメインへの学習を実現し習を導入することで学習サンプルの再収集コストを削減した．ている．本研究では，Covariate Boost で用いられている共変

しかし，統計的学習法として SVM や Boosting 等の 2 クラス識量損失を用いた転移学習を Random Forest に導入する．

別器を対象としており，多クラス識別問題を扱うことができな
い．多クラス識別問題における識別器には Random Forest [4]が多く用いられている [5]〜[7]．また，Random Forest は識別

3. Transfer Forest
本章では，共変量シフトに基づく転移学習を導入した Ran-だけでなく，回帰問題のための Regression Forest，密度推定のdom Forest を提案する．本稿では，これを Transfer Forest とための Density Forest 等と多くの拡張が行われている [8]．転呼ぶ．以下に，提案する Transfer Forest について述べる．

移学習に対応した Random Forest は提案されておらず，多ク3. 1 事前ドメインと目標ドメインラス問題における転移学習の重要性が高まっている．

事前ドメインの学習サンプルを Xa = {χ1 , χ2 , ..., χj } とし，そこで，本稿では Random Forest に共変量シフトを用いた目標ドメインの学習サンプルを Xt = {x1 , x2 , ..., xi } とする．

転移学習を導入した Transfer Forest を提案する．共変量シフ

このとき，事前ドメインの学習サンプル数は大量に存在し，目ト [9] を導入することで，提案手法は目標ドメインに対して省標ドメインのサンプルは事前ドメインのサンプル数と比べて少コストで適応可能であることを示す．

数であるとする．事前ドメインの学習サンプル Xa を用いて事

2. 転 移 学 習

前学習した Random Forest(事前 RF) は構築済みである．
本研究における転移学習では，事前ドメインの学習サンプル

転移学習は，既に得られているサンプルや識別器を事前ドメ

Xa と事前 RF，目標ドメインの学習サンプル Xt を用いて目標インとし，それらを利用して目標ドメインの学習を効率的に行ドメインに適した識別器を学習する問題となる．転移学習の際，う手法である．転移学習以外にも，事前ドメインと目標ドメイ

事前ドメインの各サンプルは，共変量シフトにより目標ドメインを同時に学習する手法として，両ドメインの学習サンプルをンの学習への有効性で重み付けされ，重みの低い事前ドメイン学習に用いるマルチタスク学習 [10] が存在する．しかし，明確サンプルは転移学習に利用されなくなる．に適応したい目標環境がある場合，両ドメインを目標とするマ

3. 2 Transfer Forest の学習の流れ

ルチタスク学習よりも目標ドメインの学習に事前ドメインを利Transfer Forest の学習は，図 2 に示すように以下の 4 つの用する転移学習の方が性能が高いことが報告されている [1]〜ステップで行われる．

[3]．

(Step 1) 事前ドメイン Xa ，目標ドメイン Xt から同数のサン

転移学習として，共変量シフトに基づく転移学習を AdaBoost

プルを抽出し，サブセットを作成する．に導入した Covariate Boost [3] が提案されている. Covariate(Step 2) サブセットから 1 本の決定木を学習する．ここで，サBoost は，事前ドメインの学習サンプルを目標ドメインの学習ブセット内の Xa に属するサンプルは共変量 λ で重み付けされに利用できる度合いを共変量損失 λ により求め，共変量損失はている．

次式により求められる．
1 + e−yHa (x)λ=(1)
1 + e−yHt (x)ここで，Ha は事前ドメインに対して既に学習した識別器，Ht(Step 3) 構築した決定木を Transfer Forest に加え更新する．

は目標ドメインに対して現在学習中の識別器であり，x は 1 つの事前学習サンプル，y はそのクラスラベルである．λ は事前ドメインのサンプルが目標ドメインにどれだけ適合しているか更新された Transfer Forest と事前学習した Random Forest により，共変量 λ を更新する．

(Step 4) 以上のステップを繰り返し，十分な数の決定木となるまで目標ドメインに適応した Transfer Forest を構築する．

Transfer Forest と通常の Random Forest との違いは，学習サンプルに対して重み付けと更新する点である．

を識別器 Ha ，Ht により表現し，目標ドメインに適合しているほど大きな値となる．λ に応じて事前ドメインを重み付けるこ—2—

事前ドメインサンプルの影響が小さくなるように事前ドメインサンプルの重み付けを行う．そのため，式 (7) のようにドメインごとに異なる計算でクラス確率を算出して統合することで，両ドメインのクラス確率 P (ck ) を算出する．

P (ck ) =|Λa,ck | =|I t,ck | + |Λa,ck ||I t | + |Λa |

(7)

λj(8)

∑j:yj =ck

ここで，|I t,ck | はサブセット内の目標ドメインにおいてクラスラベルが ck であるサンプルの数，|Λa,ck | は事前ドメインにおいてクラスラベルが ck であるサンプルに付与された λ の総和であり，式 (8) で算出する．また，|I t | は全てのクラスについて |I t,ck | を総和したものであり，|Λa | は全てのクラスについて|Λa,ck | を総和したものである.

図 2 共変量シフトを導入した決定木の構築．

任意の深さに達するまで分岐を繰り返し決定木を構築した
後，λ を式 (2) に基づき更新し，次の新しい決定木を作成して3. 3 共変量を用いた決定木の構築

いく．決定木の作成は，決定木の本数が任意の数に達すること決定木を構築するために，事前ドメインサンプル Xa と目標で終了する．以上の処理により，任意の本数の決定木で構成さドメインサンプル Xt から同数のサンプルをランダムサンプリれる Transfer Forest を構築することができる．

ングしてサブセットを作成する．サブセットを用いて決定木を3. 4 決定木前半部の切り捨て構築する．このとき，事前ドメインの学習サンプルは共変量を転移学習における事前ドメインサンプルの選択基準である用いて重み付けされている．2 章では，共変量 λ を式 1 に示す

λ は，初期状態では 1 が与えられ，決定木が追加される度にように Boosting による識別器の出力 H としていたが，ここでTransfer Forest と事前 RF の違いを正しく表現できるよう更新

は Random Forest の出力 P (c|x) に置き換え，次式により求される．そのため，学習の序盤に構築された決定木における λめる．の信頼性は低く，目標ドメインの学習に適合していない可能性が

1 + ePa (ck |χj )λj =1 + ePt (ck |χj )ある．Boosting に基づく転移学習の 1 つである TrAdaBoost [2](2)

ここで Pa (ck |χj ) は j 番目の事前ドメインサンプル χj を事前Random Forest に入力した際の正解クラスラベル ck の尤度，Pt (ck |χj ) は同様に構築中の目標 Random Forest に入力した際の尤度である．
一本目の決定木を構築する際は，Pt (ck |χj ) は 0 とし，λjを 1 + ePa (ck |χj ) で初期化する．分岐関数は従来の Random

Forest と同様であり，次式より左右のノードにサンプルを分割する．

は，同様の理由で T ラウンド学習した際の前半部分の弱識別器を切り捨て，後半 T /2 の弱識別器のみで識別を行っている. 本研究では文献 [2] と同様に，前半 T /2 の決定木を切り捨てることで，学習初期の悪影響を低減する．
ここまでに述べた Transfer Forest の学習の流れをアルゴリ
ズム 1 に示す．

4. 評 価 実 験Transfer Forest の有効性を評価するため，目標ドメインに事前ドメインを加えたデータ集合を用いて再学習した Random

Il = {i ∈ In |f (xi ) < t}(3)

Ir = In \ Il

(4)Forest と目標ドメインのみで再学習した Random Forest と比較する．評価実験では，人検出問題を対象とし，2 クラス分類問
題と多クラス分類問題を扱う．このとき，特徴量には HOG 特

ここで，Il と Ir は分岐された左ノード右ノードそれぞれのサ徴量 [12] を用い，Random Forest のパラメータは表 1 とする．

ンプルを表す．分岐関数の決定は，通常の Random Forest 同様にランダムに選択された特徴量としきい値に対して情報利得を算出し，情報利得が最大となる候補を分岐関数として採用する．各分岐条件候補の情報利得は次式によって算出できる．

|Il |
|Ir |
∆E =
E(Il )
E(Ir )|I||I|
E(I) =C∑

P (ck ) log P (ck )(5)

表 1 Random Forest 構築のパラメータ．
木の本数

50

木の最大深さ

5

特徴次元数

3,780

分岐ノード候補のランダム生成数

√.
63(=.

3, 780)(6)

k=1

提案手法は共変量を用いて，目標ドメインの学習に有効でない

4. 1 2 クラス分類問題まず，異なるドメイン間の 2 クラス分類問題に対して提案手—3—

アルゴリズム 1:Transfer Forest の学習

1. 入力: I 個の目標ドメイン学習サンプル Xt と J 個の事前学習サンプ
ル Xa とそれらのクラスラベル ck を用意する．事前に Xa を Random

Forest により学習し，識別器を構築しておく．
2. 初期化: 事前ドメインの重み付けとなる共変量 λj を初期化
λj = 1 + ePa (ck |χj )3. 学習:For t = 1, · · · , T//決定木の本数·Xt ，Xa から同数のサンプルを選択してサブセットを作成· サブセットを用いて決定木の学習· 末端ノードよりクラス ck のクラス確率を算出|I t,ck | + |Λa,ck ||I t | + |Λa |P (ck ) =∑|Λa,ck | =各データベースのサンプル例．

λjj:yj =ck4. 1. 2 実 験 結 果· 共変量 λj の更新
λj =

図3

目標ドメインのポジティブ学習サンプルを 2,416 枚から 800

Pa (ck |χj )枚，100 枚と順に削減した際の DET カーブを図 4 に示す．ま

1 + ePt (ck |χj )ず，図 4(a) より，目標ドメインの学習サンプルを 2,416 枚全1+eて使用した場合，提案手法と “事前ドメイン+目標ドメイン”，

End for
4. 出力: 目標ドメインに対する Random Forest
後半 (T /2 ∼ T ) の決定木のみを抽出し，Transfer Forest とする．

P (ck |x) =2TT∑“目標ドメインのみ” は同程度の性能となることがわかる．
800 枚に学習サンプルを削減した場合，図 4(b) のように “目標ドメインのみ”，“事前ドメイン+目標ドメイン” は性能が低P (ck |l)t=T /2

下した．これは，目標ドメインの学習サンプル数が削減されることで目標ドメインに対する学習が十分でなくなるためである．
一方，提案手法はその性能を維持していることがわかる．

法が効率的に学習可能であることを示す．2 クラス分類問題での評価実験は，事前ドメイン，目標ドメインの評価データとして，異なる人検出データセットを用いる．

4. 1. 1 2 クラス分類問題で使用するデータセット
本実験では，下記の 2 つのデータベースを用いる．各ドメインの例を図 3 に示す．

· 事前ドメイン：DaimlerChrysler Mono Pedestrian Detection
Benchmark Dataset [11]15,600 枚の人画像と 6,700 枚の背景画像が学習サンプルとして，56,500 の人領域を含む 21,800 枚の画像が評価サンプルとして用意されている．

· 目標ドメイン： INRIA Person Dataset [12]2,416 枚の人画像と 1,218 枚の背景画像が学習サンプルとして，1,135 の人画像と 453 枚の背景画像が評価サンプルとして用意されている．
上記の異なるデータベース間の適応問題を用いて提案手法を評価するために，以下の 2 つの手法と比較を行う．

· “事前ドメイン+目標ドメイン”
事前ドメインに目標ドメインを転移を用いず加えたサンプル集合を入力として Random Forest を学習する．

·“目標ドメインのみ”
目標ドメインのサンプルのみを入力として Random Forest を学習する．

さらに，目標ドメインの学習サンプルを 100 枚まで削減した
場合，図 4(c) より，“目標ドメインのみ” の識別性能は大きく低下する．これは，100 枚の人画像の学習ではデータセット全体の分布を捉えることはできないことを示している．また，“事前ドメイン+目標ドメイン” は性能の低下が緩やかである．これは，事前ドメイン中に存在する目標ドメインの識別に有効なサンプルを学習できたためであると考えられる．しかし，事前ドメイン中には目標ドメインの学習に適さないサンプルも多く含まれるため，2,416 枚や 800 枚での結果に比べ識別性能は低下している．一方，提案手法は高い識別性能を獲得しており，その識別性能は 2,416 枚，800 枚時と比較しても大きく低下しない．以上より，転移学習により識別に有効な事前ドメインサンプルのみを重視しながら，目標ドメインの学習に取り込むことで，目標ドメインの学習サンプルの不足を補うことができたと考えられる．

4. 2 多クラス分類問題の転移
多クラス分類問題での評価実験では，正面，右向き，背面，左向きと 90 °ずつ 4 分割した人画像データを用いる．ここで，正面と背面を同一クラスとし，正面／背面，右向き，左向きの3 クラスに背景クラスを加えた計 4 クラスをカテゴリとする．
4. 2. 1 多クラス分類問題で使用するデータセット
本実験では，事前ドメインとしてカメラの俯角を 20 °とした人画像データセットを，目標ドメインとして俯角 30 °の人画像データセットをそれぞれ用いる．また，俯角変化や角度変化を—4—

図 4 Transfer Forest と従来法の識別性能比較．

図5

多クラス分類問題のサンプル例．

任意に設定したデータを用いるため，人画像は文献 [13] の人検えの差が大きくなり，適応できない事前ドメインサンプルが多出のための生成型学習手法を用いて 3 次元人体モデルにより人く発生するためであると考えられる．提案手法は転移学習によ工的に生成した．図 5 に，各ドメイン，各クラスのサンプル画り，適応できない事前ドメインサンプルを学習に用いないこと像例を示す．

で，“事前ドメイン+目標ドメイン” に比べ性能低下を抑制でき· 事前ドメイン： 俯角 20 °
カメラの俯角を 20 °に設定し，2,416 枚の人画像と 12,180 枚たと考えられる．
さらに，目標ドメインの学習サンプルを 100 枚まで削減したの背景切出し画像を学習サンプルとして生成する．

場合，表 4 より，“目標ドメインのみ” の識別性能は大きく低下· 目標ドメイン：俯角 30 °する．特に，右向き，左向きについての識別率が顕著に低下しカメラの俯角を 30 °に設定し，2,416 枚の人画像と 12,180 枚ており，両カテゴリについて学習サンプルが十分でないことがの背景切出し画像を学習サンプルとして，同数の画像を評価サわかる．また，“事前ドメイン+目標ドメイン” と提案手法は性ンプルとして用意する．俯角の変化により，各カテゴリの見え能の低下が緩やかである．これは，目標ドメインで不足していは大きく変化する．

る右向きカテゴリと左向きカテゴリに有効なサンプルを，事前4. 2. 2 実 験 結 果

ドメインから補い学習できたためであると考えられる．しかし，目標ドメインのポジティブ学習サンプルを 2,416 枚，800 枚，事前ドメイン中には目標ドメインの学習に適さないサンプルも100 枚と削減した際の識別性能を，それぞれ表 2，表 3，表 4 に多く含まれるため，共変量を用いた転移学習を行う提案手法が示す．表 2 より，目標ドメインの学習サンプルを 2,416 枚全て高精度である．

使用した場合，提案手法，“目標ドメインのみ”，“事前ドメイン+目標ドメイン” の全ての手法において同程度の性能となることがわかる．

5. ま と め
本研究では，Random Forest に転移学習を導入した Transfer

次に，800 枚に学習サンプルを削減した場合，表 3 より，各Forest を提案し，再学習の効率化を実現した．決定木構築時に手法とも精度が低下しており，サンプル数が不足していること

共変量シフトを用いることで，目標ドメインの学習に適した事がわかる．特に，“事前ドメイン+目標ドメイン” は 72.1%と大前ドメインサンプルのみを利用して学習できる．このため，少きく性能を低下させている．これは，多クラス分類問題におい数の目標学習サンプル追加で十分な学習が可能となる．評価実てカメラの俯角が異なると，事前ドメインと目標ドメインの見験において，目標ドメイン数を 100 枚と少量にした際に，目標—5—

表 2 目標ドメインサンプル 2,416 枚を学習に用いた識別器の分類精度 [%]．
正面／背面

右向き

左向き

背景

平均

提案手法

55.8

91.0

88.1

97.1

83.0

目標ドメインのみ

60.0

90.8

88.7

98.5

84.5

事前ドメイン＋目標ドメイン

53.5

87.6

84.6

98.8

81.1

表3

目標ドメインサンプル 800 枚を学習に用いた識別器の分類精度 [%]．
正面／背面

右向き

左向き

背景

平均

提案手法

55.0

77.5

73.7

98.9

76.3

目標ドメインのみ

60.481.5

77.8

98.8

79.6

事前ドメイン＋目標ドメイン

42.9

77.8

73.2

94.6

72.1

表4

目標ドメインサンプル 100 枚を学習に用いた識別器の分類精度 [%]．
正面／背面

右向き

左向き

背景

平均

提案手法

44.4

70.9

71.9

98.8

71.5

目標ドメインのみ

47.6

28.8

43.7

98.9

54.8

事前ドメイン＋目標ドメイン

36.1

65.3

67.1

94.7

65.8

ドメインのみの再学習では著しく性能が低下するのに対して，提案手法は学習サンプルを 800∼2,416 枚使用した際と同程度の識別性能を得ることができた．これは，多くのカテゴリについて大量にサンプルを得ることが困難な多クラス分類問題において有効である．これにより，提案手法は Random Forest を

pp.2179-2195, 2009.
[12] N. Dalal and B. Triggs, “Histograms of Oriented Gradientsfor Human Detection”, CVPR, pp. 886-893, 2005.
[13] 土屋成光，山内悠嗣，藤吉弘亘, “人検出のための生成型学習とNegative-Bag MILBoost による学習の効率化”，電気学会論文
誌 C, Vol.134, No.3, pp.450-458, 2014.

ベースとした多クラス問題における学習の効率化に利用が可能である．
文

献[1] M. Wang, W. Li and X. Wang, “Transferring a Generic
Pedestrian Detector Towards Speciﬁc Scenes.” CVPR, 2012.
[2] W. Dai, Q. Yang, G. Xue and Y. Yu, “Boosting for Transfer
Learning”, ICML, 2007.
[3] J. Pang, Q. Huang, S. Yan, S. Jiang and L. Qin, “Transferring Boosted Detectors Towards Viewpoint and Scene
Adaptiveness”, IEEE Transactions on Image Processing,vol. 20, No. 5, pp.1388–1400, 2011.
[4] L. Breiman. “Random forests.” Machine Learning, vol. 45,No. 1, pp.5-32, 2001.
[5] J. Gall, A. Yao, N. Razavi, L. V. Gool, and V. Lempitsky:“Hough Forests for Object Detection, Tracking, and Action
Recognition”, pAMI, Vol. 33, No. 11, pp. 2188–2202, 2011.
[6] J. Shotton, M. Johnson, and R. Cipolla: “Semantic Texton Forests for Image Categorization and Segmentation”,
CVPR, 2008.
[7] J. Shotton, A. Fitzgibbon, M. Cook, T. Sharp, M. Finocchio, R. Moore, A. Kipman, and A. Blake: “Real-Time Human Pose Recognition in Parts from Single Depth Images”,
CVPR, 2011.
[8] A. Criminisi, J. Shotton, and E. Konukoglu, “Decision
Forests: A Uniﬁed Framework for Classiﬁcation, Regression, Density Estimation, Manifold Learning and SemiSupervised Learning” Foundations and Trends in Computer
Graphics and Computer Vision, vol. 7, no 2-3, pp 81-227.
2012.
[9] M. Sugiyama, M. Krauledat, and K. R. Muller,“Covariate
Shift Adaptation by Importance Weighted Cross Validation”, Journal of Machine Learning Research, vol. 8, pp.
985-1005, 2007.
[10] R. Caruana, “Multi-task learning, “Machine Learning, vol.
28, no. 1, pp.41-75, 1997.
[11] M. Enzweiler and D. M. Gavrila, “Monocular Pedestrian
Detection: Survey and Experiments”, PAMI, vol. 31, no.12,—6—