情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

品質の異なる二つのデータ集合間の転移学習の解析

An Analysis of Transfer Learning between a Pair of Datasetswith Diﬀerent Qualities
赤穂 昭太郎∗Shotaro Akaho

神嶌 敏弘∗
Toshihiro Kamishima

Abstract: It is often the case that we have a pair of datasets, where one consists offew high-quality data and the other consists of many low-quality data. Kamishima etal. has proposed a bagging-based learning algorithm to synthesize such a pair of datasets. However, it has not been clear when the learning algorithm improves the estimation
obtained by using only the few high-quality dataset. We analyze a simple exponential
family model, and prove that the bagging-based learning algorithm does not work for thismodel, but an appropriate modification improves the estimation drastically.
Keywords: transfer learning, asymptotic analysis, statistical estimation, exponential family

1

まえがき
近年，インターネットの発達などによって大規模なデータを収集することは比較的容易である． 例えば，映画の好みなどユーザの嗜好を集めたデータや，スーパーマーケットでの消費者の購買履歴といったものである．
しかしながら，通常そうして集められたデータにはさまざまな種類のユーザに対する嗜好が混在しており，また十分な管理下で集められたものでないためデータの質も低いことが多い．そのようなデータから，例えば各ユーザごとにきめ細かく商品の推薦などを行おうとしても，十分な精度が得られないことがある．
一方，これらのデータとは別に，ある特定の種類のユーザ群に対して十分管理された状況下でデータを収集することを考えよう．ただし，これには大きなコストがかかるため，それほど大きなサイズのデータを集めることはできず，統計的な推定精度は低くなってしまう．
そこで，もともとの大規模なデータを補助情報として用いることによって，この新たに集めた質の高いデータに対する統計的な推定精度を向上できないかという問題

みであり，学習分野で古くから研究されてきた転移学習[6] の特別な場合として位置づけることもできる．
また，ユーザの嗜好や購買といった問題に限らず，自然科学実験などにおいても「コストが高くて収集に時間のかかる品質の高い少数データ集合」と「コストが安くて収集が容易だが品質の低い大規模データ集合」があるという状況は頻繁に発生する．
神嶌らは，バギングを応用したアルゴリズムを用いて，実データを使ったタグ付け問題に対して有効性を示したが [1]，理論的にはどのような場合にうまくいくかが明らかではなかった．そこで本稿では，この問題の非常に単純な数理モデルに対して解析を行い，神嶌らによって提案されたアルゴリズムがうまくいくためには，少なくともある種の非線形性が必要なことと，それが満たされない場合にはそれを改良したアルゴリズムによって精度のよい推定ができることを示す．

2

品質の異なるデータ集合のモデル化が考えられる．神嶌ら [1] によって提案された「飼いな管理された状況下で収集されるデータセットは，確率らし学習」はそのような問題意識から考え出された枠組

変数 x に対するある確率分布（ターゲット分布） pT (x)∗ 産業技術総合研究所脳神経情報研究部門, 305-8568 茨城県つくば市

梅園 1-1-1 中央第 2, tel. 029-861-5549, e-mail s.akaho@aist.go.jp,
mail@kamishima.net
The National Institute of Advanced Industry and Scientific Technology, Central 2, 1-1-1 Umezono, Tsukuba, Ibaraki 305-8568

に従って生成された独立なサンプル集合 T = (x1 , x2 ,. . . , x|T | ) とする．一方，大量に集められたデータの中には pT (x) に従うサンプルと，そうでない確率分布（非ターゲット分布） pN (x) に従うサンプルが混在していDη̂Tるとする．すなわち，

pS (x) = αpT (x) + (1 − α)pN (x)η̂TrBagg(1)という混合分布に従って独立に生成されたサンプル S =布を考えるかについては，後の節で詳細化する．
一般に T のサンプル数 |T | は，S のサンプル数 |S|に比べてずっと小さい． また，多くの状況では α は 1に比べてかなり小さい．さらに，確率変数 x は，推薦αηT + (1 − α)ηNηT(x1 , x2 , . . . , x|S| ) であるとする． 具体的にどのような分ηN

図 1: 指数分布族に対する TrBagg アルゴリズムの振る舞い

3

指数分布族の場合

システムやタグ付けなど多くの例題では入力と出力のペ

ここでは，データを生成する確率分布がある指数分布アからなる教師あり学習の場合が多いが，本稿では入力族の要素である場合には，TrBagg アルゴリズムがそのと出力の区別は特にせず解析を行い，教師あり学習につままではうまくいかない可能性が高いことを示す．

いては最後に違いなどについて論じる．
さて，以上のようなモデル仮定のもとで，やりたいこ

命題１ pT (x), pN (x) の両方が，ある指数分布族の要素とは，二つのデータ集合 S, T に基づいてターゲット分であり，α が 1 より十分小さいとき，最尤推定に布 pT (x) に関する精度の高い推測を行うことである．

基づいた TrBagg アルゴリズムによって p̂T (x) を神嶌らは，バギングに基づいたアルゴリズムを提案し，タグ付け問題に対して有効性を示した． ここでは，上記の定式化に合わせて単純化した形でそのアルゴリズムを示す．

改良できる確率は約 1/2 である．つまり，改良できるかできないかが五分五分である．
上記の性質は漸近論的に理解できる． 以下にそのあらましを述べよう (図 1 参照)．指数分布族はTrBagg アルゴリズム (簡略版)p(x; θ) = exp(θ · r(x) − ψ(θ) + C(x))(2)

1. データ集合 T から確率分布を推定し，p̂T (x) と置く．という分布形を持つ確率分布である．

2. データ集合 S からブートストラップサンプル集合

η = Ep(x;θ) [r(x)] を座標系とする空間上の１点として表B を生成する．
3. B から確率分布を推定し，p̂B (x) と置く．
4. p̂T (x) と p̂B (x) の距離を測り，あるしきい値以下であれば p̂B (x) を受理する．

まず，指数分布族の確率分布は，期待値パラメータ現できることに注意する． すると，pT (x) および pN (x)もそれぞれ空間上の点 ηT , ηN で表現される．
同様に，一つ一つのサンプル x に対しても r(x) を η座標に対応させることにより空間上の点とみなすことができる．いくつかのサンプル点があったとき，パラメータの最尤推定はそれらの η 座標 r(x) の重心 (平均) で5. 上記ステップ 2 〜 4 を繰り返し，受理された確率分布を統合して最終的な確率分布の推定値 p̂TrBagg (x)を得る．
上記アルゴリズムの最後のステップにおける「統合」の意味は，後の節でモデルをより詳細化する際に明確にする1 ．
さて，もし最終的に得られた p̂TrBagg (x) が，T だけ与えられる．
さて，我々の問題では，まずデータ集合 T から最尤推定により ηT を推定するわけだが，その推定値 η̂T は，漸近的には ηT の周りに正規分布をすることが知られている．
一方，データ集合 S から得られたブートストラップ集合 B の中には pT (x) に由来するもの BT と pN (x)を使って推定された p̂T (x) よりもデータを生成した分に由来する BN の二つがある．B の要素数を |B| と布 pT (x) に近ければ S を使った効果があったというこし，そのうち k 個が pT (x) 由来のものだとする．k はとになる．

二項分布に従う確率変数として与えられるが，近似的にk = |B|α というピーク付近にあるとして固定して考え

1 なお，オリジナルの TrBagg アルゴリズムでは B から作るのは識別器であり，最終的な統合は識別器の多数決によって得られる．また，このほかにも性能を向上させるためのいくつかのヒューリスティ
クスが導入されている．

る2 ．すると，BT の η 座標重心 ηBT は漸近的に ηT の
2 この部分を厳密化しても議論は定性的には影響を受けないまわりに正規分布し，BN の η 座標重心 ηBN は漸近的1−αに ηN のまわりに正規分布する． そして，B 全体の η
座標重心は正規分布の和の分布なので，やはり正規分布

ασTとなり，その中心を ηB とすると，k = |B|α の仮定の下で

ηB = αηT + (1 − α)ηN ,σNbε(3)α = aεσT = cεμ̂T = μT + bε
d = μT − μNεすなわち pT (x) と pN (x) のデータ集合 S 上での比率に応じた重心座標として与えられる．

μTμ̂T

以上の議論はすべてのブートストラップ集合の推定量の分布であるが，TrBagg アルゴリズムでは，pT (x) のデータ集合 T に基づいた推定量 η̂T から一定距離にある推定量だけを取り出して統合する．ここで，「統合する」というのを，推定量の重心を取ることと定義する．

図 2: 正規分布の位置母数推定

2. データ集合 S のサンプル点の座標表現 r(x) のうち，η̂T との距離があるしきい値以下のものだけを選び出す．

η̂T から一定距離の範囲を D と書くと，推定量だけの重心は，ηB を中心とする正規分布 N [ηB ] の D だけに限定した期待値ηN [ηB ]dηη̂TrBagg = DN [ηB ]dη
DμN

3. 選び出されたサンプル点の r(x) の平均を取ってη̂Filter とし，これをパラメータとする確率分布をpT (x) の推定値とする．

(4)であり，これは正規分布の形状から，η̂T より ηB の方向にシフトしたものになることがわかる． 従って，η̂Tから見て ηB の方向と ηT の方向とが同じ方向を向いていることが推定量を改善するために必要である．
さて，ηB は (3) からわかるように，ηT と ηN が十分離れており，α が 1 より十分小さいとき，T だけを使った推定量 η̂T よりも ηT から離れたところにある．
このときは，η̂T は ηT を中心とする正規分布に従うので，η̂TrBagg が η̂T に比べて ηT に近くなるかどうかは五分五分である．

4

正規分布の位置母数の推定の解析

4.1

指数分布族に対する改良アルゴリズム

このアルゴリズムのポイントは，しきい値以下となるような r(x) だけに限定することによって pT (x) から遠く離れたサンプルを排除するようにした点である．ただし，実際にはしきい値以下のサンプル数が十分確保できない場合も考えられるため，距離に応じた重み付き期待値をとるなどのバリエーションが考えられる．

4.2

正規分布の位置母数推定の解析上で述べたアルゴリズムが推定量を改良できるかどうかを見るために，簡単なモデルを使った解析を行う (図2)．
まず，ターゲット分布 pT (x) は正規分布 N [μT , σT2 ] と2]し，非ターゲット分布 pN (x) は別の正規分布 N [μN , σNとする．
今，ターゲット分布の位置パラメータ μT を求めるこ

前節での考察から，指数分布族のようにパラメータがとを目標としよう．管理されたデータ集合 T から推定データの統計量の線形和で表されるような単純な場合にされたパラメータの値を μ̂T とする． データフィルタ

は TrBagg 法はうまくいかないことがわかった． そのリングアルゴリズムでは，データ集合 S のサンプルの主な原因は，pN (x) に由来するサンプルがある程度含まうち μ̂T との距離があるしきい値 ε 以下のものを選び出れていても，サンプル平均がたまたま p̂T (x) の近くにし，その期待値 μ̂Filter を μT の推定値とする．

分布する可能性は高いということである．
そこで本稿では，指数分布族のように各データ点もパラメータ空間上の点として表される場合に以下のようなアルゴリズムを考える．

ここで，データ集合 S は十分大きいものと（つまり，無限個のサンプルが得られると）仮定する．
以下では，ε は微少量として，ε に関して漸近的なμ̂Filter の振る舞いを調べるが，しきい値以外の量も微少量として扱うのが適当と思われるものは ε で表現する．

データフィルタリングアルゴリズム

1. データ集合 T から確率分布を推定し，その η 座標を η̂T と置く．

まず，μ̂T は μT のまわりで分布すると考えられるので，確率変数 b を取り，μ̂T = μT + bε(5)と置く． また，管理されたデータではばらつきが比較

上記の式は性質が分かりづらいので b が 1 より十分小さいと仮定して b で Taylor 展開すると，的小さいと思われるため，

σT = cε(6)のようにターゲット分布の標準偏差が ε オーダーであることを仮定する． なお，μ̂T の μT からのずれを表す

bε は σT の大きさと T のサンプル数 |T | に依存しており，b は漸近的に平均 0 の正規分布に従い，
 2cE[b2 ]  E(7)|T |γ=ゲット分布に由来するデータ集合の割合を表す α も小さいことが多いので√+ O(b2 )a22φ(d, σN ) + 2 erf( 2c )}(15)となり，b の 1 次の項は 0 になっている．
さらに，d が σN に比べて十分大きいとし (例えば３倍程度以上)，c が十分小さいとすると (例えば 1/3 程度以下)，分母の第１項はほぼ 0 となり，第２項は a/2にほぼ等しいので，近似的にγ2が成立するので，比較的小さい |T | でも一般に b < c となるのが普通である．データ集合 S に関しては，ター2) + aφ(1, c2 )φ(d, σN2φ(d, σN)+ 2φ(1, c2 )a(16)という式になる． 以上をまとめると以下のようになる．
命題２ 二つの分布の平均の距離が σN に比べて十分大きく，pT (x) の分散の大きさを調節するパラメー

α = aεタ c が十分小さければ γ  1 となり，データフィ(8)

ルタリングアルゴリズムによって得られた推定量と置く．

が μ̂T を改善できる．

S のサンプル数が無限という仮定のもとでは，サンプル平均は期待値で置き換えられるため，
 μ̂T +εμ̂Filter =xpS (x)dx(9)μ̂T −εおそらく，TrBagg がタグ付け問題に対してうまく働いたのも，識別問題などでは TrBagg アルゴリズムがデータフィルタリングアルゴリズムと同じような効果 (pN (x)由来の外れたデータが含まれていると識別器が受理されが求める推定量となる． これを ε について漸近展開しない) があった可能性があるからと考えられる．

たときに，

4.3
μ̂Filter = μT + γbε + O(ε2 )(10)となって，|γ| < 1 であれば μ̂Filter は μ̂T よりもよい推定量であることが言える．

数値実験

上記のアルゴリズムが実際にどれくらい解を改善できるかを調べるために人工データを使った数値実験を行った．
推定量 μ が得られたとき，それが μ̂T をどれだけ改実際に γ を計算すると，善したかを見るのに22) + c4ba {φ(b − 1, c2 ) − φ(b + 1, c2 )}φ(d, σN√√
γ=2 ) + a {erf( 2(b+1) ) − erf( 2(b−1) )}φ(d, σN
42c2c(11)R(μ) = log|μ − μT ||μ̂T − μT |(17)となる．ただし，ここで φ(μ, v) は平均 μ, 分散 v の原という指標を用いる．これは 0 のとき μ̂T と同じ，正点における密度の値では悪く，負になると改善されていることを表す．

φ(μ, v) = √ 2
1μexp −2v2πv

以下で，いろいろパラメータを変動させる実験を行う(12)

うに定める．

を表し，erf は誤差関数

2erf(x) = √π

• T のサンプル数 10

 x2exp(−t )dt(13)0d = μN − μT

• S のサンプル数 1000 (このうち pT (x) より発生させたもののサンプル数 100, pN (x) より発生さを表す． また，d は二つの正規分布の平均の差とする．

が，変動させないパラメータのデフォルト値は以下のよせたもののサンプル数 900)

(14)

• μT = 0.0, σT2 = 0.122• μN = 1.0, σN= 0.52

505−50−5−10−10−15−15cutbag0.020.040.080.16

0.320.64

図 3: アルゴリズムの比較． 縦軸 R の値．左：データ

図 4: ターゲット分布の分散 σT を変えたときの R のフィルタリングアルゴリズム，右：TrBagg

振る舞い• データをフィルタリングするしきい値 ε = 0.1
また，それぞれの条件で乱数の種を変えて 100 回ず

TrBagg との比較 まず，上記のデフォルト条件で，TrBagg

510つ実験を行い統計的に比較を行う．

を行った． 理論解析で予測されるように，TrBagg の R0による方法とデータフィルタリングアルゴリズムの比較

ルゴリズムの方は R が負となっている場合が多く解の−10改善が見られる (図 3)．

−5値は 0 付近に平均値があり，データフィルタリングア

ターゲット分布の分散 σT を変えたときの振る舞い(16)0.010.02

0.04

0.080.160.32

式によれば，σT をコントロールする c は小さいほどよいが，σT を大きくしていくとどうなるだろうか．図 3
は σT を 0.02 ∗ 2k , k = 0, 1, 2, . . . , 5 と変化させたときの結果である．σT が大きくなると改善の度合いは小さ

図 5: 窓の幅 (ε) を変えたときの R の振る舞い

くなるが，平均的に見れば悪くなることはない．また，的に σT を小さくしていることに対応していると考えら分散はだんだん小さくなっており σT が大きくなってもれる．ただし，ε をある点より大きくしすぎると今度は不安定にはならない様子がわかる．

急な悪化が見られる． これは ε が微少量であるという仮定が崩れていることに相当するが，定性的には pN (x)窓の幅 ε を変えたときの振る舞い

次に，データをフィの中心に近いサンプルが入ってくる影響と思われる．

ルタリングするための窓の幅 ε を変化させたときの様子を図 5 に示す3 ．値は 0.01 × 2k , k = 0, 1, . . . , 5 に取った．ε は解析におけるコントロール変数であり，ほかの混合比 α = aε を変えたときの振る舞い

S に含まれているサンプルのうち pT (x) から生成されたものの数は多いろいろな量と関係しているため振る舞いは複雑であい方がよい．図 6 に，|S| = 1000 に保ったまま，pT (x)る．図からまずわかることは，ε を大きくして行くにつ由来のサンプルの個数を 10 × 2k , k = 0, 1, 2, . . . , 5 とれて改善の度合いが増している様子である．これは相対変化させたとき（これはほぼ α|S| に相当する）の結果を示す．当然 α が大きいほど改善の度合いも大きいが，3 ε は解析ではコントロール変数だったが，ここでは窓の幅だけを変え，それ以外はデフォルト値に固定している．

解析結果からも予測できるように，α は ε オーダーのてきたにも関わらず，理論的な解析はそれほど進んでい10ないのが現状である．今後も理論面での解析を進めると

5[1] 神嶌, 濱崎, 赤穂: “飼いならし ― 飼育・野生混在
データからの学習”, 人工知能学会全国大会 (第 22 回)

−5

参考文献

0

共に，実データでの検証も並行して行っていきたい．

−10

論文集, 2D1-3, 2008.

[2] 神嶌, 濱崎, 赤穂: “飼いならしを用いた協調タグ付
けのタグ予測”, 2008 年度統計関連学会連合大会講1020

4080

160320

演報告集, p.88, 2008[3] T. Kamishima, M. Hamasaki, S. Akaho: “Bag図 6: 混合比 α を変えたときの R の振る舞い (横軸はgtaming. learning from wild and tame data,”
in ECML/PKDD2008 Workshop: Wikis, Blogs,

S 中の pT (x) 由来のサンプル数で，ほぼ α|S| に相当)Bookmarking Tools. Mining the Web 2.0, 2008.

小さな場合でもそれほど悪い値にはならない．

5

一般の場合への拡張と問題点
さて，前節で解説したモデルは非常に単純なものだったので，その結果がどの程度一般化できるかについては検討の必要がある．
まず，pN (x) が単一の正規分布と仮定したことについては，実際問題では雑多な種類のデータが混じっていることから問題があると感じられるかもしれないが，雑多な種類のデータのうち最も pT (x) に近いところに pN (x)を集中させていると見れば，一種の最悪評価とも考えられる．解析結果から示唆されるのは，pN (x) が pT (x)の近くにピークをもつような場合には解の改善が難しいという点であり，|S| の中に pT (x) と同程度の割合で，pT (x) に非常に近い分布から出てきたサンプルがある場合にはそちらに解が引っ張られてしまうかもしれないということである． ただし，pT (x) に近いという意味では逆にそれほど解が破綻するようなことはないとも考えられる．
次に，TrBagg が経験的に識別問題でうまく働くということであれば，識別問題を単純化したモデルに対して解析を行う必要があるかもしれない．これについては今後の課題である．

6

おわりに二つの品質の異なるデータ集合からの学習問題において，単純な数理モデルを解析してその振る舞いを調べた．この問題を含め転移学習は，さまざまな応用をもつ
実用的にも重要な問題であり，比較的古くから研究され[4] T. Kamishima, M. Hamasaki, S. Akaho: “Personalized tag predition boosted by baggtaming.a casestudy of the hatena bookmark,” in the 3rd Int.
Workshop on Data-Mining and Statistical Science,
2008.
[5] T. Kamishima, M. Hamasaki, S. Akaho: “TrBagg:
A Simple Transfer Learning Method and Its Application to Personalization in Collaborative Tagging,” in Proc. IEEE Int. Conf. on Data Mining(ICDM2009), to appear.
[6] S. J. Pan, Q. Yang: “A Survey on Transfer Learning,” Technical Report, Dept. of Computer Scienceand Engineering, Hong Kong Univ. of Science andTechnology, HKUST-CS08-08, 2008.