DEIM Forum 2016 A1-4

潜在領域を用いた転移学習による文書分類白井 匡人†

劉健全††,†

三浦孝夫†† 法政大学 理工学研究科 〒 184–8584 東京都小金井市梶野町 3-7-2†† 日本電気株式会社 グリーンプラットフォーム研究所 〒 211–8666 神奈川県川崎市中原区下沼部 1753
E-mail: †masato.shirai.2d@stu.hosei.ac.jp, ††j-liu@ct.jp.nec.com, †††miurat@hosei.ac.jp
あらまし

本研究では，中間領域に潜在領域を用いた転移学習による文書分類手法を提案する．転移学習は，情報源となる領域の学習結果を対象領域の解析に利用することで性能を改善する．ここでは，得られた知識を利用するために情報源領域と対象領域が関連していることが必要となる．しかし，対象領域に対する適切な情報源領域が存在するとは限らない．本研究では，トピックモデルにより，教師無し文書からトピック分布を学習する．このトピックを情報源領域と対象領域を繋ぐ中間領域として用いることで文書分類を行う．
キーワード

転移学習，NMTF，トピックモデル，文書分類

1. 前 書 き

転移学習の精度が悪化することが知られている [9]．この問題を解決するため，関連性の低い情報源領域と対象領域を中間領域

近年，インターネットの発達から大量のデータを容易に入によって繋ぐ転移学習手法が示されている [10]．Tan らの手法

手できるようになっている．ニュース記事やマイクロブログとでは，あるクラスが情報源領域と対象領域を繋ぐ中間領域に対いった大規模な文書集合は，様々な情報を含む重要な情報源と応することを仮定している．対象領域の単語が変化していく中して注目されている．しかし，これらの文書集合は文書数が膨で、常に 2 つの領域を繋ぐ適切な中間領域が存在するとは限ら大となるため，大半の情報が利用されないまま流れ去っている．

ない．

このため，大量の文書から知識を抽出するための文書集合のモデル化が必要となる．

本論文は，転移学習による文書分類を行うために，主に 2 つの問題について論じる．第 1 は，如何に情報源領域と対象領域

文書をクラスごとに分類する文書分類では，政治，スポーツ，

を繋ぐ適切な中間領域を構築するか，第 2 は，特徴の変化が起

IT といったクラスは文書の集合として表される．文書分類は，きる集合内で如何に中間領域を更新するかである．本論文の貢クラスの持つ様々な特徴に基づき未知の文書を各クラスに分類

献は，潜在トピックにより中間領域を構築し，集合の変化に応する．確率モデルにより文書分類を行う場合，文書集合を近似じて中間領域を更新する転移学習の枠組みを提案しているとこする確率分布のパラメータがクラスの特徴になる．学習データ

ろにある．本研究では，中間領域に潜在トピックを用いた転移から得られたパラメータを対象に適用することで分類を行うこ学習による文書分類手法を提案する．ここではトピックモデルとが可能となる．しかし，確率モデルは，現在の状況のモデル

により，教師無し文書からトピック分布を抽出する．この潜在化であるため，異なるクラスや時間の経過による特徴の変化とトピックを情報源領域と対象領域を繋ぐ中間領域として用いる

いった新たな状況に対応できない．このため，状況の変化が起ことで文書分類を行う．

きるたびにモデルを更新する必要がある．

第 2 章では文書ストリームの分類について述べ，第 3 章ではニュース記事やマイクロブログといった文書ストリームでは，転移学習について述べる．第 4 章ではトピックモデルについて

話題の変化に応じてクラスの特徴が変化するため，分類基準を述べ，第 5 章では提案手法について述べる．第 6 章では実験にあらかじめ固定することは困難となる．ニュース記事では新しより有効性を示す．第 7 章で結論とする．

いニュースが逐次発生するため，話題が動的に変化する．例えば，政治に関する話題では，選挙，予算編成，法案審議のよう

2. 文書ストリームの分類に時期による出来事や，外交問題や汚職事件など不定期な出来

ニュースストリーム，マイクロブログに代表される SNS デー

事に依存し，発生する単語は大きく異なる．これらの出来事のタは，様々な情報を含む情報源として注目されている．ニュー

中でも，時間経過によって論じられる内容は逐次変化している．

スストリームでは，各記事は記事が属するクラスが持つ複数の転移学習は，情報源領域から得られた知識を異なる領域の解話題を含み，話題に関連して出現する単語分布が変化する．こ析に適用する枠組みである．学習データとテストデータが同一の話題はストリーム中で大きく変化する可能性がある．このたの領域であることを仮定しないため適用範囲が広く，様々な問め，同一のクラス内であっても単語分布は各話題に関連して多題に転移学習が用いられている．ここでは，得られた知識を利様性を持つ．このような時間に応じて特徴が変化する集合に対用するために情報源領域と対象領域が関連していることが必要

して分類を行うには，変化に応じてモデルを更新する必要があとなる．しかし，対象領域に対する適切な情報源領域が存在す

る．文書ストリームの分類では，特徴の変化に対応するために，るとは限らない．情報源領域と対象領域の関連性が低い場合，

ストリーム中で新たなラベル有り文書により追加の学習を行う

手法が示されている [11], [15]．新たに到着した文書全てを人手クラスの特徴を含むように中間領域を定義する必要がある．本によりラベル付けすることは，コストが膨大となるため困難で稿は，中間領域を集合内の潜在的な特徴を表す潜在トピックとある．能動学習は，機械自身がモデルを改善するために有効なして抽出し，この潜在トピックを用いて各領域を接続する．

データを検出し，学習に用いる手法である．Bouguelia らは，

3. 2 Nonnegative Matrix Tri-Factorization

ストリームベースの能動学習を用いることでストリーム中で分

NMTF は，特徴空間と文書空間の共クラスタリングにより類を行う手法を提案している [13]．ストリームベースの能動学

行列を分解するアルゴリズムであり，文書分類やクラスタリン

習ではテスト文書が到着するたびにラベル付けを行うか判断すグに用いられている [5], [11]．NMTF では，特徴-文書空間の行る．一般的な能動学習では，データの検出は自動的に行うが，

列 X ∈ Rm×n は低次元の 3 つの行列 FAG に分解される．

検出されたデータを人手によりラベル付けする必要がある．人手によるコストを減少させるためには，新たなラベル付き文書

X ≈ F AGT

(1)を必要としないことが望ましい．しかし，ラベル無しの文書だ

行列 F ∈ Rm×p は，特徴と特徴クラスタ間の関係を表す．mけを用いたモデルの更新は，誤った特徴を学習することで性能は特徴数であり，p は特徴クラスタの数である．行列 A ∈ Rp×cが悪化する可能性がある．

は，特徴クラスタと文書クラスタ間の関連を表す．c は文書ク

2. 1 問 題 設 定

ラスタの数である．文書分類では，c はクラス数に対応する．

本研究で扱う転移学習による文書ストリームの分類を以下の行列 G ∈ Rc×n は，文書クラスタと文書間の関連を表す．n はように設定する．文書ストリーム D は，時間ごとの文書チャン

文書数である．各行列は元行列とのフロベニウスノルムが最小

ク {D1 , ..., Dn , ...} から成る．各文書チャンクは，ラベル無しとなるように推定する．

の文書 U = {u1 , u2 , ..., u|U | } で構成する．文書分類では，学習文書として用いるラベル有り文書 L = {l1 , l2 , ..., l|L| } から各クラスの特徴を学習し，ストリーム中で新たに到着するラベル無min∥X − F AGT ∥(2)

ここで，F >
= 0, A >= 0, G >= 0 である．

しの文書 u の分類を行う．ここでラベル付き文書は初期の学習

Tan らは，NMTF を基に，中間領域を用いた転移学習手法

文書 L のみであり，新たなラベル付き文書の出現を考慮しない．

(Transitive Transfer Learning, TTL) を提案している [10]．こ

本研究では，追加のラベル付き文書を用いずに文書ストリー

こでは，情報源領域と対象領域が関連しない場合においても中ムの分類を行うために転移学習による分類手法を提案する．こ

間領域を経由することで，転移学習が行えることを示している．

こでは，学習文書とテスト文書を繋ぐ中間領域を設定し，この情報源領域の元行列 Xs ，中間領域の元行列 Xi ，対象領域の元

中間領域を更新することでストリーム中の特徴の変化を考慮

行列 Xt を分解し，情報源領域の持つラベルを中間領域を経由する．

して対象領域に伝搬する．

3. 転 移 学 習

L = ∥Xs − Fs As GTs ∥ + ∥Xi − Fi Ai GTi ∥ +3. 1 転移学習による文書分類∥Xi − Fi Ai GTi ∥ + ∥Xt − Ft At GTt ∥

′

′

(3)

転移学習による文書分類では，情報源領域から得られるクラス情報を対象領域の解析に利用することで分類を行う．ここFs = [F 1 , Fs2 ] , As = [A1 , A2s ]T

で各領域は，ラベル付きの情報源領域 S とラベル無しの中間

Fi = [F 1 , Fi2 ] , AI = [A1 , A2i ]T

領域 I ，ラベル無しの対象領域 T とする．ラベル付きの文書′′
Fi = [Fˆ1 , Fˆi2 ] , Ai = [Aˆ1 , Â2i ]Tは情報源領域の文書のみである．情報源領域 S と学習文書集

Ft = [Fˆ1 , Ft2 ] , At = [Aˆ1 , A2t ]T

合 L が対応し，対象領域は時刻 i の文書チャンク Di 内のラベ′′

ル無し文書である．中間領域は Di より前の n 個の文書チャン

ここで，Fs ，As ，Gs は情報源領域，Fi ，Ai ，Gi ，Fi ，Ai ，ク {Di−n , ..., Di−1 } で構成する．対象領域のクラス y は情報

Gi は中間領域，Ft ，At ，Gt は対象領域の分解後の各行列であ源領域のクラス情報を中間領域を経由して伝搬することで推定する．各領域は，情報源領域と対象領域の類似度 sim(S, T )る．式中の上付き文字 T は転置行列を表す．特徴-特徴クラス
タ空間の行列 F は，領域間の共通の特徴を表す F 1 ，Fˆ1 と領と中間領域を用いた類似度 sim(S, I)，sim(I, T ) が高くなる

域独自の特徴を表す行列 Fs2 ，Fi2 ，Fˆi2 ，Ft2 を要素に持つ．特)sim(S, I) < sim(S,I)+sim(I,Tとなるような領域が存在するこ2

徴クラスタ-文書クラスタ空間の行列 A は共通の特徴クラスタとを仮定する．

と文書クラスタ間の関係を表す行列 A1 ，Â1 と領域独自の特徴′

転移学習では，対象領域 T に関連した情報源領域 S が存在

クラスタと文書クラスタ間の関係を表す行列 A2s ，A2i ，Â2i ，A2t

しない場合，有効に転移学習が行えない．このため，中間領域を要素に持つ．情報源領域のクラス情報 Gs は学習文書から得I は関連度が低い領域を接続する目的で用いる．中間領域は Sられる各文書が属するクラスを示す．ベクトルの要素は該当すと T の両方の特徴を含む必要があるが，このような集合が存在るクラスに属している場合 1，属さない場合 0 の値をとる．中するとは限らない．対象領域に対する適切な情報源領域の選択

間領域のクラス情報 Gi は Fi ，Ai ，Fi ，Ai より対象領域と中′′の問題と同様に，各領域を接続する適切な中間領域の選択の問

間領域の関係と中間領域と対象領域の関係の 2 つから求める．

題が残る．あるクラスと対応する S と T とは異なり，多数の対象領域のクラス情報 Gt は学習された Gi を基に中間領域と対象領域の関係から推定する．TTL では，行列 Xs と Xt が関連しない場合においても，Xs と Xi ，Xi と Xt の関連により文書分類が行える．ここでは，如何に情報源領域と対象領域を繋ぐ
適切な Xi を用意するかということが問題になる．本研究では，
トピックモデルを用いることで，中間領域 I = {i1 , i2 , ..., idi }からトピック分布を抽出し，中間領域として用いる．

4. トピックモデル
トピックモデルとは, 1 つの文書が複数のトピックの混合として表現されるという仮定である．1 つの文書が 1 つのトピックで

図 1 LDA

表される混合多項分布に比べ, トピックモデルは文書が複数のトピックの混合分布として, 各トピックが単語の分布として表現さαディリクレ分布のパラメータ

れ, 高い精度で文書をモデル化する可能性がある. その中でも最θ

トピックの確率近用いられているのが Latent Dirichlet Allocation(LDA) であ

z

トピック

る [3]．確率的潜在意味索引付け (Probablistic Latent Semanticw

単語

Indexing, pLSI) では, LDA と違って, トピックの混合比を学

β

ディリクレ分布のパラメータ

習データの文書集合に依存して固定化している [6]. 一方, LDA

ϕ

トピックの単語の確率

Nd

d 番目の文書の単語数

D

文書数

T

トピック数

ではこの混合比を事前分布から生成する点で異なる．LDA のパラメータ推定では，潜在変数であるトピック z ，文書ごとのトピックの確率分布 θ，トピックの単語分布 ϕ を文書集合に対表 1 グラフィカルモデルのパラメータ

して尤度が最大となるように推定する．LDA を文書集合に適用することで，文書をトピックの分布で表し，文書を特徴付けることが可能となる．トピックは特定の意味を持たない単語のθd =ndzi ,N \i + α(5)nd(.),N \i + T α

クラスタであるが，トピックが文書を特徴付ける要因と対応することを仮定する．
図 1 では，LDA のグラフィカルモデルを示す. 図中の変数

ϕzi =は, 図 1 左下に, ディリクレ事前分布 Dir(β)，図 1 左下の単語

i+βnwzi ,N \i(6)(.)

nzi ,N \i + V β

空間の多項分布 M ultinomial(ϕzi ), T はトピック数, 図 1 左上

ここで，zN \i = {z1 , ..., zi−1 , zi+1 , ..., zN } であり，i 番目のにディリクレ事前分布 Dir(α), 図 1 中央にトピック空間の多項

単語の割り当てを除外することを表す．nzii は単語 wi にトピッ

分布 M ultinomial(θd ), D は文書数, Nd は各文書の単語数を表(.)
ク zi が割り当てられた回数，nzi は全単語中で zi が割り当て

す．LDA の単語生成過程を以下で示す. まず, すべてのトピッ

られた合計である．ndzi は，文書 d で zi が割り当てられた回数，

ク t においてディリクレ事前分布 Dir(β) から ϕt を抽出し, 同nd(.) は d にトピックが割り当てられた合計である．V は単語の様に, すべての文書 d においてもディリクレ事前分布 Dir(α) か

種類数であり，T はトピック数である．α，β はディリクレ分布

ら θd を抽出する. 次に, 文書 d 内の i 番目の単語 wi において，のパラメータである．θd は文書ごとのトピックの分布であり，抽出した文書 d の多項分布 M ultinomial(θd ) からトピック zi

文書内のトピックの割り当てから求まる．ϕzi はトピックごとを抽出し，そのトピック zi の多項分布 M ultinomial(ϕzi ) かの単語の分布であり，あるトピックでの単語の割り当てから求ら単語 wi を抽出する.

まる．

潜在変数の推定には，ギブスサンプリング等が用いられる．
ギブスサンプリングでは，サンプリングにより 1 つの単語に対w

5. 提 案 手 法

して 1 つのトピックを割り当てる．この割り当ては，更新を行本研究では，LDA を用いてトピック分布を抽出し，NMTF

う単語以外のすべてのトピックの割り当てによって更新される．

により転移学習を行うことで対象領域のクラスを推定する．ま文書 d の単語 wi のトピックが zi となる確率は，以下の式で求た，ストリーム中の文書を分類するために中間領域の更新によまる．

る分類手法を提案する．
提案手法は，LDA を用いて中間領域 I からトピックの単語
分布 ϕI ，文書ごとのトピック分布 θI を学習する．続いて学習P (zi |zN \i ，wN )∝されたトピックの単語分布 ϕI を用いて，情報源領域 S と対象

inw+βzi ,N \indzi ,N \i + α(.)

dnzi ,N \i + V β n(.),N \i + T α(4)

領域 T の θS ，θT を MAP 推定する．ここでは，トピックの単語分布 ϕ の更新は行わない．領域ごとの文書ごとのトピック分
布を用いて，単語-文書空間の各領域の元行列 Xs , Xi , Xt をト
ピック-文書空間の行列 θS , θI , θT に変換する．変換した行列を用いて式 (3) と同様に以下の式より，各領域の行列を分解する．

6. 1 実 験 準 備
実験に用いる Reuters Corpus は 1996 年 8 月 20 日から 1997
年 8 月 19 日までの 1 年分のニュース記事であり，1 つの記事

L = ∥θs − Fs As GTs ∥ + ∥θi − Fi Ai GTi ∥ +′′∥θi − Fi Ai GTi ∥ + ∥θt − Ft At GTt ∥に 128 種類からなるラベルが複数付いている．Reuter Cor-

(7)

TTL が元行列 X の単語の出現確率を基に単語のクラスタリ
ングを行っていたのに対し，提案手法はトピック分布 θ のト
ピックの出現確率を基にトピックのクラスタリングを行う．文書のクラスの推定は，情報源領域のクラス情報 Gs を基に情報源領域と中間領域，中間領域と対象領域のトピックのクラスタと文書クラスタの関係から中間領域のクラス情報 Gi を推定す
る．Gi を基に中間領域と対象領域のトピックのクラスタと文書クラスタの関係を基に対象領域のクラス情報 Gt を推定する．
対象領域の文書のクラスは，Gt より各文書のベクトルの要素中で最も値の高くなるクラスを推定結果とする．
次に，新たな文書チャンク Di+1 の出現に合わせて，現在の文書集合 Di を用いて中間領域 I のトピックの単語分布 ϕI の更新を行う．トピックモデルのパラメータ更新では，オンライン学習手法が示されている [1]．トピックモデルのオンライン学
習は，現在までに得られたパラメータを基に各単語にトピックを割り当てる．新たな文書 d の単語 wi のトピック割り当ては以下の式で推定する．

返し使用される固有名詞やそれに関連した単語などの定常的な特徴を有する．また，ある時刻に起こった出来事に関する記事が発生することから変動的な特徴を有する． 本実験では，”CCAT”，”MCAT”，”GCAT”，”ECAT”の 4 つのラベルを基準とし，各ラベルを含む頻度が上位となる 6 つのラベルセット計 24 個をクラスとして用いる．表 2 にクラスとなるラベルの組み合わせを示す．実験データ中の不要語は取り除く．
算用数字は*に変換し，数字列の長さにのみ着目する．文字列は全て小文字に変換する．
第 1 の実験では，実験データに先頭から各クラスに該当する

250 文書を情報源領域，中間領域，対象領域に用いる．各領域の文書数は 1000 文書であり合計は 3000 文書である．各クラスのサブクラス中で最もコサイン類似度の低い組み合わせを情報源領域と対象領域とし，2 つの領域に対して最も類似度が高くなるサブクラスを中間領域として使用する．コサイン類似度は以下の式より求める．

∑Vcos(x, y) = √∑Vixi · yi

√∑
V

x2i ·
i

(9)

yi2
i

ここで，x,y はサブクラスに対応し，xi ，yi は i 番目の単語

P (zi |zi−1 ，wi )∝pus はニュース記事であることから，該当のクラス内で繰りinw
zi ,i\i + β

ndzi ,i\i + α(.)

dnzi ,i\i + V β n(.),i\i + T αの出現確率である．V は単語の種類数である．コサイン類似度(8)w

は 0〜1 の値であり，類似度が高いほど 1 に近い値になる．情報源領域と対象領域に類似度が最も低くなるペアを用いること

式中の各変数は，nzii は単語 wi にトピック zi が割り当てらで，情報源領域の特徴により分類が行えない場合においても中(.)
れた回数，nzi は全単語中で zi が割り当てられた合計である．

間領域を用いることで高精度に分類が行えることを示す．比較

ndzi は，文書 d で zi が割り当てられた回数，nd(.) は d にトピッ

手法には単純ベイズ，N M T FST ，T T LSIT を用いる．単純ベクが割り当てられた合計である．V は単語の種類数であり，T

イズは各クラスの単語の出現確率を基にテスト文書を生成する

はトピック数である．α，β はディリクレ分布のパラメータであ尤度が最も高くなるクラスを決定する．N M T FST は中間領域

る．一括学習では単語 wi のトピックを zi,N \i より推定し，単を用いずに各文書の単語の出現確率を基に NMTF により対象

語列 wN 内で繰り返し学習するが，オンライン学習では，現在領域のクラスを推定する．T T LSIT は，式 3 より中間領域を用までの観測データ zi−1 を用いて wi のトピックを推定する．

いて対象領域のクラスを推定する．比較手法は単語を基に分類

提案手法は，更新された中間領域のパラメータを基に情報源を行うため，低頻度語の影響により分類精度が悪化する．この領域のトピック分布の再推定を行うことで θs を更新する．学ため，実験データ中で出現回数が 20 以下の単語を全て除外す

習文書集合が変化しない代わりに，中間領域から推定する情報

る．単語の種類数は 3199 である．

源領域のトピック分布を変化させることでストリーム中の特徴の変化に対応する．

6. 実

験

第 2 の実験では，テスト文書を時間順に 10 個の区間に分けて多クラス分類を行う．提案手法は，対象領域の区間に応じて中間領域の区間も遷移させ，トピック分布を更新する．比較手法には中間領域を変更しない場合を用いる．各区間の文書

実験では Reuters Corpus(RCV1) を用いて 2 つの実験を行

数はクラスごとに 250 文書の計 1000 文書である．情報領域はう．第 1 の実験では，多クラス分類を行う．比較手法との精度

先頭から 2 つの区間の 2000 文書とする．中間領域は続く 2 つの比較により提案手法を用いて高精度に文書分類が行えることの区間の 2000 文書である．提案手法では，対象領域の区間がを示す．第 2 の実験では，ストリーム中での多クラス分類を行推移するたびに中間領域の区間も 1 つ推移する．テスト文書

う．提案手法の中間領域を更新することで時間によるクラスのは，残りの 6 個の区間を対象領域として使用する．各クラス

特徴の変化に対応できることを示す．

には情報源領域とテスト文書の各区間のコサイン類似度の合計が最も低くなるサブクラスを用いる．実験に用いるサブク

Identifier Corpus Labels
C15

PERFORMANCE

単純ベイズ

N M T FSTT T LSIT

提案手法

0.788

0.828

0.808

0.940
0.848

C151

ACCOUNTS/EARNINGS

CCAT

C152

COMMENT/FORECASTS

MCAT

0.860

0.600

0.880

FUNDING/CAPITAL

GCAT

0.972

0.996

0.976

0.988

C172

BONDS/DEBT ISSUES

ECAT

0.132

0.664

0.740

0.872

C18

OWNERSHIP CHANGES

全体

0.688

0.851

0.912

C17

0.772
表9

再 現

率

C181

MERGERS/ACQUISITIONSC24CAPACITY/FACILITIESC31MARKETS/MARKETING

単純ベイズ

N M T FSTT T LSIT

提案手法

CCAT

CORPORATE/INDUSTRIAL

CCAT

0.648

0.896

0.792

0.929

GCAT

GOVERNMENT/SOCIAL

MCAT

0.726

0.968

0.978

0.977

GSPO

SPORTS

GCAT

0.700

0.713

0.744

0.898

GPOL

DOMESTIC POLITICS

ECAT

0.623

0.626

0.964

0.872

GVIO

WAR, CIVIL WAR

全体

0.674

0.801

0.869

0.913

GDIP

INTERNATIONAL RELATIONSGVOTEELECTIONS

表 10 適合率

M11

EQUITY MARKETS

単純ベイズ

N M T FSTT T LSIT

提案手法

M12

BOND MARKETS

CCAT

0.711

0.861

0.800

0.934

M13

MONEY MARKETS

MCAT

0.788

0.741

0.926

0.908

M131

INTERBANK MARKETS

GCAT

0.814

0.831

0.844

0.941

M132

FOREX MARKETS

ECAT

0.218

0.645

0.837

0.863

M14

COMMODITY MARKETS

全体

0.681

0.860

0.913

M141

SOFT COMMODITIESM143

ENERGY MARKETSMCATMARKETS0.786
表 11 f

値

区間 1

区間 2

区間 3

区間 4

区間 5

区間 6

合計

E11

ECONOMIC PERFORMANCE

提案手法

0.939

0.955

0.964 0.929

0.928

0.93

0.941

E12

MONETARY/ECONOMIC

更新無し

0.939

0.963

0.914

0.948

0.882

0.920

E13

INFLATION/PRICES

E131CONSUMER PRICESE21GOVERNMENT FINANCE

E211

EXPENDITURE/REVENUE

E212

GOVERNMENT BORROWING

ai は推定結果が正である数，ci は正であるが負と推定された

E51

TRADE/RESERVES

数，bi は正であると推定した中で正解が負である数である．こE512

MERCHANDISE TRADEの 2 つの式の調和平均である f 値を次のように定義する．

E71

LEADING INDICATORSECATECONOMICS

0.876

表 12 f 値の推移

Pi =

fi =

表 3 ラベル識別子

aiai + bi(11)

2 × Pi × Ri
Pi + Ri

6. 3 実 験 結 果
ラスは，”C15 C151 CCAT”，”M14 M143 MCAT”，”GDIP

表 9,10,11 に分類結果を示す．各 f 値は単純ベイズで 0.681，

N M T LST で 0.786，T T LSIT で 0.860，提案手法で 0.913 とGVIO GCAT”，”E71 ECAT”である．
トピックモデルの各パラメータの値はトピック数 100，ギブ
スサンプリングの繰り返し回数 200 回とし，事前分布のパラメータは α=0.1，β=0.01 とする．NMTF の各パラメータは，なっており，提案手法が最も高い値を示している．また，再現率，適合率においても提案手法の f 値は最も高精度になっている．12 より，全区間の f 値は更新を行う提案手法で 0.941，更新を行わない場合で 0.920 となっており中間領域を更新するこ

p=20 とする．

とで高精度になっている．表 4 より，各クラスの情報源領域

6. 2 評 価 方 法
実験の評価には f 値を用いる．f 値は再現率と適合率の調和平均であり，再現率は実際に正であるもののうち，正であると予測されたものの割合，適合率は正と予測したデータのうち，実際に正であるものの割合である．各ラベルの f 値を以下の式と対象領域のコサイン類似度は，CCAT で 0.556，MCAT で0.732，GCAT で 0.881，ECAT で 0.218 とクラスごとに大きく異なっている．

6. 4 考察

表 11 より，提案手法の f 値は T T LSIT と比較して+5.3%向で求める．

上しており，中間領域に LDA による潜在トピックを用いるこai
Ri =ai + ci(10)とでより高精度に分類が行えている．情報源領域と対象領域のコサイン類似度が 0.218 と最も低くなる ECAT では，中間領

CCAT

MCAT

GCAT

ECAT

C15 C152 CCAT

M11 MCATGSPO GCAT

E21 E212 ECATC15 C151 CCAT M14 M141 MCATGPOL GCAT

E71 ECAT

C18 C181 CCAT M13 M131 MCATGVIO GCAT

E11 ECAT

C31 CCAT

M14 M143 MCAT GPOL GVOTE GCAT E51 E512 ECATC17 C172 CCAT

M12 MCATGDIP GCAT

E13 E131 ECATC24 CCAT

M13 M132 MCATGDIP GVIO GCAT

E21 E211 ECAT

表 2 メインクラスとサブクラス
情報源領域

対象領域

コサイン類似度 (ST)

中間領域

コサイン類似度 (SIT)C15 C151 CCAT

C18 C181 CCAT

0.556

C31 CCAT

0.819

MCAT M14 M141 MCAT M14 M142 MCAT

0.732

M13 M132 MCAT

0.875

GCAT

GCAT GSPOGCAT GDIP

0.881

GCAT GPOL

0.935

ECAT

E71 ECAT

E21 E211 ECAT

0.218

GCAT GVIO

0.613

CCAT

表 4 各領域に用いるクラス

C15 C152 CCAT
C15 C151 CCAT
C18 C181 CCAT
C31 CCAT
C17 C172 CCAT
C24 CCAT

C15 C152 CCAT
1
0.670
0.946
0.937
0.777
0.875

C15 C151 CCAT
0.670
1
0.556
0.741
0.659
0.633

表5

M11 MCAT
M14 M141 MCAT
M13 M131 MCAT
M12 MCAT
M13 M132 MCAT
M14 M142 MCAT

M11 MCAT
1
0.849
0.886
0.878
0.941
0.889

M14 M141 MCAT
0.849
1
0.794
0.855
0.828
0.732

C18 C181 CCAT
0.946
0.556
1
0.898
0.745
0.891

C31 CCAT
0.937
0.741
0.898
1
0.790
0.885

C17 C172 CCAT
0.777
0.659
0.745
0.790
1
0.728

C24 CCAT
0.875
0.633
0.891
0.885
0.728
1

コサイン類似度 (CCAT)
M13 M131 MCAT
0.886
0.794
1
0.832
0.937
0.870

M14 M143 MCAT
0.878
0.855
0.832
1
0.885
0.834

M12 MCAT
0.941
0.828
0.937
0.885
1
0.921

M13 M132 MCAT
0.889
0.732
0.870
0.834
0.921
1

GCAT GDIP
0.881
0.972
0.966
0.962
1
0.973

GCAT GDIP GVIO
0.886
0.970
0.981
0.958
0.973
1

表 6 コサイン類似度 (MCAT)GCAT GSPOGCAT GPOL
GCAT GVIOGCAT GPOL GVOTE
GCAT GDIP
GCAT GDIP GVIOGCAT GSPO
1
0.898
0.899
0.905
0.881
0.886

GCAT GPOL
0.898
1
0.976
0.981
0.972
0.970

GCAT GVIO
0.899
0.976
1
0.963
0.966
0.981

GCAT GPOL GVOTE
0.905
0.981
0.963
1
0.962
0.958

表 7 コサイン類似度 (GCAT)

域を用いない単純ベイズと N M T FST の分類精度が非常に低く

分類の結果，提案手法の f 値は 0.913 と最も高精度に分類できなっている．これに対し，中間領域を用いた T T LSIT と提案手る．これにより，提案手法の有効性を示した．

法では，それぞれ 0.837，0.863 と高精度に分類が行えている．
このことから，関連度の低い領域の分類を行うために中間領域を用いた転移学習は有効であると考えられる．

T T LSIT は，中間領域を用いることで N M T FST と比較して精度が高くなっているが，提案手法と比較すると精度が低い．

T T LSIT は，ECAT のように N M T FST で転移学習が行えな
いクラスに対して有効である．しかし，CCAT，GCAT のように N M T FST で分類が行える場合は効果が低い．提案手法は，情報源領域と対象領域の類似度に関わらず，いずれの場合も高精度に分類が行える．また，提案手法の中間領域を更新することで更新を行わない場合と比較して精度が+2.1%上昇している．
このため，提案手法はクラスの時間変化に対応可能である．

7. 結

論

本研究では，中間領域からトピック分布を学習し，トピック
により情報源領域と対象領域を繋ぐ分類手法を提案した．文書

文

献[1] Banerjee, A., Basu, S.: Topic Models over Text Streams: A
Study of Batch and Online Unsupervised Learning, In Proc.
7th SIAM International Conference on Data Mining, 2007
[2] Bifet, A., Holmes, G., Pfahringer, B., Kirkby, R., andGavalda, R.: New ensenble methods for evolving data
streams. In KDD ’09, ACM, 2009[3] Blei, D. M.，Ng, A.Y. and Jordan, M.I.: Latent Dirichlet
Allocation, Journal of Machine Learning Research 3, pp.
993-1022, 2003.
[4] Canini, K.R., Shi, L., Griﬃths, T.L.: Online Inference ofTopics with Latent Dirichlet Allocation, Journal of Machine
Learning Research, Proceedings Track 5, pp.65-72, 2009[5] Ding, C., Li, T., Peng, W., Park, H.: Orthogonal Nonnegative Matrix Tri-Factorizations for Clustering, In KDD,
pp.126-135, 2006
[6] Hofmann, T.: Probabilistic Latent Semantic Indexing, SIGIR, 1999
[7] Hoﬀman, M.D., Blei, D.M., Bach, F.R.: Online Learning
for Latent Dirichlet Allocation, proc. 24th NIPS, pp.856-

E21 E212 ECAT
E71 ECATE11 ECATE51 E512 ECAT
E13 E131 ECAT
E21 E211 ECAT

E21 E212 ECAT
1
0.312
0.364
0.440
0.360
0.418

E71 ECAT
0.312
1
0.302
0.239
0.375
0.218

表8

E11 ECAT
0.364
0.302
1
0.918
0.940
0.923

E51 E512 ECAT
0.440
0.239
0.918
1
0.840
0.941

コサイン類似度 (ECAT)

864, 2010[8] Lewis, D.D., et al.: RCV1 (Reuters Corpus Volume 1), 2004,
www.daviddlewis.com/resources/testcollections/rcv1/[9] Rosenstein, M.T., Marx, Z., Kaelbling, L.P., Dietterich,
T.G.: To Transfer or Not To Transfer, In NIPS’05 Workshop on Transfer Learning, volume 898, 2005[10] Tan, B., Song, Y., Zhong, E., Yang, Q.: Transitive Transfer
Learning, In KDD’15, 2015[11] Wang, H., Nie, F., Huang, H., Makedon, F.: Fast Nonnegative Matrix Tri-Factorization for Large-Scale Data CoClustering, In IJCAI, pp.1553-1558, 2011[12] Zhang, Y., Yeung, D., A Regularization Approach to Learning Task Relationships in Multitask Learning, ACM Transactions on Knowledge Discovery from Data(TKDD), Volume 8 Issue3, 2014[13] Bouguelia, M., Belaid, Y., Belaid, A.: A Stream-Based
Semi-Supervised Active Learning Approach for Document
Classification, 12th International Conference on Document
Analysis and Recognition (ICDAR), 2013[14] Wang, P., Zhang, P., and Guo, L.: Mining Multi-label Data
Streams Using Ensemble-based Active Learning, SDM, pp1131-1140, SIAM/Omnipres，2012[15] Xioufis, E. S., Spiliopoulou, M., Tsoumakas, G., Vlahavas,
I.: Dealing with Concept Drift and Class Imbalance inMulti-Label Stream Classification, Proc. 22nd IJCAI, 2011

E13 E131 ECAT
0.360
0.375
0.940
0.840
1
0.844

E21 E211 ECAT
0.418
0.218
0.923
0.941
0.844
1