DEIM Forum 2014 C4-5

マルチモーダル関係トピックモデルによる多言語間関係予測坂田 洋介†

江口 浩二†† 神戸大学〒 657-8501 神戸市灘区六甲台町 1-1
E-mail: †sakata@cs25.scitec.kobe-u.ac.jp, eguchi@port.kobe-u.ac.jp
あらまし

複数の表現によるマルチモーダルデータとして，多言語データやテキストアノテーション付き画像データなどが挙げられるが，その解析手法の高度化が望まれている．その有望なアプローチの一つに潜在トピックモデルが挙げられる．本稿では，マルチモーダルデータにおいて複数の異なる表現を横断して未知の関係を予測できるような
潜在トピックモデルとして，マルチモーダル関係トピックモデルを提案する．これはユニモーダルデータを想定した

Gibbs-MedLDA に基づく関係トピックモデルを，マルチモーダルデータに発展させたものである．本稿では，提案するマルチモーダル関係トピックモデルの評価のため，日英二言語対訳文書集合を用いて，同一の内容をもつ日本語表
現と英語表現の関係を予測する実験を行う．
キーワード

潜在トピックモデル, 関係トピックモデル, マルチモーダルデータ, 多言語データ,MedLDA

1. は じ め にば複数の言語の単語) を同時に予測するために，マルチモーダル
関係トピックモデル (Conditionally independent generalized

複数の表現によるマルチモーダルデータとして，多言語対訳

RTM: CI-gRTM) を提案する．各モード間の関係を gRTM の文書データ [1] やテキストアノテーション付き画像データ [2]，リンク評価関数で表現することによってこのモデルを実現する．

テキストデータと引用論文リストで表現された学術文献デー

CI-gRTM は，CI-LDA や gRTM それぞれ単独では実現できな

タ [3] などが挙げられるが，その有望な分析手段の一つに潜在かった異なるモード間の関係及び各モードに対するデータの予トピックモデルが挙げられる．潜在トピックモデルとは，単語測を両方同時に実現できる．

の分布として表現されるトピックの混合分布によって文書を確

本稿では，CI-gRTM の評価のため，日英二言語対訳文書集合

率的に表現するモデルである．潜在ディリクレ配分法 (Latentを用いて，与えられた日本語表現と英語表現が同一の内容を表

Dirichlet allocation: LDA) [4] は広く受け入れられたトピックしたものであるか否かを予測する問題を考える．その際のベースモデルの 1 つである．

ラインとして，gRTM，及び RTM に基づく CI-RTM と比較す前述のようなマルチモーダルデータを扱える潜在トピックモデる．同様に，各言語に対する単語の予測性能について CI-gRTM

ルとして Conditionally independent LDA(CI-LDA) [1], [3], [5]を評価するために，ベースラインとして CI-LDA，CI-RTM，が提案されている．CI-LDA は LDA の拡張モデルであり，多gRTM と比較する．これらの実験によって，CI-gRTM が他の言語対訳文書データのモデル化にも使われている．しかし，モデルと比較して精度を落とすことなく関係及び単語の予測を

CI-LDA はマルチモーダルデータに対してモード (例えば言語)同時に行えることを示す．

を横断して共有される潜在トピックをモデル化することは可能であるが，異なるモード間の関係を直接予測することはできない．

2. 関 連 研 究
ここでは提案手法に関連した研究として，LDA 及び多モード

一方で，文書間の未知の関係を予測する研究の一つとして，の潜在トピックを推定するモデルである CI-LDA，文書間の関LDA を拡張した関係トピックモデル (Relational topic models:

係を予測するモデルである RTM と gRTM について説明する．

RTM) [6] がある．文書間の関係として，学術文献の参照・被参2. 1 LDA

照の関係や，ウェブのハイパーリンクが想定されている．文書

潜在的ディリクレ配分法 (Latent Dirichlet allocation: LDA)

をノードとし，文書間の関係をリンクとみなせばネットワーク[4] は代表的なトピックモデルの一つであり，ディリクレ分布を(グラフ) で表現できる．文書間の関係 (リンク) は両文書の潜在導入することによって文書を潜在トピックの多項分布として表トピックの関数 (リンク評価関数) として表される．また，従来現する．同様に潜在トピックを単語の多項分布として表現する．

の RTM はリンクの有無に関する観測数が不均衡である問題に

LDA のグラフィカルモデルを Fig.1 に示す．図中の D, Nd , K

対処していなかったのに対して，Generalized RTM(gRTM) [7]がそれぞれ文書数, 文書 d の単語数，トピック数を表している．

は正則化パラメータを導入することによってこの問題を解決しθd , ϕk はそれぞれ文書 d に関するトピックの多項分布パラメーている．これらのモデルはリンクの予測は可能であるが，マルタ，トピック k に関する単語の多項分布パラメータである．α, βチモーダルデータの想定を行っていない．

はそれぞれ θ, ϕ に対応するディリクレ事前分布のハイパーパラ

そこで本稿では，複数の異なる表現によるマルチモーダル
データに対してモード (例えば言語) 間の関係及びデータ (例えメータである．また，図中の網掛け部分は観測変数を表している．LDA における文書の生成過程を以下に示す．

を選択する．(ℓ ∈ {1, ..., L}, k ∈ {1, ..., K})(ℓ)(ℓ)
個の単語 wi に対し:(ℓ)（ a ）トピック zi ∼ Mult(θd ) を選択する．
(ℓ)(ℓ)（ b ）単語 wi ∼ Mult(ϕk ) を選択する．

（ 3 ）文書 d の言語 ℓ の Nd

LDA との違いは，言語の数だけ異なる ϕ を仮定するという点である．但し，異なる言語でも記事が同じものならば θ は共通のパラメータとなる．CI-LDA の周辺化ギブスサンプリングのための完全条件付き確率は以下の式の通りである．
(ℓ)

q(zi

(ℓ)

= k|wi= v (ℓ) , z−i , w−i , α, β (ℓ) ) ∝(ℓ)

kv(Cd,−i+ α)(Ck,−i+ β (ℓ) )∑′(ℓ)v(ℓ) β (ℓ)
v ′(ℓ) Ck,−i + V

ここで，上付き文字は ℓ 番目の言語であることを示している．

Fig. 1 LDA のグラフィカルモデル（ 1 ）D 個の文書に対して多項分布パラメータ θd ∼ Dir(α)
を選択する．(d ∈ {1, ..., D})（ 2 ）K 個のトピックに対して多項分布パラメータ ϕk ∼Dir(β) を選択する．(k ∈ {1, ..., K})（ 3 ）文書 d の Nd 個の単語 wi に対し:
（ a ）トピック zi ∼ Mult(θd ) を選択する．
（ b ）単語 wi ∼ Mult(ϕk ) を選択する．
ここで Dir はディリクレ分布，Mult は多項分布を表している．周辺化ギブスサンプリング [8] を用いて LDA の推定を行う
場合に用いる完全条件付き確率は以下の式の通りである．

q(zi = k|wi = v, z−i , w−i , α, β) ∝kv
(Cd,−i+ α)(Ck,−i
+ β)
∑
′
v
v ′ Ck,−i + V β

ここで，w = {wi } であり，w−i は w から wi を除いた集合

Fig. 2 CI-LDA のグラフィカルモデルである．同様に，z = {zi } であり，z−i は z から zi を除いたkv集合である．Cd,−i, Ck,−iはそれぞれ i 番目の単語の割り当て

2. 3 RTMを除いたトピック k が d 番目の文書に割り当てられた回数，ト

関係トピックモデル (Relational topic models: RTM) [6] は

ピック k が v 番目の語彙に割り当てられた回数である．V は語

テキストコンテンツ及びネットワーク構造 (リンク) の両方を考彙数を表している．

慮する LDA の拡張モデルである．RTM のグラフィカルモデル

2. 2 CI-LDA

を Fig.3 に示す．図中の η はリンク評価時の各トピックに対す

CI-LDA [1], [3], [5] は多言語対訳文書データやテキストアノ

る係数であり，値が大きい程対応したトピックが重視されるこテーション付き画像データなど，多モードを扱える LDA の拡とを表している．RTM における文書の生成過程を以下に示す．

張モデルである．マルチモーダルデータとして多言語対訳文書（ 1 ）D 個の文書に対して θd ∼ Dir(α) を選択する．(d ∈データを扱う場合，モードは言語に対応する．L 個の言語を想定した時の CI-LDA のグラフィカルモデルを Fig.2 に示す．上付き文字は言語を示している．CI-LDA における多言語対訳文
書の生成過程を以下に示す．以降，対訳関係があるものの中で全ての言語の記述を集めたものを 1 つの文書と定義する．但し，RTM のような言語を区別しないモデルに関しては，対訳関係の有無にかかわらず各言語それぞれの記述を 1 つの文書とする．
（ 1 ）D 個の文書に対して θd ∼ Dir(α) を選択する．(d ∈{1, ..., D}){1, ..., D})（ 2 ）K 個のトピックに対して ϕk ∼ Dir(β) を選択する．

(k ∈ {1, ..., K})（ 3 ）文書 d の Nd 個の単語 wi に対し:
（ a ）トピック zi ∼ Mult(θd ) を選択する．
（ b ）単語 wi ∼ Mult(ϕk ) を選択する．
（ 4 ）文書ペア d, d′ に対してリンク ydd′ ∼ ψ を選択する．
関数 ψ はリンクの評価関数で，2 つの文書間のリンクの確率分布を定義している．この関数は各文書のトピックの分布に依(ℓ)（ 2 ）L 個の言語及び K 個のトピックに対して ϕk ∼ Dir(β)

存している．ψ の中身は以下のように示される．

関係トピックモデル (Conditionally independent generalized

RTM: CI-gRTM) を提案する．CI-gRTM のグラフィカルモデ
ルを Fig.4 に示す．このモデルでは 2.4 節で述べた gRTM のリ
ンクの評価関数を利用してモードを横断した関係の有無に関する評価を行う．この時，z̄d 及び z̄d′ は互いに異なるモードに関するトピック割り当てとなる．また，各モードのトピックを同じトピック番号に対応させるため，CI-LDA と同様に θ は全モードで共通とする．マルチモーダルデータとして多言語対訳文書
データを扱う場合，言語数を 2 つと仮定した時の CI-gRTM における多言語対訳文書の生成過程を以下に示す．
（ 1 ）D 個の文書に対して θd ∼ Dir(α) を選択する．(d ∈{1, ..., D})（ 2 ）2 個の言語のそれぞれ ℓ 及び K 個のトピックに対して(ℓ)

ϕk ∼ Dir(β) を選択する．(ℓ ∈ {1, 2}, k ∈ {1, ..., K})(ℓ)(ℓ)
個の単語 wi に対し:(ℓ)（ a ）トピック zi ∼ Mult(θd ) を選択する．
(ℓ)(ℓ)（ b ）単語 wi ∼ Mult(ϕk ) を選択する．
′（ 3 ）文書 d の言語 ℓ の Nd
Fig. 3 RTM のグラフィカルモデル

ψ(ydd′ = 1|zd , zd′ , η) = σ(η T (z̄d ◦ z̄d′ ))ここで，z̄d = N1d∑i zd,i であり，◦ はアダマール積を表し，（ 4 ）文書 d の言語 1 と文書 d の言語 2 のペアに対してリン(1,2)

ク ydd′∼ ψ を選択する．

CI-gRTM では，CI-LDA における多言語対訳文書の生成過σ はシグモイド関数である．[6] では，指数関数や正規分布の累程に加えて，リンクの評価関数である ψ によるリンクの予測が積分布など，σ に代わる他の分布も利用されている．ここでは，追加されている．ψ は以下の式で与えられる．

一般的に用いられているシグモイド関数を用いたロジスティッ
ク尤度モデルを用いる [9]．これは，2 つの文書のトピック分布

(1,2)

(1)

(2)

(1)T

ψ(ydd′ = 1|zd , zd′ , U ) = {σ(z̄d(2)

U z̄d′ )}cの類似性を考慮した関数となっている．

2. 4 gRTM
Generalized RTM(gRTM) [7] は RTM のリンクの評価関数を拡張したモデルである．RTM では，リンクの評価関数はアダマール積を含んでいるため，同じトピック同士でしか相互作用を与えない．その結果，η の要素が正の値であるものと負の値であるものに分かれてしまう．負の値に対応するトピックはリンクの予測に対して直感的な理解に混乱を招くものとなる．
これを解決するために，gRTM では評価関数を以下のように定義している．
c
ψ(ydd′ = 1|zd , zd′ , U ) = {σ(z̄Td U z̄d′ )}ここで，U は K × K の重み行列であり，K はトピック数を表している．c は，リンクがあるペアと無いペアに偏りがある
時，それを解決するための正則化パラメータである．[7] では，

gRTM が全てのペアのトピックを考慮したモデルとなっている
ため，結果的に U の全ての対角要素が正の値となることが示されている．

3. マルチモーダルデータに対応した関係トピッ
クモデル
3. 1 CI-gRTM
2.2 節でも述べたように，マルチモーダルデータに対してモードを横断するトピックを表現するには CI-LDA を利用すればよい．しかし，CI-LDA は多モード間の関係を直接予測することはできない．この問題を解決するために，我々はマルチモーダル

Fig. 4 L=2 の場合の CI-gRTM のグラフィカルモデル

3. 2 周辺化ギブスサンプリングを用いた推定
MedLDA [10] は，変分ベイズ法に加えて最適化手法を導入
して潜在変数と未知パラメータの推定を行うモデルである．これは推定時に強い制約を仮定する必要があり，計算が複雑になる問題が発生する．この節では，制約仮定を置かない単純で効率的な周辺化ギブスサンプリング [8] による推定手法について述べる．周辺化ギブスサンプリングのアルゴリズムはデータ拡

張 [11] に基づいている．以下では，gRTM の周辺化ギブスサン

立する．

プリングに関する論文 [7] を参考にして，CI-gRTM の推定手法について述べる．まず，全ての潜在変数と未知パラメータに関q(η|Z, λ) ∝ p0 (η)

ここで，q(U, Θ, Z, Φ) は事後分布，p0 (U, Θ, Z, Φ) はモデルによって定義された事前分布，p(W|Z, Φ) は単語に関する尤度，

ψ(y|Z, U ) はリンクの疑尤度，ϕ(y, W) は q(U, Θ, Z, Φ) を正規分布にするための正規化定数である．ここからデータ拡張により，リンクの疑尤度 ψ を以下の式のように変形する [7], [11]．
(2)

ψ(ydd′ |zd , zd′ , U ) =)((1,2) (1,2) ∫(1,2) (1,2)2
exp(κdd′ ωdd′ ) ∞λdd′ ωdd′(1,2)
p(λdd′ |c, 0)dλd
exp −
2c
2
0
(2)
(1,2)
(1,2)
(1,2)
(1)T
ここで，κdd′ = c(ydd′ − 1/2)，ωdd′ = z̄d U z̄d′ であり，上式の λ が新たに拡張されたデータ拡張変数となる．c が(1,2)
大きいほど誤分類を許容した推定となる．また，p(λdd′ |c, 0)

は Polya-Gamma 分布 [11] に従い，以下の式を取る．

(1,2)

λ

ω

(1,2)2exp(κdd′ ωdd′ − dd′ 2 dd′
(1,2)

(1,2)

(1,2)

)p(λdd′ |c, 0)

更に，ここから (Θ, Φ) を周辺化し，マルコフ連鎖を構築する必要がある．CI-gRTM では，周辺事後分布は以下の式で表
される．

v (ℓ)
k
+ β (ℓ) )+ α)(Ck,−i(Cd,−i(ℓ)k(ℓ)(ℓ)
q(zdi = 1|Z−di , U, λ, wdi = v ) ∝ ∑(ℓ)v(ℓ) β (ℓ)
v (ℓ) Ck,−i + V

∏

k(ℓ)

(1,2)

ψ(ydd′ |λ, Z−di , zdi

∏

= 1)

k(ℓ)

(2,1)

ψ(yd′ d |λ, Z−di , zdi

d′ ∈Ndd′ ∈Nd

ここで，Nd = {d′ : (d, d′ ) ∈ I} は文書 d に関するリンク(1,2)

先の集合，I はリンクの集合を表しており，ψ(ydd′ |λ, Z) =
(1,2)

(1,2)

exp(κdd′ ωdd′ −(1,2) (1,2)2
λ ′ ω ′
dd
dd

) である．上式より，初項が LDA

2モデルの単語に関する完全条件付き確率に比例し，第 2 項がリ

である．

(

(1,2)

(1,2)2λ ′ ωdd′
− dd
2

(1,2)

)
(1,2)

p(λdd′ |c, 0)(1,2)= PG(λdd′ ; c, ωdd′ )上式から分かるように，λ の完全条件付き確率は Polya-

Gamma 分布に従う．ここで注意しなければならないのは，
データ拡張変数 λ は言語ごとに異なる値となることである．例(J,E)

えば，J を日本語，E を英語と仮定した時の λdd′

(E,J)

と λdd′

は異なるものとなる．
上記の 3 つの完全条件付き確率を反復させながら各パラメー

q(U, λ, Z) ∝ p0 (U )
∏

(
exp

K
D
∏
δ(Ck + β (ℓ) ) ∏ δ(Cd + α)
k=1

δ(β (ℓ) )δ(α))(1,2)2d=1(1,2)
λ ′ ωdd′(1,2) (1,2)
κdd′ ωdd′ − dd

2

dd′

(1,2)
p(λdd′ |c, 0)∏dim(x)

ここで，δ(x) =Γ(xi )
i=1であり，Ck = {Ckv }V∏dim(x)v=1 であΓ( i=1xi )り，Ckv は v 番目の語彙にトピック k が割り当てられた回数をk表している．同様に，Cd = {Cdk }K
k=1 であり，Cd は d 番目の文書内でトピック k が割り当てられた回数を表している．
以下では，周辺化ギブスサンプリングで用いる各パラメータの完全条件付き確率を示す．
重み行列 U について:(1,2)

Z の完全条件付き確率は以下の通りである．

p0 (U, Θ, Z, Φ)p(W|Z, Φ)ψ(y, λ|Z, U )ϕ(y, W)であり，この式は y 及び λ の疑同時確率分布である．

z̄dd′

トピック割り当て Z について:(1,2)
q(λdd′ |Z, U ) ∝ exp

dd′

×

分布から U の各要素をサンプリングすることが可能となる．

最後に，データ拡張変数 λ の完全条件付き確率は以下の通り

含んだ完全同時確率は以下のようになる．

∏(∑((1,2) (1,2) )µ=Σ
は事後平均であり，Σ = ν12 I +dd′ κdd′ z̄dd′∑(1,2) (1,2) (1,2)T )−1
である．この K 2 次元の多変量正規dd′ λdd′ z̄dd′ z̄dd′

データ拡張変数 λ について:

ここで，gi はガンマ分布 G(a, 1) に従う．これにより，λ をψ(y, λ|Z, U ) =(1) (2)T= vec(z̄d z̄d′

) と し ，η = vec(U ) と す る ．こ こで，vec(A) とは A の列ベクトルを連接したものである．こ
(1,2)

(1,2)

= η T z̄dd′ となる．また，U のガウス事前分布∏
を p0 (U ) = kk′ N (Ukk′ ; 0, ν 2 ) と仮定する時，以下の式が成の時，ωdd′)2ンク構造 y を表していることが分かる．

∞
1 ∑
gi
(1,2)
p(λdd′ |a, b) =2π 2 i=1 (i − 1/2)2 + b2 /(4π 2 )q(U, λ, Θ, Z, Φ) =

exp

(1,2)
(1,2)
λ ′ (η T z̄dd′ )2
(1,2)
(1,2)
κdd′ η T z̄dd′ − dd

= N (η; µ, Σ)

p0 (U, Θ, Z, Φ)p(W|Z, Φ)ψ(y|Z, U )q(U, Θ, Z, Φ) =ϕ(y, W)

(1)

(

dd′

する完全同時確率を以下に示す．

(1,2)

∏

タを推定することによって，マルコフ連鎖を構築することができる．周辺化ギブスサンプリングではこれらのパラメータの推定が収束するまで繰り返される．

4. 実

験

この章では，実験によって，提案手法である CI-gRTM で用いられる正則化パラメータ c の最適な値を導出する．そして，
リンク予測性能に関して CI-RTM 及び gRTM と比較し，更に，
単語予測性能に関して CI-LDA，CI-RTM，gRTM と比較し，それぞれの結果について考察する．

4. 1 データセット
実験において，データセットとして日英京都関連文書対訳
コーパス （注 1） を使用した．これは，京都の人物や建造物などを対象とした合計 14111 もの Wikipedia の記事データであり，
日本語及び英語の二言語の記事が用意されている．前処理とし（注 1）：http://alaginrc.nict.go.jp/WikiCorpus/= 1)

て，日本語英語共に全記事中で 5 記事以下しか出現しない低頻（注 2）

度語 [8] を除外した．また，日本語記事では MeCab

F 値及びパープレキシティの 2 つの評価指標について，正則を用い化パラメータ c を変化させた時のそれぞれの結果を測定した．cて形態素解析を行い，記号・接続詞などの機能語を除外し，英は負例に対しては 1 で固定し，正例に対しては {1,2,4,8,16} の語記事ではストップワード [12] を除外した．前処理後のデータ

5 通りで変化させて交差検定で決定した．対称ディリクレハイ

セットの情報を Table 1 に示す．本実験では，日本語-英語間のパーパラメータについては，α = 0.1, β (J) = β (E) = 0.01 に設対訳記事をリンクと仮定した．

定した．なお，β (J) , β (E) はそれぞれ日本語，英語に対する βである．多言語文書データに対応していない gRTM は β を言語

Table 1 前処理後のデータセット
日本語ごとに区別することができないため，両言語に対して β = 0.01

英語

文書数

14111

とした．トピック数は {5,10,15} の 3 通りでそれぞれ変化させ

単語数

2983136 4329650て実験を行った．初期設定として，トピックの割り当ては全て

語彙数

23979

ランダムに選択し，また λ の各要素は全て 1 とした．ギブスサ

34398

ンプリングにおける収束条件は，テストセット対数尤度を 10
回ごとに測定し，その変化率が 0.1%以下に収まった時とした．

4. 2 正則化パラメータ c の評価実験
ここでは，提案手法である CI-gRTM，推定及び予測時に重4. 3 既存手法との比較実験

み行列 U の対角成分のみを使用する CI-RTM，CI-gRTM の

ここでは，4.2 節の実験で導出した c を利用して，CI-gRTM

ベースとなっている gRTM の 3 つのモデルで使用する正則化がリンク及び各言語の単語を如何なる精度で予測できるかにパラメータ c の最適な値を求めるための評価実験を行った．前

関して既存手法との比較実験を行った．リンク予測の比較モデ

述のデータセットについては，14111 文書を文書単位でランダ

ルは CI-RTM 及び gRTM，単語予測の比較モデルは CI-LDA，

ムに 5 分割した．その内の 1 セットは予め次節の実験のテスト

CI-RTM，gRTM を用いた．データセットについては，4.2 節

文書として確保し，残りの 4 セットで 4 分割交差検定を行った．

の交差検定時に用いた 4 セットを用いて各モデルの潜在変数と交差検定時の検証に用いる文書セットを検証文書，訓練時に用未知パラメータを推定し，テスト文書を用いて予測を行った．

いる文書セットを訓練文書と呼ぶこととする．訓練文書に対し推定法，正例文書に対する負例文書の割合，再推定，評価指て，ギブスサンプリングを用いて未知パラメータの推定を行っ

標，ハイパーパラメータ，初期設定，収束条件は，4.2 節と全くた．この時，データセットの仕様として，リンクがある (正例)

同じ過程で実験を行った．トピック数は {10,15,20,25} の 4 通ペアに対してリンクが無い (負例) ペアの方が圧倒的に多い．[7]りでそれぞれ変化させて実験を行った．比較モデルに関してもでは，このような大きな偏りがあるデータでそのまま推定を行

CI-gRTM と同様の手順で実験を行った．そして，この実験でうと，正例の影響が負例に埋もれてしまうため，文書数の割合

は CI-gRTM と既存モデルとの比較が目的であるため，2 つのが正例文書数 1 に対し負例文書数 2〜10 となるように実験を評価指標に関して，既存モデルから見た CI-gRTM の改善率を行っている．本稿では，訓練時は正例と負例の割合が 1:2 にな測定した．

るように負例文書をランダムに抽出した．訓練時に推定した各4. 4 評価実験の実験結果及び考察

言語に対するトピック-単語分布を用いて，検証文書に関する文

CI-gRTM，CI-RTM，gRTM の 3 つのモデルを用いて，正則化パラメータ c をそれぞれ変化させた時の F 値の測定結果

書-トピック分布を再推定した．
そして，検証文書に対してリンクの予測性能を評価するためを Fig.5，Fig.6，Fig.7 に示す．Fig.5，Fig.6，Fig.7 でそれぞに，リンクの評価関数を用いて検証文書の全ペアについてリンれトピック数は 5，10，15 となっている．横軸は，正則化パラ

クの有無を判別し，リンクに対する F 値を求めた．F 値とは，

メータ c である．

予測結果の評価指標の 1 つであり，再現率と適合率の調和平均

全てのトピック数において，CI-RTM よりも CI-gRTM の方を取ったものである．また同様に，検証文書に対して単語の予が F 値が高いことが分かる．これは，多言語対訳文書のような測性能を評価するために，検証文書のパープレキシティを求め

マルチモーダルデータに対しても，全トピックペアを考慮する

た．パープレキシティは尤度の幾何平均の逆数であり，尤度は

gRTM のリンクの予測関数の方がより良い予測が可能であるか

以下の式から導出される．尤度の幾何平均は 1 単語ごとの平均らと考えられる．また，gRTM と CI-gRTM の F 値はどのトを取る．ここでの尤度はモデルからテスト文書 (又は検証文書)

ピック数においてもほぼ同じ値となっていることが分かる．こ

中の単語が生成される確率を指す．尤度は 0〜1 を取り，高い

れは，CI-gRTM が gRTM のリンクの評価関数を利用したモデほど汎化能力すなわち新たなデータに対する予測能力が高いこルになっているために，リンク予測において gRTM と同等なとを表している．そのため，パープレキシティは 1 以上の値を結果になったと考えられる．また，gRTM と CI-gRTM に関し取り，1 に近いほど予測能力が高いことを表している．

ては，全てのトピック数において c = 2 で最も F 値が高くなっている一方で，CI-RTM に関しては，いずれのトピック数でも

(ℓ)

Nd
L D∏
K
test ∏∏∑(ℓ)

Ckwi + β (ℓ)
Ck + α∑ d k′p(Dtest ) =∑wi ′ (ℓ)+ V (ℓ) β (ℓ)
k′ Cd + Kαℓ=1 d=1 i=1 k=1
w ′(ℓ) Cki

c = 16 で安定して F 値が高くなっている．これらの結果の違いは，gRTM 及び CI-gRTM は全トピックペアをリンクの評
価の計算に用いているため，トピック間の相互作用が大きくな（注 2）：http://mecab.googlecode.com/svn/trunk/mecab/doc/

り，大きな c では過学習を引き起こすため，最適な c は比較的

Fig. 5 トピック数 5 における F 値

Fig. 8 CI-gRTM におけるパープレキシティ

Fig. 6 トピック数 10 における F 値

Fig. 9 CI-RTM におけるパープレキシティ

Fig. 7 トピック数 15 における F 値

Fig. 10 gRTM におけるパープレキシティ

小さな値となっていると考えられる．また，全体的に絶対的なFig.9 より，多少ばらつきがあるものの，CI-RTM では c = 1

F 値が低くなってしまっている．これは，今回の実験ではデーの時に最もパープレキシティが小さくなっていることが分かる．

タセットとして対訳文書を用いていることにより，正例は 1 文

Fig.10 より，gRTM では c = 2, 4 の時にほぼ同じ値でパープレ書につき 1 つしか存在しない．そのため，類似した内容であっキシティが小さくなっていることが分かる．

たとしても正解とせずに評価しているからと考えられる．
次に，3 つのモデルに対するパープレキシティの測定結果

リンク及び単語の 2 種類の評価より，CI-gRTM では c = 2，

CI-RTM ではリンク予測においては c = 16，単語予測においを Fig.8，Fig.9，Fig.10 に示す．Fig.8 が CI-gRTM，Fig.9 がては c = 1，gRTM では c = 2 が最適値であると言える．次節

CI-RTM，Fig.10 が gRTM のパープレキシティとなっている．

の比較実験では上記の c の条件で実験を行う．

横軸はトピック数を表しており，図の左側から順にトピック数
は 5，10，15 となっている．縦軸はパープレキシティを表しており，値が小さい程良い性能であることを示している．

4. 5 比較実験の実験結果及び考察
4.4 節で導出した各モデルに対する正則化パラメータ c を用いてリンク予測における各モデルの性能比較を行った．CI-gRTM，Fig.8，Fig.9，Fig.10 より，全てのトピック及び c においてCI-RTM，gRTM の 3 つのモデルに対する F 値及び CI-gRTM

gRTM のパープレキシティの方が最も大きな値となっているこの改善率を Table 2 に示す．K はトピック数，パーセンテージとが分かる．これは，gRTM は言語を区別できないモデルでは改善率を表している．ここでの CI-RTM の c の値は 4.4 節あるため，1 つの記事には 1 つの言語の語彙しか現れないにもの 4 分割交差検定におけるリンク予測性能に基づいて 16 に設かかわらず，両方の言語の語彙を考慮する必要があり，考慮す定した．Table 2 より，全てのモデルでトピック数が上昇する

る語彙数が他のモデルに比べて多いからと考えられる．また，に連れて F 値も上昇しているが，その中でも CI-RTM は他の

Fig.8 より，CI-gRTM では全てのトピックにおいて c = 2 のモデルに比べて低い値となっていることが分かる．これは，4.4

時に最もパープレキシティが小さくなっていることが分かる．

節でも述べたように，全トピックペアを考慮する gRTM がよTable 2 リンク予測における CI-gRTM の改善率
K=10

K=15

K=20

K=25

CI-gRTM

0.007076

0.009784

0.0121520.015282

CI-RTM

0.001980

0.002268

0.003271

0.004464

CI-LDA存のモデルである CI-LDA とほぼ同等の単語予測性能を持つことを示した．
今後の課題として，他のマルチモーダルデータとして，テキ⇓ +257.4% ⇓ +331.4% ⇓ +271.4% ⇓ +242.4%

ストアノテーション付き画像データなどへの適用が考えられる．
また，今回は多言語対訳文書データとして日本語と英語の二言

CI-gRTM

0.007076

0.009784

0.0121520.015282

語のデータセットを用いたが，言語数を拡大しても対応できる

gRTM

0.006267

0.009990

0.012020

0.014311⇓ +12.90%⇓ -2.060%

ようにすることが考えられる．これは，CI-gRTM のパラメー

0.007076

0.009784

CI-gRTM⇓ +1.094% ⇓ +6.785%
0.0121520.015282

タである重み行列 U を多次元に拡張することで実現可能となるが，時間計算量も劇的に上昇するため何らかの工夫が必要とTable 3 単語予測における CI-gRTM の改善率
K=10
CI-LDA

K=15

K=20

なろう．

K=25

3695.203412.06

3056.85

2877.88⇓ -0.912%⇓ +1.103%⇓ +1.237%⇓ +0.621%

CI-gRTM3661.513449.693094.652895.75

CI-RTM3671.30

3568.073212.77

2931.03⇓ -0.267%⇓ -3.318%⇓ -3.677%⇓ -1.204%

CI-gRTM3661.513449.693094.652895.75gRTM

7815.396532.47

6092.295683.37

謝辞本研究の一部は，科学研究費補助金基盤研究 (B)（23300039）の援助による．

⇓ -53.150% ⇓ -47.191% ⇓ -49.204% ⇓ -49.049%
CI-gRTM3661.513449.693094.652895.75

り正確なリンク予測を可能にしているからと考えられる．
次に，単語予測における比較を行った．CI-gRTM，CI-LDA，

CI-RTM，gRTM の 4 つのモデルに対するパープレキシティ
及び CI-gRTM の改善率を Table 3 に示す．K はトピック数，
パーセンテージは CI-gRTM の改善率を表している．パープレ
キシティは小さい方が良いため，改善率は負である方がより改善されたということを表している．ここでの CI-RTM の c の値は 4.4 節の 4 分割交差検定における単語予測性能に基づいて1 に設定した．Table 3 より，全てのモデルでトピック数を大きくするとパープレキシティも小さくなるが，その中でも gRTM
が最も大きな値となることが分かる．4.4 節の考察同様，gRTM
は日本語と英語を区分することができないモデルであるため，考慮する語彙数が他のモデルよりも多くなった分パープレキシ
ティも大きくなったと考えられる．

Table 2 及び Table 3 より，まず CI-LDA と比較すると，パー
プレキシティは僅かに+1%程度性能が落ちたが，CI-LDA はリ
ンク予測ができないモデルであるため，CI-gRTM と異なり F
値は測定できない．次に CI-RTM と比較すると，全てのトピッ
クにおいてパープレキシティは約-1%程度改善され，多少のば
らつきはあるが F 値は約+250%の改善が見られた．gRTM と比較すると，F 値はトピック数 15 以外で+となり，パープレキ
シティも約-50%の改善が見られた．以上より，CI-gRTM はリ
ンク予測，単語予測それぞれに特化した各既存モデルに対して大きく予測性能を落とさず，既存モデルではできなかったリン
ク及び単語の予測を同時に行えるモデルであると言える．

5. お わ り に
本稿では，マルチモーダルデータに対するモード間の関係の同時予測を行うモデルとして CI-gRTM を提案し，既存のモデルではできなかった多モードのデータ予測とモードを横断した関係予測を同時に実現した．更に，CI-gRTM が既存のモデルである gRTM とほぼ同等のリンク予測性能を持ち，同じく既文

献[1] David Mimno, Hanna M Wallach, Jason Naradowsky,
David A Smith, and Andrew McCallum. Polylingual topic
models. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume
2-Volume 2, pp. 880–889. Association for Computational
Linguistics, 2009.
[2] David M Blei and Michael I Jordan. Modeling annotateddata. In Proceedings of the 26th annual international ACM
SIGIR conference on Research and development in informaion retrieval, pp. 127–134. ACM, 2003.
[3] Elena Erosheva, Stephen Fienberg, and John Laﬀerty.
Mixed-membership models of scientiﬁc publications. Proceedings of the National Academy of Sciences of the UnitedStates of America, Vol. 101, No. Suppl 1, pp. 5220–5227,
2004.
[4] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. the Journal of machine Learning
research, Vol. 3, pp. 993–1022, 2003.
[5] David Newman, Chaitanya Chemudugunta, and Padhraic
Smyth. Statistical entity-topic models. In Proceedings of the
12th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 680–686. ACM, 2006.
[6] Jonathan Chang and David M Blei. Relational topic models for document networks. In International Conference on
Artificial Intelligence and Statistics, pp. 81–88, 2009.
[7] Ning Chen, Jun Zhu, Fei Xia, and Bo Zhang. Generalized
relational topic models with data augmentation. In Proceedings of the Twenty-Third international joint conference on
Artificial Intelligence, pp. 1273–1279. AAAI Press, 2013.
[8] Thomas L Griﬃths and Mark Steyvers. Finding scientiﬁc
topics. Proceedings of the National academy of Sciences of
the United States of America, Vol. 101, No. Suppl 1, pp.
5228–5235, 2004.
[9] Kurt Miller, Michael I Jordan, and Thomas L Griﬃths.
Nonparametric latent feature models for link prediction.
In Advances in neural information processing systems, pp.
1276–1284, 2009.
[10] Jun Zhu, Amr Ahmed, and Eric P Xing. Medlda: maximum
margin supervised topic models for regression and classiﬁca-

tion. In Proceedings of the 26th Annual International Conference on Machine Learning, pp. 1257–1264. ACM, 2009.
[11] Nicholas G Polson, James G Scott, and Jesse Windle.
Bayesian inference for logistic models using polya-gamma
latent variables. Journal of the American Statistical Association, No. just-accepted, 2013.
[12] James P Callan, W Bruce Croft, and Stephen M Harding.
The inquery retrieval system. In Database and expert systems applications, pp. 78–83. Springer, 1992.