DEIM Forum 2016 D1-6

マージン最大化マルチモーダルトピックモデルによるマルチラベル分類
坂田 洋介†

江口 浩二†† 神戸大学大学院システム情報学研究科情報科学専攻 〒 657–8501 兵庫県神戸市灘区六甲台町 1-1
E-mail: †sakata@cs25.scitec.kobe-u.ac.jp, ††eguchi@port.kobe-u.ac.jp
あらまし

複数の表現によるマルチモーダルデータとして，多言語データやテキストアノテーション付き画像データなどが挙げられるが，その解析手法の高度化が望まれている．その有望なアプローチの一つに潜在トピックモデルが挙げられる．本稿では，マルチモーダルデータにおける複数の異なる表現の相互依存性を捉えつつ，マルチモーダル
データに付与されているラベルを予測する潜在トピックモデルを提案する．これはユニモーダルデータを想定した

Gibbs-MedLDA を，マルチモーダルデータに発展させたものである．本稿では，提案モデルの有効性を示すため，日英二言語対訳文書データ及びアノテーション付き画像データを用いて，データに付与されるラベルを予測する実験を
行う．
キーワード

トピックモデル, マルチモーダルデータ, マルチラベル分類

1. は じ め にれるラベルを予測する潜在トピックモデルである，Symmetric

Correspondence MedLDA(SCMLDA) を提案する．このモデ

近年，インターネットやソーシャルメディアの普及などによルは，ユニモーダルデータを想定した MedLDA を，マルチモー

り，テキストや画像をはじめとする，世の中に存在する離散デー

ダルデータに発展させたものである．本稿では，多言語比較可

タの量が爆発的に増大している．このようなデータの有効な解能データセット及びアノテーション付き画像データセットに対析手法の一つとして，トピックモデルが挙げられる．トピック

し，付与されたラベルの正解率を評価し，既存のトピックモデモデルは様々な離散データに対して解析がなされ得るが，テキルよりも高精度な分類が実現できることを示す．

ストデータを例に取ると，単語の分布として表現されるトピッ

本論文の構成は以下の通りである．第 2 章では，提案手法に関クの混合分布によって文書を確率的に表現するモデルを指す．

連したモデルの概要について説明する．第 3 章では，SCMLDA

トピックモデルを用いることにより，大量の文書集合から話題の概要に加え，モデル構築のためのパラメータ推定方法についになっているトピックを自動的に抽出することが可能となる．

て述べる．第 4 章では，SCMLDA によるラベル分類実験及びまた，文書に付与されるべきラベル (政治，スポーツ，医療など) が何であるかを予測するトピックモデルとして，Gibbs-

Maximum Entropy Discriminated LDA(MedLDA) [1] がある．
これは，代表的なトピックモデルである潜在ディリクレ配分法(Latent Dirichlet Allocation: LDA) [2] に最大マージン学習を導入することによって拡張したものである．予測ラベルは潜在トピックの関数で表され，この関数によってラベルの分類が可能となる．

その結果を示す．最後に，第 5 章で結論を述べる．

2. 関 連 研 究
ここでは提案手法に関連したモデルである LDA，CorrLDA，

SymCorrLDA，MedLDA について説明する．
2. 1 LDA
潜在的ディリクレ配分法 (Latent Dirichlet allocation: LDA)

[2] は代表的なトピックモデルの 1 つであり，文書を潜在トピッ

一方で，多言語比較可能文書データやテキストアノテーショ

クの多項分布として表現し，さらに多項分布の事前分布にディン付き画像データなど，複数の離散データで表現されるマル

リクレ分布を導入する．同様に潜在トピックを単語の多項分布

チモーダルデータがある．マルチモーダルデータは，情報量がとして表現する．LDA のグラフィカルモデルを図 1 に示す．図増大したり，構成が複雑であったりすることから，従来よりも1 中の D, Nd , K はそれぞれ文書数, 文書 d の単語数，トピック解析が困難であり，より有望な解析手法が望まれている．マル

数を表している．θ d , ϕk はそれぞれ文書 d に関するトピック

チモーダルデータを扱えるトピックモデルとして，Symmetricの多項分布パラメータ，トピック k に関する単語の多項分布パ

Correspondence LDA(SymCorrLDA) [3] がある．このモデル

ラメータである．α, β はそれぞれ θ, ϕ に対応するディリクレ

は，主として扱うモードを示す潜在変数を利用することによっ

事前分布のハイパーパラメータである．また，図中の網掛け部て，双方のモードの相互依存性をとらえたトピックの生成を分は観測変数を表している．LDA における文書の生成過程を可能とする．SymCorrLDA はマルチモーダルデータに対して，

以下に示す．ここで Dir はディリクレ分布，Mult は多項分布

モードを横断して共有されるトピックをモデル化することは可を表している．

能だが，ラベルを予測する機能は備えていない．

（ 1 ） D 個の文書に対して多項分布パラメータ θ d ∼ Dir(α)

そこで本稿では，マルチモーダルデータにおける複数の異なる表現の相互依存性を捉えつつ，マルチモーダルデータに付与さを選択する (d ∈ {1, · · · , D})．
（ 2 ） K 個のトピックに対して多項分布パラメータ ϕk ∼

D

α

θ
Nd

α(1)

γ

α(L)

θ(1)

π

θ(L)

z

D
Nd(L)

Nd(1)
z(1)

w
w(1)

z(L)
x(1)

w(L)

x(L)

φ K
φ(1)

φ(L)

β(1)

β(L)

K

β
図 1 LDA のグラフィカルモデル
図 3 SymCorrLDA のグラフィカルモデル

α(q)（ 4 ） 文書 d の L − 1 個の非ピボットモードにおける Nd

D

θ

(q)

個の単語 wdi に対し (q ∈ {1, · · · , p − 1, p + 1, · · · , L}):
(q)

Nd(1)
z(1)

z(p)

(p)

（ a ） トピック zdi ∼ Unif(zd1 , · · · , z

Nd(L)

Nd(p)

（b）

z(L)

(p)
(p)

dNd

) を選択する．

(q)(q)
単語 wdi ∼ Mult(ϕk ) を選択する．

ここで，Unif は一様分布を表している．
w(1)

w(p)

2. 3 SymCorrLDA

w(L)CorrLDA の問題点を改善したモデルとして，Symmetric
φ(1)

φ(p)

φ(L)

K

CorrespondenceLDA(SymCorrLDA) [3] がある．CorrLDA ではピボットモードを 1 つに定めてモデル推定を行っていたが，

β(1)

β(p)

SymCorrLDA では各単語に対してピボットモードをそれぞれβ(L)定めるフラグを潜在変数として表現する．これにより，多項分

図 2 CorrLDA のグラフィカルモデル

布を用いてピボットモードの割り当たる確率が調整できるため，

1 つのモードに偏ったモデル構築が回避できるようになる．
Dir(β) を選択する (k ∈ {1, · · · , K})．

モード数を L とする時のグラフィカルモデルを図 3 に示す．

（ 3 ） 文書 d の Nd 個の単語 wdi に対し (i ∈ {1, · · · , Nd }):図 3 中の π はピボットフラグの生成に関する多項分布パラメー（ a ） トピック zdi ∼ Mult(θ d ) を選択する．

タであり，DL 次元で表される．γ は π に対するハイパーパラ（ b ） 単語 wdi ∼ Mult(ϕk ) を選択する．

メータである．SymCorrLDA におけるマルチモーダルデータ

2. 2 CorrLDAの生成過程を以下に示す（注 1）．3-c で表記されている zd

Correspondence LDA(CorrLDA) [4] は，多言語比較可能文(m)(m)
モード m(m ̸= ℓ) におけるトピック集合 {zd1 , · · · , z (m) } のdN

書データやテキストアノテーション付き画像データなど，複数

うち，ピボットモードフラグが m となるトピックの集合を表

言語 (複数モード) を扱える LDA の拡張モデルである．このモ

している．

(m)

は，

d

デルはいずれかの 1 つのモード側について，基準となるトピッ（ 1 ） D 個の文書に対し:クを生成する．選択された側のモードをピボットモードと呼ぶ．

（ a ） L 個のモードに対して θ d ∼ Dir(α(ℓ) ) を選択する．

他のモードに対しては，ピボットモードで生成されたトピック（ b ） π d ∼ Dir(γ) を選択する．

を利用する．モード数を L とし，ピボットモードを p とする時

（ 2 ） K 個のトピック及び L 個のモードに対して ϕk

(ℓ)

(ℓ)

∼

のグラフィカルモデルを図 2 に示す．上付き文字 (·) はモード

Dir(βのインデクスを示す．CorrLDA におけるマルチモーダルデー（ 3 ） 文書 d のモード ℓ における Nd 個の単語 wdi に対し:

(ℓ)

（a）

（ 1 ） D 個の文書のピボットモード p に対して θ d ∼ Dir(α)（b）

を選択する．

する．
(ℓ)

Dir(β

(ℓ)

) を選択する (ℓ ∈ {1, · · · , L})．

(p)

wdi に対し:（b）(p)
トピック zdi ∼ Mult(θ d ) を選択する．
(p)(p)
単語 wdi ∼ Mult(ϕk ) を選択する．

(ℓ)
ピボットモードフラグ xdi ∼ Mult(π d ) を選択する．
(ℓ)
(ℓ)
(ℓ)
(xdi = ℓ) の場合，トピック zdi ∼ Mult(θ d ) を選択

(ℓ)

(ℓ)

(m)

（ c ） (xdi = m) の場合，トピック zdi ∼ Unif(zd

) を選

択する．
(p)

（ 3 ） 文書 d のピボットモード p における Nd
（a）

∼

(ℓ)

(ℓ)

タの生成過程を以下に示す．

（ 2 ） K 個 の ト ピック と L 個 の モ ー ド に 対 し て ϕk

) を選択する．

個の単語（注 1）：福増らの論文 [3] では，ピボットモードフラグが自身のモードと異なる
場合，それを明確に区別するために，トピック z ではなく y を定義している．本
論文では，グラフィカルモデルの複雑さを回避するため，トピック割り当てで使用する変数を z に統一する．

D

α

θ
Nd

z

α(1)

γ

α(L)

θ(1)

π

θ(L)

r

Nd(L)

Nd(1)
z(1)

w
w(1)

φ K

D

z(L)

r

x(1)

w(L)

x(L)

η
η

β

φ(1)

φ(L)

β(1)

β(L)

K

図 4 MedLDA のグラフィカルモデル

図 5 SCMLDA のグラフィカルモデル

(ℓ)

(ℓ)

（ d ） 単語 wdi ∼ Mult(ϕk ) を選択する．

2. 4 MedLDA
Maximum Entropy Discriminated LDA(MedLDA) [1] は，

SCMLDA) を提案する．SCMLDA のグラフィカルモデルを図

マージン最大化法と呼ばれる教師ありの枠組みにおいて，潜在5 に示す．このモデルは，2. 3 節で述べた手法で各モードのトトピックを特徴として用いつつ，その潜在トピックを推定する

ピックを推定し，その各モードのトピックを利用してラベルにモデルである．MedLDA のグラフィカルモデルを図 4 に示す．

関する評価を行う．また，SCMLDA におけるマルチモーダル

図 4 中の r は文書に付与されたラベルである．また，η はラベ

データの生成過程を以下に示す．

ル評価時の各トピックに対する重み係数であり，値が大きいほ（ 1 ） D 個の文書に対し:ど，対応したトピックが対象のラベルに関わっていることを表（ a ） L 個のモードに対して θ d ∼ Dir(α(ℓ) ) を選択する．

している．MedLDA における文書の生成過程を以下に示す．

（ b ） π d ∼ Dir(γ) を選択する．

（ 1 ） D 個の文書に対して θ d ∼ Dir(α) を選択する．

（ 2 ） K 個のトピック及び L 個のモードに対して ϕk

(ℓ)

(ℓ)

∼

（ 2 ） K 個のトピックに対して ϕk ∼ Dir(β) を選択する．

Dir(β (ℓ) ) を選択する．

（ 3 ） 文書 d の Nd 個の単語 wdi に対し:

（ 3 ） 文書 d のモード ℓ における Nd 個の単語 wdi に対し:

（ a ） トピック zdi ∼ Mult(θ d ) を選択する．

（a）（ b ） 単語 wdi ∼ Mult(ϕk ) を選択する．

（b）（ 4 ） D 個の文書に対してラベル rd ∼ F (zd , η) を選択する

する．

(ℓ)

(ℓ)

(ℓ)
ピボットモードフラグ xdi ∼ Mult(π d ) を選択する．
(ℓ)
(ℓ)
(ℓ)
(xdi = ℓ) の場合，トピック zdi ∼ Mult(θ d ) を選択

(ℓ)

(ℓ)

(m)

(rd ∈ {1 . . . R})．

（ c ） (xdi = m) の場合，トピック zdi ∼ Unif(zd関数 F はラベル評価関数で，各文書に付与されたラベルの尤度

択する．

を定義している．この関数は各文書のトピック分布に依存して（ d ） 単語 wdi ∼ Mult(ϕk ) を選択する．

いる．F の中身は以下のように示される．

（ 4 ） D 個の文書に対してラベル rd ∼ F (zd , . . . zd , η)

(ℓ)

) を選

(ℓ)

(1)

(L)

を選択する．

F (zd , η) = argmax(η rT z̄d )(1)r

ここで，z̄d = N1d∑

但し，2 章と同様に，上付き文字 (·) はモードのインデクスを示す．SCMLDA では，SymCorrLDA におけるマルチモーダ

i vdi であり，vdi は K 次元のベクトルで zdi が示すトピックに対応する成分が 1，それ以外の成分が 0となる．η は RK 次元のベクトルであり，{η 1 . . . η R } である．
また，η r は K 次元のベクトルであり，ラベル r に対する各トピックの重み関数である．この値が大きいほど，対象トピック

ルデータの生成過程に加えて，ラベル評価関数である F による
ラベルの予測が追加されている．MedLDA では 1 つのモードしか考慮しないため，ラベル評価を行う評価関数 F は zd 及び

η のみで評価される．一方，SCMLDA では L 個のモードを考慮するため，F は以下のように定義される．

が対象ラベルに密接に関連していることを示している．

3. マルチモーダルデータに対応したラベル分類
トピックモデル

L
∑
(ℓ)
(L)
(1)
z̄d ))
F (zd , . . . , zd , η) = argmax(η rT (
r

(2)

ℓ=1

3. 2 周辺化ギブスサンプリングを用いた推定
3. 1 SCMLDA

この節では，モデルの推定手法として，制約仮定を置かない

2. 4 節でも述べたように，テキストや画像データのラベル分類

単純で効率的な周辺化ギブスサンプリング [5] による推定についを行うためには MedLDA を利用すれば良い．しかし，MedLDAて述べる．周辺化ギブスサンプリングのアルゴリズムはデータ

は多モード間の相互依存性を利用したラベル分類ができない．

拡張 [6] に基づいており，MedLDA でも使用されている．以下

この問題を解決するために，我々はマージン最大化マルチモー

では，MedLDA の周辺化ギブスサンプリングに関する論文 [1]ダルトピックモデル (Symmetric Correspondence MedLDA:

(

)
D
∑
λj + crdj d j
λd
d=1
( ∑
)
∑L
D
(ℓ)
(ℓ)
∑
( L
∆(a = b)j −12ℓ=1 z̄da ) · (ℓ=1 z̄db )
+c
(Σ
)ab =
ν2
λjd

に従って SCMLDA の推定手法について述べる．まず，全てのµj = Σj

潜在変数と未知のパラメータに関する同時分布を以下に示す．

p(η, Θ, Z, Φ, Π, X|W, r)∝ p0 (η, Θ, Φ, Π)p(Z|Θ, X)p(X|Π)p(W|Z, Φ)ψ(r|Z, η)cd=1∆(·) は，(·) 内が真であれば 1，そうでなければ 0 を返す関数で(ℓ)

ここで，p0 (η, Θ, Φ, Π) はモデルによって定義された事前分布

ある．また，z̄dk は，モード ℓ における文書 d のうち，割り当である．また，ψ(r|Z, η) はラベルの疑尤度であり，ψ(r|Z, η) =
∏D ∏R
(L)
j (1)
j
d=1
j=1 ψj (rd |zd , · · · , zd , η) である．rd は，文書 d にたっているトピック k の割合を表している．この多変量正規分

ラベル j が付与されている場合は 1，それ以外の場合は-1 を返3. 2. 2 トピック Z 及びピボット X に関する完全条件付き

布から η j の各要素 ηkj をサンプリングすることが可能となる．
確率の導出

す 2 値変数である．ここからデータ拡張により，ψj を以下のトピック割り当ては，全モードに対して各単語それぞれに単式のように変形する [1], [6]．

語を割り当てていく．また，各単語に割り当てられたピボット
(L)

(1)

ψj (rdj |zd , . . . , zd , η)()∫ ∞(λjd + cζdj )2
1
√
=
exp −
dλjd
2λjd
0
2πλjd
j ∑L

jT (ℓ)z̄d であり，上の式の λ が新たℓ=1 η

ここで，ζdj = l − rdに拡張されたデータ拡張変数となる．l は損失パラメータであモードフラグによりトピック割り当ての完全条件付き確率が異(ℓ)

なる．ここでは，ピボットモードフラグ xdi が自分自身のモード ℓ である場合，及びそうでないモード m である場合のそれ(ℓ)

ぞれに対し，トピック割り当て zdi に関する完全条件付き確率を導出する．式 (3) から (η, λ) を周辺化することによって，以下の式が成立する．

る．rdj に対して λjd が対応しており，λ は RD 次元のベクトル(ℓ)となる．正則化パラメータ c が大きければ大きいほど，誤分類を許容した推定となる．これにより，λ を含んだ同時分布は以

(ℓ)

(ℓ)

(ℓ)

(ℓ)

(ℓ)

p(zdi = k, xdi = ℓ|wdi = v (ℓ) , W−di , Z−di , X−di , α, β, γ, η, λ)∝下のようになる．

(ℓ)
k(ℓ)
v(ℓ)
Cd,−di + γ
Cd,−di + α(ℓ)
Ck,−di + β (ℓ)
∑
∑
∑
(ℓ)
(ℓ′ )
k′ (ℓ)v ′ (ℓ)Cd,−di + ℓ′ ̸=ℓ Cd + Lγ k′ Cd,−di + Kα(ℓ) v′ (ℓ) Ck,−di + V (ℓ) β (ℓ)×

p(η, λ, Z, X|W, r) ∝ p0 (η)p(W, Z, X|α, β, γ)ψ(r, λ|Z, η) (3)

R
∏



exp 

j=1

(ℓ)

(
)
∑
j
k′
cηkj rdj (cl + λjd ) − 2c (ηkj + K
k′ =1 ηk′ Cd,−di )
 (4)
(ℓ)
Nd λjd
(ℓ)

(ℓ)

(ℓ)

(ℓ)

(ℓ)

p(zdi = k, xdi = m|wdi = v (ℓ) , W−di , Z−di , X−di , α, β, γ, η, λ)ここで，ψ(r, λ|Z, η) =

R ∏
D
∏

(
√

j=1 d=1

1

exp

2πλjd

−(λjd + cζdj )2
2λjd

)

∝

(m)
k(m)
v(ℓ)
Cd,−di + γ
Cd,−diCk,−di + β (ℓ)
∑
∑
(m)
(m′ )
k′ (m) ∑v ′ (ℓ)(ℓ) β (ℓ)
Cd,−di + m′ ̸=m Cd,−di + Lγ k′ Cd,−div ′(ℓ) Ck,−di + V

)
(
∑
j
k′
cηkj rdj (cl + λjd ) − 2c (ηkj + K
k′ =1 ηk′ Cd,−di )
 (5)
×
exp 
(ℓ)
Nd λjdj=1
R∏であり，上式は r 及び η の同時確率分布である．ここからは，

さらに周辺化を行うことによって，周辺化ギブスサンプリング

3. 2. 3 データ拡張変数 λ に関する完全条件付き確率の導出

で用いる各パラメータの完全条件付き確率をそれぞれ示す．

λ は RD 次 元 の ベ ク ト ル で あ り，p(λ|η, Z) =∏R ∏Dj
d=1 p(λd |η, Z) と変形できる．ここではラベル j に
j=1

3. 2. 1 重みベクトル η に関する完全条件付き確率の導出
η は RK 次 元 の ベ ク ト ル で あ り，p(η|λ, Z, X) =∏Rj
j=1 p(η |λ, Z, X) と変形できる．ここではラベル j に対する

対するデータ拡張変数 λjd に関する条件付き確率を導出する．

重みベクトル η j に関する条件付き確率を導出する．また，η j∏j
2のガウス事前分布を p0 (η j ) = K
k=1 N (ηk ; 0, ν ) と仮定する．

成立する．

式 (3) から (λ, Z, X) を周辺化することによって，以下の式が
成立する．

(

D
∏

(λj + cζ j )2p(η |λ, Z) ∝ p0 (η )exp − d j d
2λd
d=1
j

j

)

j

よって，p(η j |λ, Z) は平均 µj ，標準偏差 Σj となる多変量正規分布の形を取る．µj 及び Σj の逆行列に関する要素 (Σjは以下の通りである．

)

1

ized inverse Gaussian) 分布である．GIG 分布の確率密度関数= N (η ; µ , Σ )j((λj + cζ j )2√
exp − d j d
2λd
2πλjd
(
)
1
= GIG λjd ; , 1, c2 (ζdj )22p(λjd |η, Z) ∝ここで，GIG(λd ; 12 , 1, c2 ζd2 ) は一般化逆ガウス (GIG: General-D∑(λjd + cζdj )2
ηkj2−∝ exp(−
)
2ν 2
2λjd
d=1
k=1
K
∑

j

式 (3) から (η, Z, X) を周辺化することによって，以下の式が

−1

)ab

は以下の通りである．e(p, a, b) は正規化定数である．
(
))
(
1 b
p−1
+ ax
GIG(x; p, a, b) = e(p, a, b)x
exp −
2 x
上記の 3 つの完全条件付き確率を反復させながら各パラメー
タを推定することによって，マルコフ連鎖を構築することができる．周辺化ギブスサンプリングでは，これらのパラメータの値が収束するまで繰り返し推定を行う．

4. 実

徴点の検出法として，bag-of-visual-words による画像分類問題

験において有効とされている dense sampling [9], [12] を用いた．

こ の 章 で は 2 つ の 実 験 を 行 う．ま ず，提 案 手 法 で あ る

dense sampling において，グリッド幅を 30 × 30 ピクセル，局SCMLDA 及び既存手法である MedLDA で用いられる正則

所特徴記述子のスケールを 30 ピクセルとした．局所特徴量を化パラメータ c に関する最適値の導出実験を行う．次に，導出

計算後，K-means アルゴリズムを用いてクラスタリングを行した最適値 c を用いて SCMLDA と MedLDA のラベル分類性い，visual words に変換した．K-means におけるクラスタ数は能を比較する実験を行い，結果について考察する．

1000,5000,10000 の 3 通りとした [12], [13]．前処理後のデータ

4. 1 データセット

セット B の情報を表 2 に示す．

実験において，2 種類のデータセットを用いた．1 つ目のデー

表 2 前処理後のデータセット B

タセットとして日英京都関連文書対訳コーパス（注 2） を使用した

Tag(以下データセット A とする)．これは，京都の人物や建造物な

Number of images

SIFT

HOG

25000

どを対象とした合計 14111 もの Wikipedia の記事データであNumber of labels

11り，日本語及びその英語翻訳の二言語の記事が用意されている．

Number of words

94283 5379100

また，各記事には，15 種類のラベル (学校，鉄道，旧家，建造

Size of vocabulary

1386

4889792{1000，5000，10000}

物，神道，人名，地名，伝統文化，道路，仏教，文学，役職，
歴史，神社仏閣，天皇) のうち最も関連性の高いラベルが 1 つ

次節以降の 2 つの実験を行うために，いずれのデータセット

付与されている．本実験では，極端な偏りが発生することを回でも分割を行った．まず，12299 文書及び 25000 画像それぞれ避するために，15 種類のラベルのうち，ラベル出現頻度が高いに関して，文書単位 (画像単位) で 5 分割した．そのうちの 1

上位 8 種類 (建造物，人名，伝統文化，仏教，文学，歴史，神セットは，4. 4 節で述べる既存手法との比較実験で使用するた社仏閣，天皇) のラベルが付与された記事を使用した．前処理

めに予め確保した．残りの 4 セットは，4. 2 節で述べる正則化

として，日本語英語共に全記事中で 5 記事以下しか出現しないパラメータ c の最適値を導出する実験にて 4 分割交差検定を行

低頻度語 [5] を除外した．また，日本語記事では MeCab（注 3） をうのに用いた．次節以降では，既存手法との比較実験で使用す

用いて形態素解析を行い，記号・接続詞などの機能語を除外し，る 1 セットのデータをテストデータ，残りの 4 セットのデータ

英語記事ではストップワード [7] を除外した．前処理後のデーを開発データと呼ぶことにする．

タセット A の情報を表 1 に示す．

4. 2 開発データを用いた正則化パラメータ c の最適値導出
実験

表 1 前処理後のデータセット A

Japanese

English提案手法である SCMLDA 及び，既存手法である MedLDA

Number of documents

12299の 2 つのモデルにおいて，正則化パラメータ c に対する最適値

Number of labels

8を導出する実験を行った．本節では，各データセットの実験設

Number of words

25123773670911Size of vocabulary

23979

34398

定について説明する．
開発データに対して 4 分割交差検定によりラベル分類の予測性能を Accuracy にて評価した．Accuracy について，SCMLDA

2 つ目のデータセットとして MIRFLICKR-25000（注 4）を使用

及び MedLDA の 2 通りそれぞれに関して正則化パラメータ c

した (以下データセット B とする)．これは，写真共有コミュニを変化させた時の結果を測定した．但し，データセットの性質

ティサイト Flickr が提供している合計 25000 枚のテキストアノ

上，正例よりも負例の方が割合的に大きくなるため，ラベル j

テーション付き画像データセットである．各画像にはタグが付−+ −に対する正例の c を c+
j , 負例の c を cj とする時，cj , cj を以

与されており，その数は画像によって異なる．また，各画像に下のように調節した．

は，11 種類の general labels 及び 19 種類の sub-labels が複数付与されている．本実験では 11 種類の general labels(animals,

food, indoor, night, people, plantlife, sky, structures, sunset,
transport, water) をラベルとして使用した．前処理として，全

c+
j = ϵ
c−
j

nj
= ϵ × ∑R′j ′ =1 nj − nj

(6)
(7)

画像に対して付与されたタグが 20 回未満しか出現しない低頻ここで，nj はラベル j が付与された文書の総数である．また，度語を除外した．また，画像データに関しては，トピックモ

c の値を必要以上に大きくならないようにするため，負例ではデルに適用するため bag-of-visual-words 表現 [8], [9] へ変換を行った．画像データから bag-of-visual-words へ変換する際の局所特徴記述子として，SIFT [10] 及び HOG [11] を用いた．特なく正例を ϵ で固定した．トピック割り当ての確率式 (式 (4)，式 (5)) において，ラベルを考慮する項のみに c が含まれており，正例と負例の割合の偏りは最大でおよそ 1:24 となる．この
偏りを用いたまま負例を固定して正例を調節すると，c+j が非常に大きな値を取り，ラベルを考慮する項の影響が非常に大きく（注 2）：http://alaginrc.nict.go.jp/WikiCorpus/（注 3）：http://mecab.googlecode.com/svn/trunk/mecab/doc/（注 4）：http://press.liacs.nl/mirflickr/

なってしまうため，今回は正例を固定する方法をとった．ϵ は{1, 2, 4, 8, 16, 32, 64, 128} の 8 通りで変化させて実験を行った．但し，この範囲で極値が見つからない場合は，2 のべき乗

5000，10000 の 3 通りにして実験を行っているため，それぞれに従って候補値を追加して極値を求めた．対称ディリクレハイ

について結果を示す．visual words が 1000，5000，10000 におパーパラメータについては，α = 0.1，β = 0.01，γ = 1 に設定

ける Accuracy を図 7，8，9 に示す．また，タグのみを利用しした．損失パラメータ l は 1 とした．また，トピック数はデー

た MedLDA による Accuracy を図 10 に示す．

タセット A では 20，データセット B では 100 に設定した．初Ϭ͘ϱϱ

期設定として，トピック及びピボットの割り当ては全てランダϬ͘ϱ

ムに選択し，また，λ の各要素は全て 1 とした．周辺化ギブス
ところで，既存手法である MedLDA は 1 つのモードに関してのみしかモデル構築ができない．そこで，データセット A でĐĐƵƌĂĐǇ

Ϭ͘ϰϱ

サンプリングにおける収束条件は 200 回とした．

Ϭ͘ϰ
Ϭ͘ϯϱ
Ϭ͘ϯ

は，日本語記事と英語記事に対訳関係があり形式も類似してい^D>;^/&dнdĂŐͿ
DĞĚ>;^/&dͿ^D>;,K'нdĂŐͿ
DĞĚ>;,K'ͿϬ͘Ϯϱ

るため，日本語記事と英語記事のうち，同一の記事を結合させϬ͘Ϯ

て単一言語のデータセットとしてモデル構築を行った．一方，

ϭ

Ϯ

ϰ

ϴ

ϭϲ

ϯϮ

ϲϰ

ϭϮϴ

Ϯϱϲ

ϱϭϮ

ɸ

データセット B では，画像データから特徴抽出を行った SIFT
及び HOG と，テキストデータであるタグとでは情報の形式や情報量が大きく異なるため，双方で結合させずにそれぞれの特

図 7 データセット B における visual words の語彙数が 1000 の場合の Accuracy

徴を 1 つのモードと仮定し，それぞれのモードについて最適値を導出した．
Ϭ͘ϱϱϬ͘ϱ

双方のデータセットにおいて，SCMLDA 及び MedLDA をϬ͘ϰϱ

用いて，正則化パラメータ c をそれぞれ変化させて Accuracyを測定した．まず，データセット A の実験結果について述べる．
データセット A に対する Accuracy を図 6 に示す．エラーバー

ĐĐƵƌĂĐǇ

4. 3 最適パラメータ導出実験の結果及び考察

Ϭ͘ϰ
Ϭ͘ϯϱ
Ϭ͘ϯ

は標本標準偏差を示しており，横軸は正則化パラメータ c で用Ϭ͘Ϯϱ

いられる割合パラメータ ϵ，縦軸は Accuracy を示している．

Ϭ͘Ϯ

^D>;^/&dнdĂŐͿ
DĞĚ>;^/&dͿ^D>;,K'нdĂŐͿ
DĞĚ>;,K'Ϳ

ϭ

Ϯ

ϰ

ϴ

ϭϲ

ϯϮ

ϲϰ

ϭϮϴ

Ϯϱϲ

ϱϭϮ

ɸ

Ϭ͘ϴ
^D>
DĞĚ>

ĐĐƵƌĂĐǇϬ͘ϳϱ

図 8 データセット B における visual words の語彙数が 5000 の場合の Accuracy

Ϭ͘ϳ
Ϭ͘ϲϱ
Ϭ͘ϲ

Ϭ͘ϱϱ
Ϭ͘ϱϱ

Ϭ͘ϱ
Ϭ͘ϱ
Ϯ

ϰ

ϴ

ϭϲ

ϯϮ

ϲϰ

ϭϮϴ

ε

図6

データセット A における AccuracyϬ͘ϰϱĐĐƵƌĂĐǇ

ϭ

Ϭ͘ϰ
Ϭ͘ϯϱ
Ϭ͘ϯ

図 6 よ り，ϵ の 結 果 の 違 い は あ る が ，MedLDA よ り もϬ͘Ϯϱ

SCMLDA の方が大きな値となっていることが分かる．これϬ͘Ϯ^D>;^/&dнdĂŐͿ
DĞĚ>;^/&dͿ^D>;,K'нdĂŐͿ
DĞĚ>;,K'ͿϭϮ

は，MedLDA がモードを区別できないモデルであることから，双方のモードの相互依存性を捉えることができずに生じた差であると考えられる．

ϰ

ϴ

ϭϲ

ϯϮ

ϲϰ

ϭϮϴ

Ϯϱϲ

ϱϭϮ

ɸ

図 9 データセット B における visual words の語彙数が 10000 の場
合の Accuracy

また，SCMLDA では ϵ = 2 が，MedLDA では ϵ = 8 が最も大きな値を取っていることが分かる．SCMLDA と MedLDA
でそれぞれ最適値となる c が異なっている理由として，ラベル評価関数が異なることが挙げられる．SCMLDA は全モードのトピック分布をラベル評価の計算に用いているため，トピック間の相互作用が大きくなり，大きな c では過学習を引き起こし，
最適な c が比較的小さな値となったと考えられる．
次に，データセット B の実験結果について述べる．SIFT 及
び HOG では，visual words の異なり語数 (語彙数) を 1000，

SCMLDA では SIFT または HOG のいずれかを画像特徴モード，タグをテキストモードとして 2 種類のモードを用いてモデル構築を行っている．一方，MedLDA では SIFT，HOG，タグの 3 つのうちのいずれか 1 種類のモードを用いてモデル構築を行っている．図 6 と同様に，エラーバーは標本標準偏差，横軸は ϵ，縦軸は Accuracy を表している．
図 7，8，9 より，それぞれのモードにおける MedLDA より

4. 4 テストデータを用いた既存手法との比較実験ĐĐƵƌĂĐǇϬ͘ϱϱϬ͘ϱ

ここでは，4. 2 節で導出した最適値 c を利用して，2 種類のϬ͘ϰϱ

データセットに関して SCMLDA のラベル予測精度に関する既Ϭ͘ϰ

存手法との比較実験を行った．比較モデルは前節で最適値を導Ϭ͘ϯϱ

出した MedLDA を使用した．
比較実験では，4. 2 節の交差検定時に用いた 4 セットの開発

Ϭ͘ϯ
Ϭ͘Ϯϱ

データを用いて推定した未知パラメータを用いて，予め確保しDĞĚ>;dĂŐͿϬ͘ϮϬ͘ϭϮϱ Ϭ͘Ϯϱ

Ϭ͘ϱ

ϭ

Ϯ

ϰ

ϴ

ϭϲ

ϯϮ

ϲϰ

ϭϮϴ

図 10

ておいたテストデータ (1 セット) を用いてラベル予測を行った．
但し，潜在変数 Z についてはリサンプリングにより推定し直しɸ

データセット B におけるタグのみを用いた場合の Accuracy

た．パラメータ推定法，評価指標，ハイパーパラメータの値，
ギブスサンプリングにおける初期設定は，4. 2 節と同じ設定でも SCMLDA の方が大きな値を取っていることが分かる．これは，データセット A と同様に，テキストと画像特徴のような全く異なる形式を持つデータに関しても，相互的な依存性を捉えることによって分類精度が向上したと考えられる．また，

visual words の語彙数を相対的に比較すると，語彙数が 1000の時，他よりも比較的に小さな値を取っていることが分かる．
データセット B の画像特徴側に出現する総単語数は，SIFT が5379100，HOG が 4889792 とタグよりも非常に大きな値となっている．このような大規模な情報に対し，粒度の粗いクラスタ
リングを行うことで，分類時に重要な情報を集約してしまい，
分類精度が落ちてしまったと考えられる．一方で，語彙数が5000 及び 10000 の時，この違いによる大きな変化は見られないことが分かる．そのため，これ以上細粒度のクラスタリングを行う意義は大きくないと考えられる．また，最適値となる ϵが，モデル内で使用するデータによってそれぞれ異なっている
ことが分かる．全体的な傾向として，タグを用いた MedLDA
では ϵ = 0.5〜1 近辺，それ以外のモデルでは ϵ = 128 近辺で極値を取っている．タグのみを用いた MedLDA とそれ以外のモデルとで最適値が大きく異なる理由として，テキストと画像
特徴では形式が大きく異なることが挙げられる．画像特徴の場
合，特徴量としての精度が粗いことから，ギブスサンプリング
におけるトピック割り当てにおいて，正則化パラメータを含む
ラベル項を重視した学習にすることにより Accuracy が上昇し実験を行った．MedLDA に関しても SCMLDA と同様の手順
で実験を行った．トピック数は，いずれのデータセットに関しても 10 から 10 刻みで 100 までそれぞれ変化させた．一般的には，トピック数は値を大きく取ると精度も良くなる傾向がある．しかし，値が大きくなるほど計算コストも増大してしまう
ため，今回はいずれのデータセットでも 100 で打ち切った．

4. 2 節と異なり，本節では実験で使用するデータが 1 セットしか存在しない．そのため，4. 2 節と同様の条件で実験を行うとエラーバーを付与することができず，Accuracy の信頼性も低くなってしまう．そこで，本節ではモデルの学習の反復回数について，160 回から 200 回まで 10 回ごとにパラメータの出力を行った．そして，5 通りの結果に関してそれぞれリサンプ
リング及び Accuracy の導出を行い，それらの平均を求めた．

4. 5 既存手法との比較実験の結果及び考察
4. 3 節で導出した各モデルの c を用いて，2 種類のデータセッ
トに関して各モデルのラベル予測性能比較を行った．まず，デー
タセット A に関する各モデルの Accuracy を図 11 に示す．横軸はトピック数，縦軸は Accuracy を示しており，エラーバー
は，反復回数 160 回から 200 回までについて 10 回ごとに出力した 5 通りそれぞれの結果に対する標本標準偏差を表している．図 11 より，いずれのモデルに関しても，トピック数を大きくすることによって Accuracy もゆるやかに上昇しているが，

SCMLDA の方がより良い値を取っていることが分かる．これは，4. 3 節でも述べたように，SCMLDA は，双方のモードのたと考えられる．
実験結果より，データセット A において，最適値となる ϵ は，

SCMLDA では ϵ = 2，MedLDA では ϵ = 8 となった．よって，次節の既存手法との比較実験においてはこれらの値を使用する．
また，データセット B においては，画像特徴を用いる場合，3種類の visual words に関して Accuracy を算出している．本節の実験にて決定した各種パラメータを表 3 にまとめる．4. 4 節

相互依存性を捉えることによって，マルチモーダルデータのラベル分類に適したトピックの構築が可能になると考えられる．
次に，データセット B に関する各モデルの Accuracy を図 12に示す．図 11 と同様に，横軸はトピック数，縦軸は Accuracy，
エラーバーは，反復回数 160 回から 200 回までについて 10 回ごとに出力した 5 通りそれぞれの結果に対する標本標準偏差を表している．

の比較実験では，表 3 の値を使用する．

図 12 より，データセット A の時と同様に，SCMLDA の方
表3

データセット B における最適値な ϵ 及び visual words 数が良い値を取っているが，データセット A と比較すると標本標

visual words

ϵ

準偏差が大きくなっていることが分かる．これは，データセッ

SCMLDA SIFT+Tag

10000

128

HOG+Tag

10000

64

ト A と B でそれぞれ導出した最適値 ϵ の違いによるものと考

SIFT

10000

128

HOG

10000

128

Tag

—

1

MedLDA

えられる．データセット B では，最適値となる ϵ を比較的大きな値に設定したため，トピック割り当ての際に用いられる確率式 (式 (4)，(5)) において，ラベルを考慮する項である第 4 項の影響が非常に大きくなる．そのため，パラメータが収束する

ĐĐƵƌĂĐǇ

Ϭ͘ϴ

が従来のラベル分類を行うトピックモデルである MedLDA よϬ͘ϳϱ

りも上回っていることを示した．
本研究では，提案モデルと既存モデルのいずれもトピックモϬ͘ϳ

デルが基となっており，従って分類問題を解くだけでなく潜在トピックを発見する利点を持つ．分類問題を解くという目的に

Ϭ͘ϲϱ

絞った場合の他手法との比較は今後の課題である．また，本実Ϭ͘ϲ^D>
DĞĚ>

験では SCMLDA に適用するモード数をいずれも 2 に設定して

Ϭ͘ϱϱ
ϭϬ

ϮϬ

ϯϬ

ϰϬ

ϱϬ

ϲϬ

ϳϬ

ϴϬ

ϵϬ

ϭϬϬ

EƵŵďĞƌŽĨƚŽƉŝĐƐ
図 11 データセット A における SCMLDA と MedLDA の比較結果

謝Ϭ͘ϲ

本研究の一部は，科学研究費補助金基盤研究 (B)（50321576）
文

Ϭ͘ϰϱ
Ϭ͘ϰ
Ϭ͘ϯϱ
^D>;^/&dнdĂŐͿ
DĞĚ>;^/&dͿ
DĞĚ>;^/&dнdĂŐͿ^D>;,K'нdĂŐͿ
DĞĚ>;,K'Ϳ
DĞĚ>;,K'нdĂŐͿ
DĞĚ>;dĂŐͿ

Ϭ͘ϯ
Ϭ͘Ϯϱ
Ϭ͘Ϯ

辞

の援助による．

Ϭ͘ϱĐĐƵƌĂĐǇ

と思われる．これらについても今後の検討課題である．

Ϭ͘ϲϱ

Ϭ͘ϱϱ

ϭϬ

ϮϬ

ϯϬ

ϰϬ

ϱϬ

ϲϬ

ϳϬ

ϴϬ

ϵϬ

ϭϬϬ

EƵŵďĞƌŽĨƚŽƉŝĐƐ

図 12

実験を行っている．実際はモード数が 3 以上の構築も可能であるが，計算コストの増大や過剰適合など，他の問題も発生する

データセット B における SCMLDA と MedLDA の比較結果

ための反復回数も大きくなり，繰り返し数 10 回ごとの出力に対する結果にばらつきが生じたと考えられる．
以上より，SCMLDA は，マルチモーダルデータにおけるラベル分類問題において，従来のラベル分類問題を解くトピック
モデルである MedLDA よりも高精度な予測が可能なトピック
モデルであると言える．

5. お わ り に本研究では，マルチモーダルデータにおけるモード間の相互依存性を考慮したトピックモデルである SymCorrLDA に，最大マージン学習を組み込んだ SCMLDA を提案した．SCMLDA
は，マルチモーダルデータに対しても，複数のモードを単一のモードに統合するような前処理を行うことなく，マルチラベル
分類が可能となる点において，従来と異なる．このモデルは，
マルチモーダルデータに付与された多値のラベルに対し，マル
チラベル分類を行うためのラベル評価関数を導入する．そして，評価関数及び SCMLDA の各パラメータの事後分布に対する最適化問題を解き，さらにデータ拡張の原理を用いて各パラメー
タを周辺化することにより，SCMLDA の周辺化ギブスサンプ
リングによるパラメータ推定を可能とする．
我々は実験にて，Wikipedia と Flickr のそれぞれから抽出された 2 種類のデータセットに対して，提案手法である SCMLDAのモデル構築を行い，パラメータの最適値を決定した．さらに，
その最適パラメータを用いて，Accuracy によりラベル分類の精度を評価した．実験結果より，SCMLDA のラベル分類精度

献[1] Jun Zhu, Ning Chen, Hugh Perkins, and Bo Zhang. Gibbs
max-margin topic models with data augmentation. The
Journal of Machine Learning Research, Vol. 15, No. 1, pp.
1073–1110, 2014.
[2] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent Dirichlet Allocation. the Journal of machine Learning
research, Vol. 3, pp. 993–1022, 2003.
[3] Kosuke Fukumasu, Koji Eguchi, and Eric P Xing. Symmetric correspondence topic models for multilingual text analysis. In Advances in Neural Information Processing Systems,
pp. 1286–1294, 2012.
[4] David M Blei and Michael I Jordan. Modeling Annotated
Data. In Proceedings of the 26th annual international ACM
SIGIR conference on Research and development in informaion retrieval, pp. 127–134. ACM, 2003.
[5] Thomas L Griﬃths and Mark Steyvers. Finding scientiﬁc
topics. Proceedings of the National academy of Sciences of
the United States of America, Vol. 101, No. Suppl 1, pp.
5228–5235, 2004.
[6] Nicholas G Polson, Steven L Scott, et al. Data augmentation for support vector machines. Bayesian Analysis, Vol. 6,
No. 1, pp. 1–23, 2011.
[7] James P Callan, W Bruce Croft, and Stephen M Harding.
The INQUERY Retrieval System. In Database and expert
systems applications, pp. 78–83. Springer, 1992.
[8] Gabriella Csurka, Christopher Dance, Lixin Fan, Jutta
Willamowski, and Cédric Bray. Visual categorization withbags of keypoints. In Workshop on statistical learning incomputer vision, ECCV, Vol. 1, pp. 1–2. Prague, 2004.
[9] Li Fei-Fei and Pietro Perona. A bayesian hierarchical model
for learning natural scene categories. In Computer Vision
and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on, Vol. 2, pp. 524–531. IEEE,
2005.
[10] David G Lowe. Distinctive image features from scaleinvariant keypoints. International journal of computer vision, Vol. 60, No. 2, pp. 91–110, 2004.
[11] Navneet Dalal and Bill Triggs. Histograms of oriented gradients for human detection. In Computer Vision and Pattern
Recognition, 2005. CVPR 2005. IEEE Computer Society
Conference on, Vol. 1, pp. 886–893. IEEE, 2005.
[12] Eric Nowak, Frédéric Jurie, and Bill Triggs. Samplingstrategies for bag-of-features image classiﬁcation. In Computer Vision–ECCV 2006, pp. 490–503. Springer, 2006.
[13] Adam Coates and Andrew Y Ng. The importance of encoding versus training with sparse coding and vector quantization. In Proceedings of the 28th International Conference
on Machine Learning (ICML-11), pp. 921–928, 2011.