DEIM Forum 2017 C5-4

アノテーション付き画像の感情分析における深層表現を伴った教師付き
トピックモデル
茂庭 綾香†

坂田 洋介††

江口浩二††† 神戸大学工学部情報知能工学科 〒 657-8501 兵庫県神戸市灘区六甲台町 1-1†† 神戸大学大学院システム情報学研究科情報科学専攻 〒 657-8501 兵庫県神戸市灘区六甲台町 1-1
E-mail: †moniaya@cs25.scitec.kobe-u.ac.jp, ††sakata@cs25.scitec.kobe-u.ac.jp,††eguchi@port.kobe-u.ac.jp
あらまし

近年，画像共有サイトなどの普及により，利用可能な画像データが増大の一途をたどっているが，利用者が自由に発信できるそのような画像データの多くは，統一的な基準で分類されていない点や，利用者により定義され付与されたタグを伴なう点などの特徴を有する．それらのタグ付き画像データの分析において筆者らは感情に基づく分類に着目する．すなわち，分析対象のタグ付き画像がポジティブな感情を印象付けるものであるか，あるいはネガ
ティブな感情を想起させるものであるかという観点での自動分類を行う．提案手法は，画像データに対して畳み込み
ニューラルネットワーク（Convolutional Neural Network: CNN）の全結合層の一つに着目することによって得た多項分布からサンプリングを行うことによって離散表現を抽出し，タグを構成するテキストデータとともに用いること
で，教師付きマルチモーダルトピックモデルを推定する．推定された潜在トピックは，画像とタグの特徴を反映しつ
つ，教師信号として与えた感情極性ラベルを反映したものとなり，ラベルが未知であるタグ付き画像データに対して
ラベル予測を実現する．画像共有サイト Flickr から抽出されたデータセットを用いて有効性の評価を行った結果，約66%の正解率を得た．
キーワード 感情分析, マルチモーダルデータ分析, 教師付きトピックモデル,CNN

1. は じ め に

マルチモーダルデータを扱う際には，異なるモード間の相互依存性をいかに表現するかが課題となる．文献 [8] では，各モースマートフォンやソーシャルメディアの普及に伴い，多くのドの特徴量をベクトルで表し共通の潜在空間に射影することで人々がテキストによるメッセージとともに画像を公開・共有す

対応している．本稿ではこの課題に対し，マルチモーダルデー

るようになった．そこには，投稿者が感じた気持ちや伝えたい

タに対応した教師ありトピックモデルの一種である Symmetric

感情が込められている．大量に存在するそれらの画像を感情にCorrespondence MedLDA（SCMLDA）を用いた手法を検証

基づいて分析することができれば，世論調査やマーケティング，

する．画像モードの特徴表現には CNN 特徴量を用いる．ただ表出している感情をキーとした画像検索などへの応用が期待でし，実数値ベクトルのままではトピックモデルで扱うことができる．

きないため，CNN の全結合層の一つを多項分布のパラメータ

このような画像の感情分類課題に対して，これまで様々な研とみなし，サンプリングを行うことで離散表現に変換する．ト

究が行われてきた．画像の特徴量の表現方法として，色ヒスト

ピックモデルにおける未知パラメータや潜在変数の推定には，グラムや SIFT 特徴量を使う手法 [10] や，心理学や芸術理論か

周辺化ギブスサンプリングを用いる．

ら設計した特徴量 [3] が提案されている．また，形容詞と名詞から成るフレーズ (Adjective Noun Pairs: ANP) [1] や画像中に存在する顔の表情 [4] を中間表現とする手法も提案されてい2. 関 連 研 究
2. 1 マルチモーダルデータとしての画像の感情分類

る．畳み込みニューラルネットワーク (Convolutional Neural

これまで，感情に基づいて画像を分類する様々な試みがなさ

Network: CNN) をファインチューニングする手法 [9] [11] は特れてきたが，その多くは画像をユニモーダルデータとして扱い，に良い結果を出しており，CNN における物体認識課題から感画像に付随したテキスト情報を活用する議論は十分でなかった．

情分類課題へのドメイン転移学習も有効であることが示されて

しかし，画像共有サイト等のソーシャルメディア上に投稿されいる [11]．

た画像には，タグや説明文等のテキスト情報が付随しているこ以上の研究では分類対象を画像のみのユニモーダルデータととが多い．文献 [8] ではこの点に着目し，分類対象を画像その捉えているが，画像だけでなくそれに付随するテキスト情報をものとテキストから成るマルチモーダルデータと捉えて，予測判断材料に加えた感情分類手法も成果を挙げている [8]．この精度を向上させることに成功した．本節では文献 [8] の概略をことから，本稿でも分類対象を画像とテキストから成るマルチ

述べる．

モーダルデータと捉え．それをポジティブな感情を表している

文献 [8] では，画像そのもの · 画像に付随したテキスト · テキ

ものとネガティブな感情を表しているものの 2 種類に分類する．

ストから抽出した感情語の３つのモードを利用して感情分類が行われた．異なるモードの特徴を同一空間上で扱うために，各

1. D 個の文書に対し:モードの特徴ベクトルが共通の埋め込み空間へ射影される．分（ a ） L 個のモードに対して θ d ∼ Dir(α(ℓ) ) を選択する．

類の手順としては，(1) 始めに各モードごとに特徴量を算出し，(2) それらを共通の埋め込み空間に射影した後，(3) 埋め込み空間における新たな特徴表現に対して線形 SVM を適用し，ポジ(ℓ)（ b ） π d ∼ Dir(γ) を選択する．
(ℓ)

2. K 個のトピック及び L 個のモードに対して ϕk ∼ Dir(β (ℓ) )を選択する．

ティブな感情・ネガティブな感情のいずれかへ分類される．
画像の特徴量には CNN 特徴量が用いられている．具体的には，ILSVRC 2012 データセットを用いて学習された 8 層 CNNに画像を入力した上で，7 層目の出力が画像の特徴量とされる．
感情語特徴には，SentiWordNet という感情語辞書のポジティ
ブスコア · ネガティブスコアが利用されている．SentiWordNetとは，WordNet で定義されている synset（同義語のグループ）

(ℓ)

(ℓ)

（ a ） ピボットモードフラグ xdi ∼ Mult(π d ) を選択する．
(ℓ)
(ℓ)
(ℓ)
(xdi = ℓ) の場合，トピック zdi ∼ Mult(θ d ) を選択

（b）

する．
(ℓ)

(ℓ)

= m(m ̸= ℓ)) の 場 合 ，ト ピック zdi（ c ） (xdi
（d）

(ℓ)

2. 2 マルチモーダルトピックモデル
Symmetric Correspondence LDA（SymCorrLDA）[6] はト
ピックモデルの一種であり，マルチモーダルデータに対してモード間の相互依存性を捉えながら潜在トピックを推定することができる．

∼⋆(m)
Unif(zd ) を選択する．
(ℓ)
(ℓ)
(ℓ)
単語 wdi ∼ Mult(ϕk ) を選択する．
（k = zdi ）に対して，そこに含まれる単語がどれだけポジティブであるか・
ネガティブであるかを点数で表した辞書である．

(ℓ)

3. 文書 d のモード ℓ における Nd 個の単語 wdi に対し:

(ℓ)

(ℓ)

ここで，θ d = {θdk } であり，θdk は文書 d のモード ℓ にお
(ℓ)

(ℓ)

いてトピック k が出現する確率である． ϕk = {ϕkv } であり，(ℓ)ϕkv はモード ℓ においてある単語のトピックが k である時，そ(ℓ)の単語が語彙 v である確率を表す．α(ℓ) ，β (ℓ) はそれぞれ θ d ，(ℓ)ϕk に対応するディリクレ分布のハイパーパラメータである．
(ℓ)

トピックモデルでは文書を，そこに含まれる単語の多重集合（Bag-of-Words）で表現する．例として，「国会で来年度の予算が可決されました」というニュース記事を考えると，この文書
は「国会」
「来年度」
「予算」
「可決する」という単語の集合として表される．それぞれの単語の背後にはトピックと呼ばれる潜在変数があり，個々の単語は背後にあるトピックから生成されxdi は，文書 d のモード ℓ における i 番目の単語のピボット
モードを表す潜在変数である．π d = {πdℓ } であり，πdℓ は文書 d においてモード ℓ がピボットモードとなる確率である．γは π d に対応するディリクレ分布のハイパーパラメータである．
(ℓ)

zdi は，文書 d のモード ℓ における i 番目の単語のトピックを⋆(m)表す潜在変数である．3.-(c) に表記されている z dは，文書ていると考える．単語の出現確率はトピックごとに異なり，単(m)(m)
d のモード m におけるトピック集合 {zd1 , · · ·, z (m) } の内，dN

語はその確率分布に従って生成される．例えば，トピック「政ピボットモードが m であるトピックの集合を表している．wdi

治」における単語「可決する」の出現確率は 3%，トピック「学は，文書 d のモード ℓ における i 番目の単語の語彙を表す変数

校」における単語「可決する」の出現確率は 0.2%，などと想である．

像してほしい．トピックの出現確率は，文書ごとに異なる値が

d

(ℓ)

(ℓ)

(ℓ)

以降の本稿中では，W = {W d }，W d = {wd }，wd =
(ℓ)

(ℓ)

(ℓ)

(ℓ)

{wdi }，Z = {Z d }，Z d = {z d }，z d = {zdi }，Θ = {θ d }，与えられる．

一の文書であるにもかかわらずモード間でトピック分布が大き(ℓ)(ℓ)
θ d = {θ d }，Φ = {ϕ(ℓ) }，ϕ(ℓ) = {ϕk }，Π = {π d } とす(ℓ)
る．また，W −dℓi は W から wdi を除いた集合，Z −dℓi は Z(ℓ)(ℓ)
から zdi を除いた集合，X −dℓi は X から xdi を除いた集合とく異なるという状況は，現実的ではない．同じ文書であるならする．

画像とテキスト情報といった複数のモードを持つ文書では，(ℓ)

トピックの出現確率 θ d がモードごとに存在する．しかし，同ば，同じ話題（トピック）について語っているはずである．そ周辺化ギブスサンプリングを用いて SymCorrLDA の潜在変こで，同一文書におけるモード間の相互依存性を表現するため数を推定する際の完全条件付き確率を，以下に示す．SymCor-に，基準となるモード（ピボットモード）を一つ選択し，他のrLDA では，潜在トピック zdi とピボットモードフラグ xdi を

モードはピボットモードに現れたトピックから自分のモードの同時に推定する．

トピックを選択する．どのモードをピボットモードとするかは

(ℓ)

(ℓ)

(i) ピボットモードフラグが自身のモード ℓ である場合

単語ごとに異なり，確率分布に従って決定される．
(ℓ)

(ℓ)

(ℓ)

SymCorrLDA ではピボットモードの割り当ておよび単語や

p(zdi = k, xdi = ℓ|wdi = v (ℓ) , W −dℓi , Z −dℓi , X −dℓi ,トピックの出現確率を多項分布で与え，多項分布の事前分布に

α(ℓ) , β (ℓ) , γ)はディリクレ分布を導入する．SymCorrLDA における文書集
合の生成過程を以下に示す（注 1）．ここで，Dir はディリクレ分
布，Mult は多項分布，Unif は一様分布を表す．
（注 1）：文献 [6] ではピボットモードフラグが自身のモードと異なる場合，それを明確に区別するために，トピック z ではなく y を定義しているが，本稿では
文献 [13] にならってトピックを表す変数を z に統一した．

(ℓ)

∝

k(ℓ)

Cd,−dℓi + γ
Cd,−dℓi + α(ℓ)
·
∑
∑
′
(ℓ)
(ℓ )
k′ (ℓ)(ℓ)
Cd,−dℓi + ℓ′ =ℓ
+ Lγ
| Cd
k′ Cd,−dℓi + Kα
v(ℓ)

×∑

Ck,−dℓi + β (ℓ)
v ′ (ℓ)(ℓ) β (ℓ)
v ′(ℓ) Ck,−dℓi + V(1)

(ii) ピボットモードフラグが自身のモード ℓ ではない（m =| ℓ）SymCorrLDA と同様の生成手順をたどった後，トピック集(1)合 {zd1 , · · ·, z

場合
(ℓ)

(ℓ)

(ℓ)

p(zdi = k, xdi = m|wdi = v (ℓ) , W −dℓi , Z −dℓi , X −dℓi ,α(ℓ) , β (ℓ) , γ)

(1)

(2)

(1)

dNd

, zd1 , · · ·, z

(L)
(L)

dNd

} に基づいて文書 d に付与されるラベル rd を決定する．η = {η r }，η r = {ηkr } であり，

η rT は η r の転置行列を表す．ηkr はラベル r の評価値を計算する際のトピック k に対する重み係数であり，値が大きいほどト
ピック k がラベル r に強く関わっていることを表している．最

k(m)

(m)

終的に，評価値の最も高いラベルをその文書のラベルとする．

Cd,−dℓi + γ
Cd,−dℓi
∝ (m)
·∑
∑
(m′ )
k′ (m)
Cd,−dℓi + m′ =mCd,−dℓi + Lγ|
k′ Cd,−dℓiv(ℓ)
Ck,−dℓi + β (ℓ)×∑
v ′ (ℓ)(ℓ) β (ℓ)
v ′(ℓ) Ck,−dℓi + V（一つの文書に複数のラベルが付く場合は，一文書当たり a 個のラベルが付くと仮定した上で上位 a 個を選出する．
）4. にお
∑ (ℓ)
(ℓ)
(ℓ)
(ℓ)
いて，z̄ d = 1(ℓ) i v di であり，v di は zdi が示すトピック

(2)

Nd

に対応する成分が 1，その他の成分が 0 となる K 次元のベクトk(m)ここで，Cdは文書 d のモード m においてトピック k が割りv(m)当てられた回数，Ck
はモード m においてトピック k が語彙(m)v に割り当てられた回数，Cd は文書 d の全モードにおいて
k(m)
v(m)
ピボット m が割り当てられた回数とすると，Cd,−dℓi ，Ck,−dℓi ，(m)Cd,−dℓi はそれぞれ文書 d のモード ℓ 中の i 番目の単語の情報
k(m)
v(m)
(m)
を除いた Cd，Ck，Cd である．K はトピック数，L は(ℓ)

モード数，Vはモード ℓ における語彙数である．

ルである．

2. 4 教師ありマルチモーダルトピックモデルにおける周辺化ギブスサンプリング
以下では，SCMLDA において周辺化ギブスサンプリングを行う際の完全条件付き確率について述べる．
まず，全ての未知パラメータと潜在変数の同時確率分布を以下に示す．

2. 3 教師ありマルチモーダルトピックモデル
マージン最大化マルチモーダルトピックモデル（Symmetric

Correspondence MedLDA: SCMLDA） [13] は，マルチモーダp(η, Θ, Z, Φ, Π, X|W , r)
∝ p0 (η, Θ, Φ, Π)p(Z|Θ, X)p(X|Π)p(W |Z, Φ)ψ(r|Z, η)(4)

ルデータに付与されているラベルを予測することができるト
ピックモデルである．SCMLDA では，SymCorrLDA と同様

p0 (η, Θ, Φ, Π) は 予 め 定 義 さ れ た 事 前 分 布 で あ り，にモード間の相互依存性を考慮しながら単語の背後にある潜在

p (W |Z, Φ) は尤度である．ψ (r|Z, η) はラベルの擬尤度で
)
(
∑D ∑R
(L)
(1)
j
,
,
あり，ψ (r|Z, η) =
|z
η
で
·
·
·,
z
r
ψ
j
d
d
d
d=1
j=1

トピックを推定した上で，その潜在トピックに基づいてラベルを予測する．

ある．rdj は，文書 d にラベル j が付与されている場合は 1，そSCMLDA における文書集合の生成過程を以下に示す．記号の定義は 2. 2 節を参照されたい．

うでない場合は −1 をとる 2 値変数である．
ここで，ψj を以下のように定義する．[5]
)
(
)
(
(L)
(1)
ψj rdj |z d , · · ·, z d , η := exp −2c max(0, ζdj )1. D 個の文書に対し:(ℓ)（ a ） L 個のモードに対して θ d ∼ Dir(α(ℓ) ) を選択する．

ここで，c > 0 は正則化パラメータであり，（ b ） π d ∼ Dir(γ) を選択する．
(ℓ)

2. K 個のトピック及び L 個のモードに対して ϕk ∼ Dir(β (ℓ) )を選択する．
(ℓ)

(ℓ)

(ℓ)

(ℓ)
(ℓ)
(ℓ)
(xdi = ℓ) の場合，トピック zdi ∼ Mult(θ d ) を選択

する．
(ℓ)

(ℓ)

= m(m ̸= ℓ)) の 場 合 ，ト ピック zdi⋆(m)Unif(zd
（d）

L
∑

(ℓ)

η jT z̄ d

(6)

ℓ=1

も見られるように，ラベル j の評価値を表しており，この値が（ a ） ピボットモードフラグ xdi ∼ Mult(π d ) を選択する．

（ c ） (xdi

ζdj = l − rdj∑jT (ℓ)
である．l は損失パラメータである． Lz̄ d は式 (3) にℓ=1 η

3. 文書 d のモード ℓ における Nd 個の単語 wdi に対し:
（b）

(5)

∼

) を選択する．

(ℓ)
(ℓ)
(ℓ)
単語 wdi ∼ Mult(ϕk ) を選択する．
（k = zdi ）4. D 個の文書に対してラベル rd を以下の式に従って選択する．

大きいほどラベル j が付与されやすいと判定される．しかしそれに反してラベル j が付与されなかった場合，rdj = −1 となる∑
jT (ℓ)z̄ d が大きければ大きいほど ζdj の値
ため，評価値 Lℓ=1 ηが大きくなる．すなわち，ζdj の値は誤分類が甚だしいほど大きな値をとるように定義されている．

c > 0 であるので，誤分類が多いすなわち ζdj の値が大きい
(
)
(1)
(1)
ほど，ラベルの擬尤度 ψj rdj |z d , · · ·, z d , η は小さくなる．
また，ψj はこのように定義することで以下の式 (7) のように変形することができる．[5]

(
)
(1)
(1)
(2)
(L)
rd ∼ F zd1 , · · ·, z (1) , zd1 , · · ·, z (L) , ηdNd(= arg max η rT
r∈{1,···,R}

(∑

(1)
(L)
ψj (rdj |z d , . . . , z d , η) =

dNd

(ℓ)
L
ℓ=1 z̄ d

))

∫ ∞
0

(3)

(

(λj + cζ j )2√
exp − d j d
2λd
2πλjd
1

(7)

)
dλjd

λ は新たに拡張されたデータ拡張変数であり，λjd が rdj に対応となる．∆ (·) は，(·) 内の式が真ならば 1，そうでなければ 0 をしている．λ = {λd }，λd = {λjd } とすると，λ を含んだ同時返す関数である．z̄dk は，文書 d のモード ℓ の中でトピック k()
が割り当たっている割合を表している．以上より，p η j |λ, Z

確率分布は以下のようになる．

(ℓ)

は平均 µj ，分散共分散行列 Σj の多変量正規分布となり，このp(η, Θ, Z, Φ, Π, X, λ|W , r)

多変量正規分布から η j の各要素 ηkj をサンプリングすること= p0 (η, Θ, Φ, Π)p(Z|Θ, X)p(X|Π)p(W |Z, Φ)ψ(r, λ|Z, η) ができる．
(8)
2. 4. 2 トピック Z 及びピボット X の完全条件付き確率
ここで，

(ℓ)

(ℓ)

SCMLDA では，トピック zdi とピボット xdi を同時に推定

ψ(r, λ|Z, η) =R ∏D∏
j=1 d=1

(
√

1

exp

2πλjd

−(λjd + cζdj )2
2λjd

)

する．
(ℓ)

ピボットモードフラグ xdi が自身のモード ℓ である場合のト(ℓ)

ピック割り当て zdi の完全条件付き確率は，式 (10) から (η, λ)

(9)
である．

を周辺化することで
(ℓ)

(ℓ)

(ℓ)

p(zdi = k, xdi = ℓ|wdi = v (ℓ) , W −dℓi , Z −dℓi , X −dℓi ,ここから (Θ, Φ, Π) を周辺化することで，以下の式が得られα(ℓ) , β (ℓ) , γ, η, λ, r)る．ここで，p0 (η, Θ, Φ, Π) = p0 (η) p0 (Θ, Φ, Π) と仮定さ
れている．

k(ℓ)

(ℓ)

p(η, λ, Z, X|W , r) ∝ p0 (η)p(W , Z, X|α, β, γ)ψ(r, λ|Z, η)∝Cd,−dℓi + α(ℓ)
Cd,−dℓi + γ
·
∑
∑
′
(ℓ)
(ℓ )
k′ (ℓ)(ℓ)
Cd,−dℓi + ℓ′ =+ Lγk′ Cd,−dℓi + Kα
̸ ℓ Cd
v(ℓ)

(10)

×∑

さらに周辺化することで，周辺化ギブスサンプリングで用いる
各パラメータの完全条件付き確率を求めることができる．

×

Ck,−dℓi + β (ℓ)
v ′ (ℓ)(ℓ) β (ℓ)
v ′ (ℓ) Ck,−dℓi + V

R
∏

(

exp

(

cηkj
(ℓ)

Nd λjdj=1)(
rdj cl + λjd(

2. 4. 1 重みベクトル η の完全条件付き確率−p (η|λ, Z, X) は，p (η|λ, Z, X) =

R
∏

(
)
p η j |λ, Z, X

p0 η

)

K
∑

=

N

(

(ℓ)

2Nd

K
∑

)))
k′ (ℓ)
ηkj ′ Cd,−dℓi

k′ =1

(16)
(ℓ)

となる．また，ピボットモードフラグ xdi が自身とは別のモー(ℓ)

ド m である場合（m =| ℓ）の，トピック割り当て zdi の完全条と変形できる．η j のガウス事前分布をjηkj + 2

(11)

j=1

(

c

ηkj ; 0, ν 2

件付き確率は，

)
(12)

k=1

(ℓ)

(ℓ)

(ℓ)

p(zdi = k, xdi = m|wdi = v (ℓ) , W −dℓi , Z −dℓi , X −dℓi ,α(ℓ) , β (ℓ) , γ, η, λ, r)と仮定すると，式 (10) から (λ, Z, X) を周辺化することで以下の式が得られる．

(

p η |λ, Z
j

)

( ( j
)2 )
λd + cζdj
exp −∝ p0 η
2λjd
d=1
( K
)2 )
D ( j
∑ η j2∑λd + cζdjk∝ exp −
−
2ν 2
2λjd
k=1
d=1
(
)
= N η j ; µj , Σ j
(13)
(

j

D
)∏

( L
(D (
)))
) ∑
∑ crj ( j(ℓ)
jjd
λd + cl
µ =Σ
z̄ d
λjd
ℓ=1
d=1
(

j

であり，Σ の逆行列の要素 Σ

(

Σj−1

Cd,−dℓi + γ
Cd,−dℓi·∑∑(m′ )k′ (m)(m)
Cd,−dℓi + m′ ̸=m Cd,−dℓi + Lγ
k′ Cd,−dℓi
v(ℓ)

×∑
×

Ck,−dℓi + β (ℓ)
v ′ (ℓ)(ℓ) β (ℓ)
v ′(ℓ) Ck,−dℓi + V

R
∏
j=1

ここで，

)
=
ab

∆(a = b)
+c
ν2

j−1

)
ab

(

exp

cηkj
(ℓ)
Nd λjd(()
rdj cl + λjd
(
−

(14)

c
(ℓ)

2Nd

ηkj + 2K∑)))k′ (ℓ)
ηkj ′ Cd,−dℓi

k′ =1

(17)

は

となる．

( ∑
)
∑L
D
(ℓ)
(ℓ)
∑
( L
2
ℓ=1 z̄db )ℓ=1 z̄da ) · (
d=1

k(m)

(m)

∝

λjd
(15)

2. 4. 3 データ拡張変数 λ の完全条件付き確率
λ は，rdj に対応する λjd から成る RD 次元のベクトルであ∏D∏jり，p(λ|η, Z) = R
d=1 p(λd |η, Z) と変形できる．式 (10)j=1

から (η, Z, X) を周辺化することにより，λ の完全条件付き確率は下記の式のような一般化逆ガウス（Generalized inverse

Gaussian: GIG）分布に従うことが分かる．
()(λjd + cζdj )2
1
jp(λd |η, Z) ∝ √
exp −
2λjd
2πλj

2. 文書 d の N 個の単語 wdi に対して単語 wdi ∼ Mult (ŷ d )を選択する．

3. 2 テキスト情報の Bag-of-Words 化

d

(
)
1
= GIG λjd ; , 1, c2 (ζdj )22（ b ） y d を式 (20) により正規化したベクトル ŷd を得る．

(18)

画像に付随したテキストからは，stopwords と punctuationを除去した上で，スペースを単語の区切りと見なして分割し一般化逆ガウス分布 GIG(x; p, a, b) の確率密度関数は以下の通Bag-of-Words とする．アルファベットの大文字と小文字は区りである．e(p, a, b) は正規化定数である．

別しない．

(
(
))
1 b
GIG(x; p, a, b) = e(p, a, b)xp−1 exp −
+ ax
2 x
(19)

3. 3 モデルの学習とテスト画像のラベル予測
3. 1 節，3. 2 節に記した手順で Bag-of-Words 化した画像およびテキストを，SCMLDA への入力とする．
初めにモデル学習として，教師ラベル付きデータ（学習用

周辺化ギブスサンプリングでは，2. 4. 1 節 ∼2. 4. 3 節で示しデータ）を用いてモデルの未知パラメータを推定する．
（この操た完全条件付き確率を反復させることで各パラメータを推定

作を以下「学習」と呼ぶ．
）具体的には，2. 4. 1 節 ∼2. 4. 3 節のする．

式を用いて周辺化ギブスサンプリングを行う．次に，学習により得られたトピック-単語分布 Φ を用いて，ラベル予測をした

3. 提 案 手 法

い対象（テストデータ）の潜在トピック Z を推定する．
（この
本稿では，テキストアノテーション付き画像の感情分類課題

操作を以下「リサンプリング」と呼ぶ．
）テストデータはラベルに対して，SCMLDA を用いたフレームワークを提案する．画

rd が未知の状態で潜在トピックを推定するため，SCMLDA の像 · テキストの２つのモードを Bag-of-Words の形に表現した

完全条件付き確率（式 (16)，(17)）を利用することはできない．

上で SCMLDA に入力し，ポジティブな感情 · ネガティブな感

そのため，リサンプリングでは SymCorrLDA の完全条件付き

情のいずれかへ分類する．提案手法のイメージ図を Fig.1 に確率（式 (1) および式 (2)）を用いて潜在トピックを推定する．

示す．

最後に，学習時に得られたラベル評価用の重み係数 η とリサ
ンプリング時に推定したトピック分布 Z を用い，式 (3) に従っ

3. 1 画像特徴量の Bag-of-Words 化
本稿では，画像の特徴量として CNN 特徴量を用いる．具体
的には，ILSVRC 2012 データセットを用いて学習された 8 層

CNN [2] に画像を入力した上で，全結合層の 2 層目（以下，「fc7層」）の出力を画像の特徴量とする．この出力は 4096 次元の実数値ベクトルである．SCMLDA へ入力する際には単語の多重集合（Bag-of-Words）の形をとる必要があるため，fc7 層の実数値ベクトルを Bag-of-Words 表現に変換する．
文 書 d の 画 像 を 入 力 し た 際 の fc7 層 の 出 力 ベ ク ト ル を

y d ∈ R4096とし，y d の全要素の合計が 1 になるよう正規+化したものを ŷ d とする．ŷ d の i 番目要素 ŷdi は以下の式によって導かれる．

ydi

ŷdi = ∑4096

j=1 ydjて各文書に付与されるラベルを予測する．

4. 実

験

4. 1 データセット
実験に用いるデータセットとして，文献 [7] [8] において教師
ラベルを付与された Flickr データセット [12] を用いる．この
データセットは，画像共有サイト Flickr において収集されたテ
キストアノテーション付き画像から成っている．文献 [7] [8] では 3 名の被験者により意見極性ラベルを付与しており，(i) 3 名とも意見極性がポジティブまたはネガティブで一致す
る場合

(20)

(ii) 2 名がポジティブまたはネガティブで一致して残り 1 名はニュートラルである場合

ŷ d を多項分布のパラメータとみなし N 回サンプリングする
ことで，4096 個の語彙の中から選ばれた N 個の単語集合を得について，感情分類ラベルとして採用している．本稿でもこれる．すなわち，語彙 i が出現する確率が ŷdi であるとして Nと同じ条件の感情分類ラベルを用いる．データセットに含まれ回サンプリングを行う．このようにして得られた単語集合を文る感情分類ごとの画像の枚数を Table 1 に示す．実験では，ポ

書 d の画像モードの Bag-of-Words とする．fc7 層の出力からジティブな画像 · ネガティブな画像ともに同じ枚数を使用する．

Bag-of-Words を生成する手順を以下に示す．

Table 1 The number of positive and negative images in dataset.

1. D 個の文書に対し：（ a ） 画像を 8 層 CNN に入力して，fc7 層の出力ベクトルy d を得る．

Label

3-agree 2-agree

Total

Positive21549

20001 41550

Negative

3988

4914

8902

Fig. 1 An outline of proposed method.

画像に付随するテキスト情報には，タイトルやタグ，説明文，

学習およびリサンプリング時の各ハイパーパラメータの値は，他のユーザからのコメントなどの項目がある．本稿では文献 [8]全てのモード ℓ において α(ℓ) = 0.1，β (ℓ) = 0.01，γ = 1 としと実験条件を合わせるために，タグと説明文のみを使用し，そた．損失パラメータ l = 1，正則化パラメータ c = 1 とした．η j

れらを一括して一つのモードとして扱う．

のガウス事前分布（式 (12)）における標準偏差 ν は，ν = 1 と実験に際して，Table 1 の画像からランダムに画像を選択すした．周辺化ギブスサンプリングの終了条件は，反復回数 200

ることで，学習用セットとテスト用セットの組を５組作成した．

回とした．周辺化ギブスサンプリングの初期設定は，トピック

具体的には，ポジティブな画像 · ネガティブな画像それぞれかおよびピボットの割り当てについては全てランダムに選択し，ら 6000 枚ずつ画像をランダムに選出し，これを学習用セット

λ の要素は全て 1 とした．SCMLDA の周辺化ギブスサンプリとした．同様に，ポジティブな画像 · ネガティブな画像それぞングでは，η, Z, λ の順にパラメータを推定した．トピック数

れから 2500 枚ずつランダムに選出した画像を，テスト用セッは，いずれのデータセットに対しても {10,20,40,60,80,100} のトとした．これを 5 回繰り返すことで，学習用セット · テスト

6 通りの実験を行った．

用セットの組を 5 通り作成した．

比較対象として，各テスト用セットに対してランダムに分類する実験も行った．

4. 2 実験条件と評価方法公開されている CaﬀeNet ライブラリ（注 2）[2] を用いて各画像
から CNN 特徴量を抽出し，一画像当たりの特徴数を N = 1000として Bag-of-Words に変換した．

4. 3 実 験 結 果
5 通り作成した学習用セット · テスト用セットの組それぞれに対して正解率を算出し，それらの平均と標本標準偏差を Table

その上で，学習用セットに対して SCMLDA の周辺化ギブス

2 に示す．

サンプリングを行い未知パラメータを推定した．これにより得提案手法の正解率がランダムに分類した場合を上回っているられたトピック-単語分布 Φ を用いてリサンプリングを行い，ことから，与えられたテキストや画像の情報が分類に役立てら

テスト用セットの潜在トピック Z を推定した．最後に，学習れていることが分かる．また，提案手法におけるトピック数は，時に得られたラベル評価用の重み係数 η とリサンプリング時にトピック数 10 ∼ 60 程度まではトピック数が多い方が結果が良推定したトピック分布 Z を用い，式 (3) に従ってテスト用セッ

くなり，その後は正解率が収束している．

トの各文書に付与されるラベルを予測した．これを学習用セット・テスト用セットの組それぞれに対して行い，予測したラベルの正解率を各組ごとに算出する．

Table

2 Averaged accuracy over five datasets and its sample
standard deviation.

Method(テスト画像の内，正しくラベル予測できた枚数)(テスト画像の総数)

Average Standard deviation

Random0.50080.0053

Proposed method (with 10 topics)

0.50390.0058Proposed method (with 20 topics)

0.54080.0583

Proposed method (with 40 topics)

0.60640.0420

なお，本稿で使用するデータセットの中には，テキスト情報

Proposed method (with 60 topics)

0.64200.0047が全く無い（すなわち，テキストモードの単語数が 0 個である）

Proposed method (with 80 topics)

0.65990.0265

画像がいくつか存在する．モード m の単語数が 0 である場合，

Proposed method (with 100 topics)

0.65570.0410(正解率) =

(21)(m)
z̄dk = 00 となり，式 (14) および式 (15)，また式 (6) を通じて

式 (18) に影響する．そのため，モード m の単語数が 0 の場合(m)は z̄dk = 0 とする例外処理を設けた（注 3）．

の中でトピック k が割り当たっている割合を表しており，この値を参考にラベ∑jT (ℓ)
ルの評価値 Lz̄ d が算出される．単語数が 0 のモードの情報はラベℓ=1 η
ル評価に加味しないことが妥当であるので，モード m の単語数が 0 の場合は

（注 2）：http://caﬀe.berkeleyvision.org/(m)（注 3）：すべての z̄dk(m)

は式 (6) に由来している．z̄dk

は文書 d のモード m

(m)

z̄dk

= 0 とする．

5. お わ り に
本稿では，マルチモーダルデータとしての画像の感情分類課[6]

題に対して，教師付きトピックモデルの一種である SCMLDA
を用いた手法を提案した．画像の特徴表現には CNN 特徴量を採用し，これを多項分布のパラメータとみなしてサンプリング[7]を行うことで Bag-of-Words の形式に変換した．提案手法の性能を評価するために，画像共有サイト Flickr から収集された[8]

テキストアノテーション付き画像データセットを用いて実験を行った．提案手法が一定の効果を持つことが示され，トピック[9]

数が多いほど分類性能が向上することが分かった．
今後はさらにトピック数を増やした実験や，画像の CNN 特
徴量を離散化する際の特徴数 N や正則化パラメータ c を変動さ[10]せた実験を行うことで，提案手法が持つ性能の上限を探る予定である．なお，本稿では文献 [13] の方針にならってトピックモ[11]

デルの式を導出した．そこでは，式 (16) と式 (17) の導出の過
∑ (ℓ)
(ℓ)
(ℓ)
程で用いられる変数 z̄ d,−dℓi を z̄ d,−dℓi = 1(ℓ) i v di,−dℓi とNd(ℓ)

解釈していると見られる．ここで z̄ d,−dℓi は，文書 d のモード
(ℓ)

(ℓ)

ℓ における i 番目の単語を除外した z̄ d である．z̄ d,−dℓi の意
∑ (ℓ)
(ℓ)
味から，z̄ d,−dℓi = (ℓ)1i v di,−dℓi という解釈も考えられ
Nd −1

るため，どちらの解釈がより良い性能をもたらすかについても調査する予定である．
また，現時点では SCMLDA のみを学習対象とし，画像の特徴量を抽出する CNN に対してファインチューニングは行っていない．今後は，CNN のファインチューニングも含めた学習方法を検討することで，さらなる分類性能の向上を図りたい．
なお，SCMLDA は多クラス分類を前提に設計されたモデルであるため，ポジティブ・ネガティブの 2 分類にとどまらず多種類の感情への分類能力も期待できる．

謝

辞

本研究に使用したデータを提供して頂いた同志社大学理工学部
桂井麻里衣助教に感謝する．本研究の一部は科学研究費補助金
基盤研究 (B)（15H02703）の援助による．

文

[12]

献

[1] D. Borth, R. Ji, T. Chen, T. Breuel, and S.-F. Chang,”Large-scale visual sentiment ontology and detectors using
adjective noun pairs.” ACM MM (2013)[2] Jia, Yangqing and Shelhamer, Evan and Donahue, Jeﬀ andKarayev, Sergey and Long, Jonathan and Girshick, Rossand Guadarrama, Sergio and Darrell, Trevor, ”Caﬀe: Convolutional Architecture for Fast Feature Embedding” arXiv
preprint, arXiv:1408.5093 (2014)[3] J. Machajdik and A. Hanbury, ”Aﬀective image classification using features inspired by psychology and art theory.”
ACM MM (2010)[4] J. Yuan, S. Mcdonough, Q. You, and J. Luo, ”Sentribute:
Image sentiment analysis from a mid-level perspective.”Proc. Int. Workshop on Issues of Sentiment Discovery andOpinion Mining (WISDOM), pp. 10:1-10:8 (2013)[5] J.Zhu, N,Chen, H.Perkins and B.Zhang, ”Gibbs Max-[13]

margin Topic Models with Data Augmentation” The Journal of Machine Learning Research, Vol. 15, No. 1, pp. 10731110 (2014).
Kosuke Fukumasu, Koji Eguchi, and Eric P.Xing, ”Symmetric Correspondence Topic Models for Multilingual Text
Analysis.” Advances in Neural Information Processing Systems, pp. 1286-1294 (2012).
M. Katsurai and S. Satoh, ”Image Sentiment Analysis Using
Latent Correlations Among Visual, Textual, and SentimentViews” Proc. ICASSP (2016)
桂井麻里衣，佐藤真一，”画像・テキスト・感情語の潜在的な相関に基づく画像の感情分類” DEIM Forum 2016 (2016)
Q. You, J. Luo, H. Jin, and J. Yang, ”Robust image sentiment analysis using progressively trained and domain transferred deep networks”, The Twenty-Ninth AAAI Conference on Artifcial Intelligence (AAAI), pp. 381-388 (2015)
S. Siersdorfer, E. Minack, F. Deng, and J. Hare, ”Analyzing and predicting sentiment of images on the social web.”
Proc. Int. Conf. Multimedia (MM), pp. 715-718 (2010)
V. Campos, A. Salvador, X. Giro-i Nieto, and B. Jou. ”Diving deep into sentiment: Understanding fine-tuned cnns forvisual sentiment prediction.” Proc. Int. Workshop on Aﬀect& Sentiment in Multimedia (ASM), pp. 57-62 (2015)
Yang Yang, Jia Jia, Shumei Zhang, Boya Wu, Juanzi Li, and
Jie Tang, ”How Do Your Friends on Social Media DiscloseYour Emotions?” Proceedings of the 28th AAAI Conferenceon Artificial Intelligence (AAAI’14), pp. 306-312 (2014)
坂田洋介，江口浩二，”マージン最大化マルチモーダルトピック
モデルによるマルチラベル分類” DEIM Forum 2016 (2016)