言語処理学会 第26回年次大会 発表論文集 (2020年3月)

木構造ニューラルトピックモデル
磯沼 大 1

森 純一郎 1
1

ボレガラ ダヌシカ 2

東京大学

2

坂田 一郎 1リヴァプール大学{isonuma, isakata}@ipr-ctr.t.u-tokyo.ac.jp

mori@mi.u-tokyo.ac.jp

danushka@liverpool.ac.uk

1

はじめに

Root

文書の潜在的なトピックを推定するトピックモデル
は、Latent Dirichlet Allocation（LDA[2]）をはじめ、Cover種である木構造トピックモデル [8] は、無限の分岐を持

111: bottom
cover top
plastic
scratches

つ木構造上において、根に一般的なトピックを、葉に近づくにつれ詳細なトピックを配置する（図 1）。これにより多様な観点から簡明な情報を提供でき、観点付
き感情分析 [10] や抽出型要約 [4] において有用である。
しかしながら、木構造トピックモデルはニューラルモ
デルを用いた下流タスクとの併用が困難である。ニューラルモデルの学習には大量の文書を要する一方、従来、

Carry

Purchase
11: sleeve
inside inch
protection nice情報検索や文書モデリングで頻用されている。その一1: quality
months zipper
time back

112: color
cover mackeyboard love

12: perfectquality pricebought size
121: item
return receive
amazon money

122: pricerecommend
buy perfectlove

13: pockets
carry strap
shouldercompartment
131: big
laptops tablet
description hp

132: books
school carrybags back

図 1: 提案モデルにより得られた Laptop Bags に関する商品レビューのトピックとその木構造。各トピックに最も頻出する 5 単語と人手で付与したラベルを表示。

2

関連研究

事後分布推定に用いられている崩壊型ギブスサンプリ

木構造トピックモデルの発案 [8] 以降、様々な拡張

ング [8] や平均場近似 [15] は、学習性能や並列化の困[15, 3, 9] と応用が提案されている。Goyal らは VAEの潜在表現の事前分布に木構造トピックモデルを用いて、ビデオのフレーム画像を木構造で表現した [7]。しかし、VAE の変数は勾配降下法で、トピックモデルの事後分布は平均場近似により個別に更新するため、少量のデータしか扱えず、学習には 1, 241 件のビデオ（文書に相当）のみを用いている。本研究は、AEVBに基づく学習により、大量文書への適用と、下流タスクのニューラルモデルとの一体的な学習を可能にする。
AEVB に基づくフラットなトピックモデルとして、
Miao らは recurrent neural networks (RNN) を用いて、動的な数のトピック分布を獲得している [13]。一方、本研究は DRNN により無限木上のトピック分布を得ることで、トピック間に潜在する木構造を獲得する。

難さから、大規模な文書への適用が困難である。また、ニューラルモデルと、トピックモデルの事後分布を一体的に学習することで、下流タスクに有用なトピックとその木構造が得られるとより望ましい。
本研究では、文書からトピック分布への写像をニューラルネットワークにより構成した木構造ニューラルトピックモデルを提案する。提案モデルは autoencodingvariational Bayes（AEVB[11]）に基づいた学習が可能であり、前述の問題を解決可能である。既存研究はLDA などのフラットなトピックモデルに AEVB を適用しているが [13, 14]、無限木上のトピック分布への写像の構築方法は自明でない。本研究は、親子間と兄弟間それぞれに再帰的な構造を持つ doubly-reurrent
neural networks (DRNN[1]) を用いることで、文書から無限木上のトピック分布への写像を構築する。
実験から、提案モデルは、既存の木構造トピックモ
デル [3] とほぼ同等の一貫性を持つトピックと木構造を得ながら、より大規模な文書に適用できることが示された。また、ニューラルモデルを用いた観点付き感情分析 [6] や要約生成 [16] との一体的な学習が可能であり、木構造トピックモデルの応用可能性を広げた。

3木構造ニューラルトピックモデル
本節では、提案モデルによる文書の生成過程とAEVB に基づく学習方法について説明する。図 2 に示すように、提案モデルは各単語について、根ノードからいずれかの葉ノードまでのパスと、階層をサンプルする。そして、パス及び階層によって指定されたトピックに紐づく多項分布から、各単語をサンプルする。

― 181 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

sampling a level
β1
β11wd,2β12wd,1β111

β112cd,1cd,2 cd,3wd,4zd,1wd,3β121

h11zd,4zd,3h111

3.1…

h121

h122

h123

…

stick-breaking construction:

π1 v11

π121

ぞれに再帰的な構造を持つ 2 つの RNN で構成される

π1 (1 - v11)
π1 v12 (1 - v11)

…

π12…

π11

トピック分布の生成

図 4 に示すように、DRNN は親子間と兄弟間それ

π1 = 1…

h112…

図 4: Doubly-recurrent neural networks の概要。

図 2: 各単語に紐づくトピックのサンプリング過程。

π112

h12cd,4

sampling a pathπ111

ancestralfraternal

h1zd,2π122

π123…

[1]。提案モデルは、この 2 つの再帰構造により、正規確率ベクトルから無限木上のパス分布への写像 fπ を、有限の変数で表現する。トピック k の隠れ層 hk と棒…

折り比率 νk は、DRNN を用いて下記式で計算される：

図 3: Tree-based stick-breaking construction の概要。

1. 各文書インデックス d ∈ {1, . . . , D} について:
正規確率ベクトルをサンプル: xd ∼ N (µ0 , σ02 ) (1)hk = tanh(Wp hpar(k) + Ws hk−1 )(9)νk = sigmoid(h⊤k x)(10)

ここで、par(k) 及び k − 1 は、それぞれトピック k の親と一つ手前の兄弟を示す。正規確率ベクトルから階パス分布に変換: πd = fπ (xd )(2)層分布への写像 fθ も、同様に RNN で構成する：

階層分布に変換: θd = fθ (xd )(3)hl = tanh(Wl hl−1 )(11)

2. d の各単語インデックス n ∈ {1, . . . , Nd } について:

ηl = sigmoid(h⊤l x)(12)

パスをサンプル: cd,n ∼ Mult(πd )(4)階層をサンプル: zd,n ∼ Mult(θd )(5)

単語をサンプル: wd,n ∼ Mult(βcd,n [zd,n ] )(6)

ただし、βcd,n [zd,n ] ∈ ∆V −1 はトピック cd,n [zd,n ] に紐づく単語分布である。従来法 [15] は、文書毎にパスをサンプルし、パス上のトピックのみから文書を生成し3.2

トピック k 及び単語の潜在表現 tk ∈ RH , U ∈RV ×H を導入し、単語分布 βk ∈ ∆V −1 を得る。本研究では動的な数のトピックを扱うため、もう一つのDRNN により、トピックの潜在表現も動的に生成する：
tk = DRNN(tpar(k) , tk−1 )ていた。一方、本研究は単語毎にパスをサンプルし、全てのトピックから文書を生成可能にする。

breaking construction（図 3）に基づきサンプルする:k−1∏νk ∼ Beta(1, γ), πk = πpar(k) νk(1 − νj )(7)
j=1ηl ∼ Beta(1, α), θl = ηl

(1 − ηj )(13)

U · t⊤k)(14)
1τl1
ここで、τ l は温度パラメータであり、トピックの深さ
βk = softmax(従来法 [15] は、パス及び階層分布を tree-based stick-l−1∏

単語分布の生成l が浅いほど、よりなだらかな単語分布を生成する。
フラットなニューラルトピックモデルでは、トピック間の冗長性を排除するために、全トピックの単語分(8)j=1

布を独立にする正則化項が導入される [13]。一方で、
木構造トピックモデルは親子間の単語分布の相関を許一方、提案モデルは、正規確率ベクトルから無限木容するため、本研究では下記の正則化項を導入する：( ⊤)2∑∑t̄ki · t̄kj−1(15)∥t̄ki ∥∥t̄kj ∥上のパス分布及び階層分布への写像 fπ , fθ をニューラ

ただし、t̄ki = ti − tk は親と子の単語分布の差分を、ルネットワークにより構成し、AEVB に基づく事後分

Leaf 及び Chi(k) は最下層のトピックと、トピック k の布推定を可能にする。特に無限木上のパス分布への写子の集合をそれぞれ表す。これにより、トピックの冗像を、DRNN を用いて構築する。

長性を排しつつ、単語分布の親子間の相関を許容する。

ただし、k ∈ {1, . . . , K} 及び par(k) は k 番目のトピッ
クとその親を、l ∈ {1, . . . , L} は l 番目の階層を示す。

k∈Leaf/i,j∈Chi(k):i̸=j― 182 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

AEVB に基づく事後分布の推定3.3Models

提案モデルによる文書の尤度は下記式で表される。
p(w1:Nd |µ0 , σ0 , β)∫ {∏ ∑}=p(wn |βcn [zn ] )p(cn |π)p(zn |θ)n cn ,zn=π,θnここで ϕ ∈ ∆K−1 は文書のトピック分布で、ϕk =∑∑L
l=1 θl (c:cl =k πc ) により計算する。本研究では、

0.80.60.4
0.20.0 1

ϕ̂ をサンプルして式 (17) に示す文書の対数尤度の変

4.2[]
KL N (x|fµ (wd ), fσ2 (wd ))||N (x|µ0 , σ02 )Level: nCRP

ベースライン

process に基づく木構造トピックモデル (nCRP[3]）log(β · ϕ̂)wn −n2Level0.8 Amazon product reviews
0.60.40.2
3 0.0 123

ベースラインとして、nested Chinese restaurant

分下限を計算し、それを最大化する変分分布を得る。
∑0.1020.1120.121

図 5: 各階層の平均トピック詳細度。

変換する多層パーセプトロン (MLP）fµ と fσ を導入し、トピックの変分分布を構築する。変分分布から20NewsGroups: Our Model

AEVB に基づき文書の BOW 表現 wd をガウス分布にLd ≈0.201
0.1980.220

表 1: 各モデルにより得られたトピックの平均 NPMI。

p(π, θ|µ0 , σ0 ) dπdθ{∏}(β · ϕ)wn p(π, θ|µ0 , σ0 )dπdθ∫Amazon(16)

Topic Specializationπ,θRSB [13]nCRP [3]Our Model20News(17)を用いた。また、AEVB に基づくフラットなニューラルトピックモデルとして、文書から動的な数のトピック分布への写像を RNN で構成する Recurrent Stick

3.4

Breaking process (RSB[13]) を採用した。

動的な木構造の更新

動的な木構造を可能にするため、本研究は 2 つの4.3

ヒューリスティクスを導入し、トピックを追加・消去する。まず、トピック k に含まれる単語数の割合を∑D∑Dpk = ( d=1 Nd ϕ̂d,k )/( d=1 Nd ) で計算する。葉でない全てのトピック k について、pk が閾値より大きい場合、より明瞭なトピックを得るために子を追加する。
全てのトピック k について、子孫全体に含まれる単語∑数の割合 j∈Des(k) pk が閾値よりも小さい場合、トピック k とその子孫を消去する（Des(k) はトピック kの子孫の集合を示す）。また、トピックが最下層に子を持たなくなった場合、当該トピックも削除する。

実装詳細

各モデルのハイパーパラメータは、Amazon productreviews の検証用文書を用いて以下のように設定した。
枝の追加・削除の閾値（3.4 節）は共に 0.05 であり、温度パラメータ (3.2 節) は τ = 10 である。木の深さは 3に設定し、第 2 層及び第 3 層のトピック数の初期値はいずれも 3 である。単語の分散表現、MLP 及び RNNの隠れ層の次元数は 256 で、勾配降下法は AdaGrad（学習率：10−2 、バッチ毎の文書件数：64）を利用した。nCRP の集中度は γ = 0.01、ディリクレ分布の集中度は η = 5、GEM 分布のハイパーパラメータは

4

実験

π = 10, m = 0.5 である。

4.1

データセット4.4

トピックの解釈可能性に関する評価

本実験では、20NewsGroups 1 及び Amazon productパープレキシティはトピックの解釈可能性の評価にreviews 2 をデータセットとして用いた。20NewsGroups

不適切なことが指摘されている一方 [5]、Lau らはト

は 20 ドメインのニュースから構成され、11, 258 件の学ピック内の各単語対に関する正規化自己相互情報量習用文書と、7, 487 件の評価用文書からなる。Amazon（NPMI）が、人手による評価と強く相関することをproduct reviews については、Laptop Bags のレビュー示している [12]。本実験も既存研究 [13, 14] と同様に、を利用し、学習、検証及び評価用文書の件数は、それNPMI によりトピックの解釈可能性を評価した。各モ

ぞれ 31, 943 件、385 件及び 416 件である。

デルについて、全トピックの平均 NPMI を表 1 に示す。

1 https://github.com/akashgit/autoencoding_vi_for_

topic_models
2 https://github.com/stangelid/oposum

提案モデルは nCRP 及び RSB に対しいずれのデータセットにおいても競合し、ベースラインと同程度に解釈可能なトピックを得られることが確認された。

― 183 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Hierarchical Affinity

20NewsGroups
0.80.60.4
0.20.0 Our ModelnCRP: Child

0.8 Amazon product reviews
0.60.40.2
0.0 Our ModelnCRP5

本研究は、無限木構造上のトピック分布を doubly-recurrent neural networks により構築する木構造ニューラルトピックモデルを提案した。評価実験の結果、: Non-Child

提案モデルは、従来法 [3] とほぼ同等の一貫性を持つTime (sec.)

図 6: 親子と親子でないトピック間の類似度。

5,000
4,000
3,000
2,000
1,00000

トピックと木構造を得ながら、より大規模な文書に適Amazon product reviews

用できることが示された。提案モデルは、ニューラル

Our Model
nCRP

モデルを用いた下流タスクとの一体的な学習が可能であり、より広範なタスクへの応用が期待される。

5,000 10,000 15,000 20,000 25,000 30,000 35,000
Number of documents
図 7: 学習用文書の件数に対する各モデルの学習時間。

4.5

木構造の性質に関する評価

以下に示す 2 つの木構造の評価指標 [9] をもとに、木構造の性質を定量評価した。また、得られたトピッ
クと木構造の例を 1 節の図 1 に示す。
トピック詳細度: 木構造の重要な特徴として、最も抽象的なトピックが根に配置され、葉に近づくにつれトピックが詳細になる性質が挙げられる。そこでトピック詳細度を、コーパス全体の単語分布とトピックの単語分布との類似度として定量化する。コーパス全体は最も一般的なトピックとしてみなせるため、より詳細なトピックは低い類似度を示す。各階層におけるトピック詳細度の平均を図 5 に示す。全体傾向は両者ともに類似することが確認された。
親子間類似度: もう一つの望ましい性質として、親のトピックが子のトピックに類似することが挙げられる。当該性質を定量化するため、第 2 層の各トピックについて、子トピックと子でないトピックとの類似度をそれぞれ計算し、その平均を図 6 に示す。提案モデルは nCRP より、親トピックにより類似する子トピックを生成していることが確認できる。また、提案モデ
ルの低いスコアは、nCRP よりもより多様なトピックを得られることを示唆している。

4.6

おわりに学習時間に関する評価

提案モデルが大量文書に適用できることを検証する
ため、Amazon product reviews の学習用文書の件数を変化させ、それぞれの学習時間を計測した3 。図 7に示すように、提案モデルは文書の件数に対する学習時間の増加は nCRP より緩やかで、32,000 件の文書では学習が 15 倍速いことが確認された。
3 検証用文書のパープレキシティが 10 バッチ連続で改善しなかった時点で学習を終了した。CPU は Xeon E5-2683-v4 (2.1 GHz,16 cores) を、GPU は GeForce GTX 1080 (8GB) を使用。

参考文献
[1] D. Alvarez-Melis and T. S. Jaakkola. Treestructured decoding with doubly-recurrent neural networks. ICLR, 2017.
[2] D. M. Blei, et al. Latent dirichlet allocation.
JMLR, Vol. 3, pp. 993–1022, 2003.
[3] D. M. Blei, et al. The nested chinese restaurant
process and bayesian nonparametric inference oftopic hierarchies. JACM, Vol. 57, p. 7, 2010.
[4] A. Celikyilmaz and D. Hakkani-Tur. A hybridhierarchical model for multi-document summarization. ACL, pp. 815–824, 2010.
[5] J. Chang, et al. Reading tea leaves: How humans interpret topic models. NIPS, pp. 288–296, 2009.
[6] B. Esmaeili, et al. Structured neural topic models for reviews. AISTATS, pp. 3429–3439, 2019.
[7] P. Goyal, et al. Nonparametric variational autoencoders for hierarchical representation learning. ICCV, pp. 5094–5102, 2017.
[8] T. L. Griﬃths, et al. Hierarchical topic models and the nested chinese restaurant process.
NIPS, pp. 17–24, 2004.
[9] J. H. Kim, et al. Modeling topic hierarchies withthe recursive chinese restaurant process. CIKM,
pp. 783–792, 2012.
[10] S. Kim, et al. A hierarchical aspect-sentimentmodel for online reviews. AAAI, pp. 526–533,2013.
[11] D. P. Kingma and M. Welling. Auto-encoding
variational bayes. ICLR, 2014.
[12] J. H. Lau, et al. Machine reading tea leaves: Automatically evaluating topic coherence and topic
model quality. EACL, pp. 530–539, 2014.
[13] Y. Miao, et al. Discovering discrete latent topics with neural variational inference. ICML, pp.
2410–2419, 2017.
[14] A. Srivastava and C. Sutton. Autoencoding
variational inference for topic models. ICLR,2017.
[15] C. Wang and D. M. Blei. Variational inference
for the nested chinese restaurant process. NIPS,
pp. 1990–1998, 2009.
[16] W. Wang, et al. Topic-guided variational autoencoder for text generation. NAACL-HLT,Vol. 1, pp. 166–177, 2019.

― 184 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.