スケール不変な木構造棒折り過程に基づく
無限階層トピックモデル
江島舟星 1持橋大地 2
1 ハーバード大学大学院 政治学科 2 統計数理研究所
shuseieshima@g.harvard.edu
daichi@ism.ac.jp

概要

り過程と、それに基づく無限階層トピックモデル(ihLDA) を提案し、以下の 3 点を実現する。

階層的トピックモデルは、多様なトピックを木構造で整理するために活用されてきた。しかし既存手

1. トピック生成時にその親を考慮し、トピック平法では、木が深くなるにつれて各トピックの平均確2. 木構造棒折り過程 (TSSB)[11] の階層ベイズ化

率が指数的に小さくなり、似通ったトピックが多数

3. 木構造に属する全てのトピックを数え上げる必均確率の減衰を抑えた深い木構造の推定推定されてしまう。本研究ではこの課題に対し、ス

要のない、効率的なサンプリング

ケール不変木構造棒折り過程を用いた階層的トピッ
クモデル (ihLDA) を提案する。提案手法はトピック
生成時にその親を考慮することで、トピック平均確率の減衰を抑え、深い木構造の推定を可能にする。
また、提案手法は木構造棒折り過程の階層化でもある。提案手法が、ニューラルモデルを含む既存手法
より 2 つの指標で優れることを実験的に確認した。

1

はじめに

トピックモデルは文章の要約、注釈、分類のために幅広く用いられているが [1, 2, 3, 4]、大規模コー
パスから数千ものトピックを推定できるモデルが登場したことで [5, 6, 7, 8]、大量のトピックを解釈する必要性が高まった。
階層的トピックモデルは、トピックの階層的構造

棒折り過程を用いる既存手法に提案手法を取り入れることは容易であり、本研究は確率的モデル、
ニューラルモデル双方の改善に資するものである。

2

木構造棒折り過程
木構造棒折り過程 (TSSB)[11] は、２つの棒折り過程を [16] を組み合わせ、理論的には無限の深さと幅を持つトピック木を図 1 のように実現する。
階層的トピックモデルは潜在トピック 𝝐 = 𝝐 1 𝝐 2 · · ·を各文書の各単語に割り当てる。深さ |𝝐 | のトピッ
ク 𝝐 は先祖と子を持ち、{𝜿 : 𝜿 ≺ 𝝐 } が先祖集合を表す。また、𝝐 の親は 𝝐 ′ で、𝝐 の子は {𝝐 𝑘 : 𝑘 ∈ 1, 2, 3, . . .}で示す。
TSSB におけるトピック 𝝐 の確率 𝜋𝝐 は、もコーパスから学習することで、トピックの整理と解釈を助けるものである [9, 10, 11, 12, 13, 14, 15]。
しかし既存手法では、用いられる確率が小さく、似𝜋 𝝐 = 𝜈𝝐Ö

(1−𝜈𝜿 ) ·

𝜿≺𝝐

Ö
𝜿 ⪯𝝐

𝜙𝜿 , 𝜙𝝐 𝑘 = 𝜓𝝐 𝑘𝑘−1
Ö(1−𝜓𝝐 𝑗 ) (1)𝑗=1

通ったトピック–単語分布を持つ多数のトピックがで表される。式 (1) の第１項はトピック 𝝐 が縦方向推定される。これは確率的モデルだけでなく、近年に止まる確率であり、続く積は 𝝐 の先祖を縦方向にのニューラルモデルにおいても共通の現象である。

は通過しつつ、横方向では 𝝐 とその先祖に止まる確

トピックの平均確率が減衰する原因は、階層モデ率である。縦横方向に止まる確率は、ベータ分布にルで用いられる棒折り過程 [16] が、各トピックの平均確率を木が深くなるにつれ指数的に小さくすることにある。既存手法では推定される木構造を一定の深さで打ち切るなどのヒューリスティックに基づき、トピックの減衰を防いできた。
これに対し本研究は、スケール不変な木構造棒折従うとする。
𝜈𝝐 ∼ Be(1, 𝛼0 ) , 𝜓𝝐 ∼ Be(1, 𝛾0 ) .

(2)

さ ら に こ こ で 𝜆 を 用 い て、深 さ 固 有 の 𝛼0 を
𝛼𝝐 = 𝛼 |𝝐 | · 𝜆 |𝝐 | −1 , 0 ≤ 𝜆 ≤ 1 と定め、深いほど単語が止まりやすくする。以下、𝛼𝝐 を 𝛼 と記す。

図 1 木構造棒折り過程 [11]。青の区間はその幅に比例した確率 𝜋 のトピックを、角括弧は各トピックの経路を、黒線
は親子関係を、𝜓 は横方向の棒折り過程を示す。右図はトピックのみを抜き出したものである。
(a) TSSB [11](b) スケール不変 TSSB (提案手法)

0.0 0.2 0.4 0.6 0.8 1.0

0.0 0.2 0.4 0.6 0.8 1.0ては 𝜙𝝐 ′ = 1 である。以下 𝛾 = 𝜙𝝐 ′ 𝛾0 と表記する。
式 (3) で鍵となるのは、親トピック 𝝐 ′ における横方向の分割確率 𝜙𝝐 ′ を用いて、その子トピックの相対的な棒の長さ 𝜓𝝐 を求めている点である。これによって、付録 A に示した通り、深さ ℓ での平均的な棒の長さを 𝔼[𝜙 | ℓ] ≈ 1/(2𝛾 + 1/𝔼[𝜙 | ℓ −1]) (ℓ ≥ 2) とし、深さ ℓ に対してスケール不変となる分割を実現した。図 3 の実線が提案手法であるスケール不変木

𝛼0 = 3.5, 𝛾0 = 2, 𝜆 = 0.25

図 2 TSSB [11] (a) とスケール不変 TSSB (b)。青の区間はその幅に比例したトピックを示す。(a)(b) は同じハイパー
パラメータから生成された木構造であるが、(b) の提案手
法は確率 𝜋𝝐 が小さすぎるトピックを生成しない。

Expected probability

0.4

φ[1] = 0.4

Model

トピックモデルは、文書–トピック分布とトピッ

φ[1] = 0.1
2

3

4

5

6

7

8

9

ク–単語分布の組み合わせであり、本論文が提案す10

る ihLDA は、スケール不変 TSSB を前者に、階層

Level

図 3 深さ ℓ における横方向の平均分割確率。３つの異なる確率を持つ木の根を提案手法では示した。 提案手法の減衰は、TSSB よりも遅い。𝛾0 の値は 0.8 に固定した。

3

提案手法を用いると、木構造が深くなってもトピッ

スケール不変木構造棒折り過程に基づく無限階層トピックモデル

0.0
1

を、(a) と同じハイパーパラメータを用いて示した。

4

0.2 φ[1] = 0.2
0.1

図 2(b) にこのスケール不変 TSSB からのサンプル

クの確率が小さくなりにくいことがわかる。

Scale−invariant TSSB
Original TSSB

0.3

構造棒折り過程 (スケール不変 TSSB) を表している。

スケール不変木構造棒折り過程

Pitman-Yor 過程 [17] を後者に用いる。
文書–トピック分布

それぞれのトピックが用いられる確率は文書ごとに異なるが、トピック自体は全ての文書で共有されなければならない。このため
本研究は、スケール不変 TSSB を階層木構造棒折り

TSSB は階層的トピックモデルに用いられるが過程 (HTSSB) [18] に適用する。図 4 の通り、HTSSB[14, 15]、木構造が深くなるほどトピックの平均確は親 TSSB から子 TSSB を各文書に対して階層的に率が指数的に小さくなるという問題を抱えている。

生成する。

図 2(a) に示されるように、3 段目、4 段目のトピッ
クの確率はより上部のトピックと比べて小さい。
このような TSSB の性質は、横方向パラメータ 𝜓𝝐

...

...

が深さに関わらず同じ平均確率を持つために生じる。付録 A が示す通り、深さ ℓ における横方向の平均分割確率は 𝔼[𝜙 | ℓ] ≈ 1/(2𝛾 +1) ℓ であり、深さ ℓ が分母の指数にある。このため、図 3 の点線が示すような指数的な減衰が生じてしまう。
そこで本研究では、式 (2) の 𝛾0 を親ノード 𝝐 ′ から𝜓𝝐 ∼ Be(1, 𝜙𝝐 ′ 𝛾0 ),

...

...

図 4 HTSSB は親 TSSB から子 TSSB を階層的に生成する。子 TSSB は各文書の文書–トピック分布である。

HTSSB は階層ディリクレ過程 (HDP)[19] を式 (2)と (3) の縦横方向のパラメータに適用する。HTSSB(3)で の 親 子 関 係 を 示 す た め に、チ ル ダ 記 号 を 用 いとしてスケールを修正する。ここで根ノードにおいて子 TSSB のトピック 𝝐 に対応する親 TSSB のトピックを 𝝐˜ と記す。HDP に従うと、縦方向の確率はÎÍ
𝜈𝝐 ∼ Be(𝑎𝜏𝝐˜ , 𝑎(1− 𝜿 ⪯ 𝝐˜ 𝜏𝜿 ))、𝜏𝝐 = 𝜈𝝐 𝜿≺𝝐 (1−𝜈𝜿 ) 、横Í方向の確率は 𝜓𝝐 𝑘 ∼ Be(𝑏𝜙𝝐˜ 𝑘 , 𝑏(1− 𝑘𝑗=1 𝜙𝝐˜ 𝑗 )) となり、であることがわかる。親 TSSB の停止・通過回数の各文書の木構造は式 (1) から求まる。子 TSSB でのクティブサンプリング [21] と二分探索を組み合わトピックの割り当てが、HTSSB によって親 TSSB にせたギブスサンプリングを用いた。スライスサンプも影響することに留意しなければならない。

更新については、付録 B に詳述した。
次に、トピックの割り当てについてはレトロスペ

リングは現在のトピックと、ランダムに選ばれたト階 層 Pitman-Yor 過 程

ピックを比較するため、任意の 𝑢 ∼ Unif [ 0, 1) に対応(HPY)[17] に よ っ て、深 さ に 応 じ て ト ピ ッ ク のするトピックを見つけることさえできれば、全ての専 門 性 を 高 め つ つ、親 子 ト ピ ッ ク に 意 味 的 な 関トピックを数え上げる必要がなく効率的である。付連 性 を 持 た せ る こ と が で き る。𝐻𝝐 を ト ピ ッ ク 𝝐

録 C に具体的なアルゴリズムを示した。

ト ピ ッ ク –単 語 分 布のトピック–単語分布とすると、この事 前分布がPitman-Yor 過程に従い 𝐻𝝐 ∼ PY(𝑑 |𝝐 | , 𝜃 |𝝐 | , 𝐻𝝐 ′ ) となる。
これを根ノード 𝐻 [1] ∼ PY(𝑑0 , 𝜃 0 , 𝐻0 ) に至るまで繰り返し、𝐻0 = 1/𝑉 と単語数 𝑉 を用いて一様分布を考える。トピック–単語分布の木構造は文書-トピック分
布の親 TSSB と同じであり、各文書の各トピックで対応するトピック–単語分布が保証されている。
生成過程 ihLDA の生成過程は、次の通りである。
1. 親 TSSB e
𝝅 の生成。𝝅 は TSSB とする。
2. トピック–単語分布 𝐻𝝐 を HPY を使って e𝝅 の各トピックに対して生成。
3. 各文書 𝑑 に対して文書分布 𝝅 (𝑑) ∼ HTSSB(e𝝅) を生成。
4. 文 書 𝑑 の 𝑖 番 目 の 単 語 に 対 し、ト ピ ッ ク を
𝑧 𝑑𝑖 ∼ 𝝅 (𝑑) と生成し、次に単語 𝑤 𝑑𝑖 ∼ 𝐻 𝑧𝑑𝑖 を生成する。

HPY のパラメータ推定は原論文 [17] に従い、その他はスライスサンプリング [22, 23] を用いた。

6

実験

設定 実験には BBC News [24]、20News [25]、主なカテゴリから抽出した Wikipedia コーパスを用いた。
文書数はそれぞれ 2,225、18,828、50,513 であり、ランダムに選んだ 80%を訓練データとした。
比 較 対 象 は nCRP [9]、rCRP [12]、TSNTM [14]、nTSNTM [15] で、それぞれ既定値を用いたが、10,000
イテレーションに 2 週間以上かかったモデルは結果から除外した。全てのモデルを同一基準で比較する
ために、各トピックは少なくとも 100 語に割り当てられているものとした。
量的比較

既存研究で用いられているトピック固有性 (TU)[26, 27, 15]、平均重複 (AO)[15] に加えて、新しく木構造多様性 (TD) を提案する。TU は大きい

5モデルの推論
トピック木構造に関わる式 (2) と (3) の縦横パラメータを推定するために、ディリクレ過程表現の一つである中華料理街過程 [20] を用いる。トピック 𝝐において、𝑛0 (𝝐) が縦方向の停止数を、 𝑚 0 (𝝐) が横方
向の停止数を、𝑛1 (𝝐) が縦方向の通過数を、𝑚 1 (𝝐) が横方向の通過数を表すとする。また 𝑛(𝝐) = 𝑛0 (𝝐)+𝑛1 (𝝐)、𝑚(𝝐) = 𝑚 0 (𝝐) +𝑚 1 (𝝐) と定義する。するとデータと他のパラメータで条件づけたパラメータの期待値がそほどトピックが平均的に固有の単語を上位語に持ち、AO は小さいほど親子の上位語の重複が少ない。
ただし親子トピックは意味的な重なりを持つはずなので、AO が階層トピックモデルの評価に適切な指標かは疑問の余地がある。TD は子トピックの固有性を親トピックの重要性で重み付けしたもので、以下のように定義する。
Õ| VC(𝝐 ) || D(𝝐)|; 𝑤𝝐 = Í.
TD =𝑤𝝐𝑢| C(𝝐)|𝜿 ∈ T | D(𝜿)|
𝝐 ∈T

れぞれ b
𝜈𝝐 = 𝔼[𝜈𝝐 | rest] = (1 + 𝑛0 (𝝐))/(1 + 𝛼 + 𝑛(𝝐)) とb𝝐 = 𝔼[𝜓𝝐 | rest] = (1 + 𝑚 0 (𝝐))/(1 + 𝛾 + 𝑚(𝝐)) となる。
𝜓

ここで、 C(𝝐) は 𝝐 の子トピックの集合、 D(𝝐) は 𝝐

ここで式 (1) を用いることで、𝜋𝝐 の事後確率の期待ら重複を除いた単語集合である。TD が大きいほど、値が求まる。さらに HTSSB においても同様に、文子トピックが固有の単語を含む。

書 𝑑 における縦横パラメータの事後確率の期待値が𝑎𝜏𝝐˜ + 𝑛0 (𝝐)Í𝔼 𝜈𝝐(𝑑) | rest =,𝑎(1 − 𝜿≺𝝐˜ 𝜏𝜿 ) + 𝑛(𝝐)𝑏𝜙𝝐˜ 𝑘 + 𝑚 0 (𝝐 𝑘)𝔼 𝜓𝝐(𝑑)Í𝑘 | rest =′𝑏(1 − 𝑘−1
𝑗=1 𝜙𝝐˜ 𝑗 ) + 𝑚(𝝐 𝑘)の子孫の集合、 VN はトピック集合 N の上位 𝑢 語か

表 1 に各指標を 5, 10, 15 の上位語数で計算した平均をまとめた。提案手法は TD と TU で既存手法を上回り、割り当てが 100 語未満のトピックを含めても高い性能を示している (括弧内の値)。既存の確率的手法 (nCRP と rCRP) は、木が深さ 3 で打ち切られ

最大
深さ

モデル

3
ihLDA
≥4
nCRP
rCRP

3

TSNTM
nTSNTM

木構造多様性 (TD) (↑)
BBC
20N
Wiki

トピック固有性 (TU) (↑)
BBC
20N
Wiki

平均重複 (AO) (↓)
BBC
20N
Wiki

トピック数
BBC 20N Wiki

2.24
(2.24)
2.53(2.54)
1.92
0.15

2.88
(2.86)
2.88(2.80)
2.16–

2.63(2.49)
2.50(2.51)––

0.60(0.60)
0.55(0.49)
0.36
0.01

0.82
(0.80)
0.76(0.51)
0.32–

0.66(0.63)
0.65(0.63)––

0.28(0.28)
0.26(0.30)
0.03
0.53

0.11
(0.14)
0.12(0.38)
0.02–

0.16(0.19)
0.15(0.16)
–
–

38
(38)
85
(134)
517
278

27
(31)
67
(203)
2108
–

17
(18)
73
(101)
–
–

1.98
2.11

2.54
2.57

2.47
2.34

0.43
0.46

0.80
0.68

0.64
0.60

0.26
0.09

0.09
0.01

0.06
0.02

22
68

41
81

44
111

表 1 量的比較結果。比較のため 100 語未満にしか割り当てられなかったトピックを除外したが、提案手法については除外前の値を括弧内に示した。
said year would also people

film award bestyear said
best film award
actor british

said company
year firm also

said people could
one systemgame technology
mobile music digital

said chip makemachine computer

film angel france
actor young

service people phonemobile broadband

mini mac said
apple computer

dvd game sony
psp nintendo

said law government
minister would
said labour election
party blair

lord labour reform
minister speaker

robot car ministreet produced

said year final
win first
game player teamclub league

immigration asylum
state measure argued

minister mayor ken
journalist apologise

sport winter breakplayer league

club deal playcontract season

think apologise mayor
reporter johnsonmusic said award
artist year

sound mobile
song audio
bestengland madrid
great sport stadium…

song music bestyear british
music court
industry
sharing peer
beckham real owenbernabeu ronaldo

図 5 BBC コーパスを用いた深さ 6 の木の上位語。色付きの枝を図 6 でさらに説明している。

Topic−word probabilityているにも関わらず大量のトピックを推定した。
system

0.03
0.02
0.01
0.00

digitalFirst branch
Third branch
Fourth branch

既存のモデルのように文書ごとに制約されることがgovernment

0.03
0.02
0.01
0.00

定できる (表 1 の括弧内)。また提案手法は TSSB の階層モデルであるから、単語を生成するトピックがsonyelectionない [9, 10, 13]。

johnson

階層的トピックモデルは様々なモデルに拡張されており [28, 29, 30, 31, 32]、棒折り過程を使う既存手
win

0.03
0.02
0.01
0.00
1

2

3

4

player

5

6

1

2

3

4

ronaldo

5

6

1

2

3

4

法に提案手法を容易に反映させることができる。
5

6

Level in the estimated topic tree

図 6 図 5 の左から 1 番目 (赤)、3 番目 (青)、4 番目 (緑) の枝のトピック–単語確率。固有名詞の確率はノードが深いほど高く、一般的な単語はノードが浅いほど高い。

8

結語
既存の階層的トピックモデルには深くなるにつれてトピックの確率が指数的に減衰する問題があった。親トピックを考慮することでこの問題を解消す

図 5 に推定された深さ 6 の木とる提案手法は、棒折り過程を用いる既存モデルにも上位語を、図 6 にいくつかのトピック–単語確率を広く応用可能である。実験は 2 つの指標で提案手法示した。固有名詞の確率はノードが深いほど高く、がニューラルを含む既存手法を上回ることを示し、木構造と上位語

一般的な単語の確率はノードが浅いほど高い。また定性的な検証でも ℓ ≥ 4 の深い木の推定が行えるこ

それぞれの枝が固有のテーマを表していることが読とがわかった。

みとれる。

7

関連研究

一方、本研究で用いたギブスサンプリングは近似を伴う既存手法 [33] よりも遅いことがわかっている。将来的には分散アルゴリズムや変分推論を組み既存研究では確率の小さなトピックが作られ合わせ、より大規模なコーパスを処理できるようにることを防ぐために、深さ 3 の浅い木のみの推定

したい。また、本研究の教師なし学習で推定されるや [9, 12, 13]、経験則に基づくトピック生成の制約

木構造を利用者の考える分類と一致させるため、非[14, 15] がなされてきた。これに対し提案手法は、深階層的トピックモデルで提案されている半教師ありい木構造でも打ち切りなしに妥当なトピック数を推学習 [34, 35] を取り入れることも今後の課題である。

参考文献[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent
Dirichlet allocation. Journal of Machine Learning Research,
Vol. 3, pp. 993–1022, 2003.
[2] David M. Blei and John D. Laﬀerty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, 2006.
[3] Jonathan Chang and David M Blei. Hierarchical relational models
for document networks. The Annals of Applied Statistics, Vol. 4,
pp. 124–150, 2010.
[4] Margaret E. Roberts, Brandon M. Stewart, and Edoardo M. Airoldi.
A model of text for experimentation in the social sciences. Journalof the American Statistical Association, Vol. 111, pp. 988–1003,
2016.
[5] Aaron Q Li, Amr Ahmed, Sujith Ravi, and Alexander J Smola.
Reducing the sampling complexity of topic models. In Proceedingsof the 20th ACM SIGKDD International Conference on Knowledge
Discovery and Data Mining, pp. 891–900, 2014.
[6] Hsiang-Fu Yu, Cho-Jui Hsieh, Hyokun Yun, S V N Vishwanathan,and Inderjit S Dhillon. A scalable asynchronous distributed algorithm for topic modeling. In Proceedings of the 24th International
Conference on World Wide Web, pp. 1340–1350, 2015.
[7] Jinhui Yuan, Fei Gao, Qirong Ho, Wei Dai, Jinliang Wei, Xun
Zheng, Eric P. Xing, Tie Yan Liu, and Wei Ying Ma. LightLDA:
Big topic models on modest computer clusters. In Proceedings ofthe 24th International Conference on World Wide Web, pp. 1351–
1361, may 2015.
[8] Jianfei Chen, Kaiwei Li, Jun Zhu, and Wenguang Chen. WarpLDA:
A cache eﬃcient O(1) algorithm for latent Dirichlet allocation.
Proceedings of the VLDB Endowment, Vol. 9, , 2016.
[9] David M. Blei, Thomas L. Griﬃths, Michael I. Jordan, andJoshua B. Tenenbaum. Hierarchical topic models and the nested
Chinese restaurant process. In Proceedings of the 16th International Conference on Neural Information Processing Systems, pp.
17–24, 2003.
[10] David M. Blei, Thomas L. Griﬃths, and Michael I. Jordan. The
nested Chinese restaurant process and bayesian nonparametric inference of topic hierarchies. Journal of the ACM, Vol. 57, No. 2,
pp. 1–30, feb 2010.
[11] Ryan P. Adams, Zoubin Ghahramani, and Michael I. Jordan. Treestructured stick breaking for hierarchical data. In Proceedings of the
23rd International Conference on Neural Information Processing
Systems, pp. 19–27, 2010.
[12] Joon Hee Kim, Dongwoo Kim, Suin Kim, and Alice Oh. Modeling topic hierarchies with the recursive Chinese restaurant process.
In Proceedings of the 21st ACM international conference on Information and knowledge management, pp. 783–792. ACM Press,
2012.
[13] John Paisley, Chong Wang, David M. Blei, and Michael I. Jordan.
Nested hierarchical Dirichlet processes. IEEE Transactions on
Pattern Analysis and Machine Intelligence, Vol. 37, No. 2, pp.
256–270, feb 2015.
[14] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro
Sakata. Tree-structured neural topic model. In Proceedings of
the 58th Annual Meeting of the Association for Computational
Linguistics, pp. 800–806, 2020.
[15] Ziye Chen, Cheng Ding, Zusheng Zhang, Yanghui Rao, and Haoran Xie. Tree-structured topic modeling with nonparametric neuralvariational inference. In Proceedings of the 59th Annual Meetingof the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp.
2343–2353, 2021.
[16] Jayaram Sethuraman. A constructive deﬁnition of dirichlet priors.
Statistica Sinica, Vol. 4, No. 2, pp. 639–650, 1994.
[17] Yee Whye Teh. A Bayesian interpretation of interpolated Kneser-

[18]

[19]

[20]

[21]

[22]
[23]
[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

Ney. Technical report, National University of Singapore School ofComputing, 2006.
持 橋 大 地, 能 地 宏. 無 限 木 構 造 隠 れ Markov モ デ ル に よる 階 層 的 品 詞 の 教 師 な し 学 習. 情 報 処 理 学 会 研 究 報 告2016-NL-226, 2016.
Yee Whye Teh, Michael I Jordan, Matthew J Beal, and David M
Blei. Hierarchical dirichlet processes. Journal of the American
Statistical Association, Vol. 101, No. 476, pp. 1566–1581, 2006.
John Paisley and Lawrence Carin. Hidden markov models withstick-breaking priors. IEEE Transactions on Signal Processing,Vol. 57, No. 10, pp. 3905–3917, 2009.
Omiros Papaspiliopoulos and Gareth O. Roberts. Retrospective
Markov chain Monte Carlo methods for Dirichlet process hierarchical models. Biometrika, Vol. 95, No. 1, pp. 169–186, 2008.
Radford M Neal. Slice sampling. The Annals of Statistics, Vol. 31,
pp. 705–767, 2003.
Daichi Mochihashi. Unbounded slice sampling. ISM Research
Memorandum No. 1209, 2020.
Derek Greene and Pádraig Cunningham. Practical solutions to
the problem of diagonal dominance in kernel document clustering.
In Proceedings of the 23rd International Conference on Machinelearning, pp. 377–384. ACM Press, 2006.
Ken Lang. NewsWeeder: Learning to ﬁlter Netnews. In Proceedings of the Twelfth International Conference on Machine Learning,pp. 331–339, 1995.
Feng Nan, Ran Ding, Ramesh Nallapati, and Bing Xiang. Topic
modeling with Wasserstein autoencoders. In Proceedings of the57th Annual Meeting of the Association for Computational Linguistics, 2019.
Corentin Masson and Syrielle Montariol. Detecting omissions ofrisk factors in company annual reports. In Proceedings of theSecond Workshop on Financial Technology and Natural Language
Processing, pp. 15–21, 2020.
Su Jin Shin and Il Chul Moon. Guided HTM: Hierarchical topic
model with dirichlet forest priors. IEEE Transactions on Knowledge and Data Engineering, Vol. 29, No. 2, pp. 330–343, feb 2017.
Yueshen Xu, Jianwei Yin, Jianbin Huang, and Yuyu Yin. Hierarchical topic modeling with automatic knowledge mining. Expert
Systems with Applications, Vol. 103, pp. 106–117, aug 2018.
Ming Yang and William H. Hsu. HDPauthor: A new hybrid
author-topic model using latent Dirichlet allocation and hierarchical Dirichlet processes. In Proceedings of the 25th International
Conference Companion on World Wide Web, pp. 619–624, 2016.
Xi Zou, Yuelong Zhu, Jun Feng, Jiamin Lu, and Xiaodong Li. A
novel hierarchical topic model for horizontal topic expansion withobserved label information. IEEE Access, Vol. 7, pp. 184242–
184253, 2019.
Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro
Sakata. Unsupervised abstractive opinion summarization by generating sentences with tree-structured topic guidance. Transactionsof the Association for Computational Linguistics, Vol. 9, pp. 945–
961, 2021.
Diederik P Kingma and Max Welling. Stochastic gradient vb andthe variational auto-encoder. In Proceedings of the 2nd International Conference on Learning Representations, Vol. 19, p. 121,
2014.
Jagadeesh Jagarlamudi, Hal Daumé III, and Raghavendra Udupa.
Incorporating lexical priors into topic models. In Proceedings ofthe 13th Conference of the European Chapter of the Association
for Computational Linguistics, pp. 204–213, 2012.
Shusei Eshima, Kosuke Imai, and Tomoya Sasaki. Keyword assisted topic models. arXiv 2004.05964, 2020.

A

階層 TSSB でのトピック平均確率
棒降り過程 𝜙 𝑘 = 𝑣 𝑘Î 𝑘−1

𝑗=1 (1 − 𝑣 𝑗 ), 𝑣 𝑘 ∼ Be(1, 𝛾) において、𝑣 𝑘 の平均確率は 𝔼[𝑣 𝑘 ] = 1/(1+𝛾) であるから、𝑘 番目に折られた棒の平均確率は以下となる、

 𝑘−1

𝑘
𝛾
1
𝛾
1
𝔼[𝜙 𝑘 ] ==.
1+𝛾 1+𝛾
𝛾 1+𝛾
次に棒折り過程におけるトピックの平均確率は、
𝔼[𝜙] =
≈

∞
Õ
𝑘=1
∞
Õ

𝔼[𝜙 𝑘 ] · 𝜙 𝑘
𝔼[𝜙 𝑘 ] 2

𝑘=1

2
∞ 
Õ
𝛾
1
=
·
𝛾+1 𝛾
𝑘=1
𝑘
∞ 
1 Õ
1
= 2

𝛾 𝑘=1 1 + 1 2𝛾=

12𝛾 + 1

棒折り過程を用いると、深さ ℓ におけるトピックの平均確率は𝔼[𝜙 | ℓ] = 𝔼[𝜙 | ℓ − 1] · 𝔼[𝜙] ≈1,(2𝛾 + 1) ℓとなる。最初の等号は深さ ℓ − 1 での棒が更に深さ ℓにおいて折られることを示している。3 節に示した提案手法では、平均確率が𝔼[𝜙 | ℓ] = 𝔼[𝜙 | ℓ − 1] · 𝔼[𝜙]≈ 𝔼[𝜙 | ℓ − 1] ·12(𝛾 · 𝔼[𝜙 | ℓ − 1]) + 1

1
for ℓ ≥ 2 .
2𝛾 + 1/𝔼[𝜙 | ℓ−1]となる。木構造の根 (ℓ = 1) においては 𝔼[𝜙 | ℓ = 1] =1/(2𝛾+1) である。木構造が深くなっても、トピックの平均確率が指数的に小さくなることはない。

B

推論アルゴリズム
トピックの探索と割り当ては以下の通りである。

Algorithm 1 トピックの探索
function find topic(𝑢, 𝝐)if 𝑢 < 𝜈𝝐 thenreturn 𝝐else
𝑢 = (𝑢−𝜈𝝐 )/(1−𝜈𝝐 ); 𝑘 = 1
while True doÎ
if 𝑢 < 1 − 𝑘𝑗=1 (1−𝜓𝝐 𝑗 ) then breakelse
𝑘 += 1Create 𝝐 𝑘 if necessary
end ifend whileÎ(𝑢−1)(1−𝜓𝝐 𝑘 ) + 𝑘𝑗=1 (1−𝜓𝝐 𝑗 )𝑢=Î𝜓𝝐 𝑘 · 𝑘𝑗=1 (1−𝜓𝝐 𝑗 )return ﬁnd topic(𝑢, 𝝐 𝑘)
end ifend function

Algorithm 2 トピックのギブスサンプリングとなる。ここでは 𝜙 𝑘 の平均を近似として用いた。

=

CHTSSB での停止・通過回数
単語 𝑤 が子 TSSB のトピック 𝝐 で縦方向の停止をした場合、𝑎𝜈𝝐˜ /(𝑎 +𝑛(𝝐)) に比例する確率で親 TSSBの対応ノード 𝝐˜ を更新し、𝑛(𝝐)/(𝑎+𝑛(𝝐)) に比例する
確率で子 TSSB の 𝝐 のみを更新する。横方向についても同様に 𝑏𝜓𝝐˜ /(𝑏+𝑚(𝝐)) に比例する確率で親 TSSBの対応ノード 𝝐˜ を更新し、𝑚(𝝐)/(𝑏 +𝑚(𝝐)) に比例する確率で子 TSSB の 𝝐 のみを更新する。

function sample assignment(𝝐)𝑎 = 0; 𝑏 = 1; 𝜌 = Unif [ 0, 1) · 𝑝(𝝐)while True do
𝑢 = Unif [ 𝑎, 𝑏)
𝝐 ′ = ﬁnd topic(𝑢, 𝝐 root )𝑞 = 𝑝(𝝐 ′ )if 𝑞 > 𝜌 then return 𝝐 ′else
if 𝝐 ′ < 𝝐 then 𝑏 = 𝑢 else 𝑎 = 𝑢
end ifend while
end function

D

評価指標の詳細

ト ピ ッ ク 固 有 性 (TU) 定 義 は TU =ÍÍ
| T| −1 𝝐 ∈ T 𝑢 −1 𝑢𝑢′ =1 𝑛(𝑢 ′ , 𝝐) −1 で あ る。こ こ で Tは推定されたトピック集合、𝑛(𝑢 ′ , 𝝐) は 𝝐 の 𝑢 ′ 番目の上位単語が、全てのトピックでの上位 𝑢 語に登場した回数である。TU が大きいほどトピックの固有性が高い。
平均重複 (AO) AO は親子トピック間で上位 𝑢 語Íの重複を平均し、AO = | T| −1 𝝐 ∈ T | V𝝐 ∩ V𝝐 ′ | · 𝑢 −1 と定義される。ここで V𝝐 は 𝝐 の上位 𝑢 語である。低いAO は親子関係の単語の重複が少ないことを示す。