人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-06

GDM に基づくインタラクティブトピックモデリングの提案
Proposal for Interactive Topic Modeling based on GDM
小林 賢治 1 高間 康史 1 柴田 祐樹 1
Kenji Kobayashi1
Yasufumi Takama1
Hiroki Shibata111

東京都立大学 システムデザイン学部
Faculty of System Design, Tokyo Metropolitan University

Abstract: 本稿では，GDM（Geometric Dirichlet Means）に基づくインタラクティブトピックモ
デリングの手法について提案する．トピックモデルは多数の文書データに含まれるトピックの解析に用いられるが，教師なし学習であるため分析者の期待する結果が得られる保証はない．本稿では，
幾何学的計算に基づく GDM を採用し，インタラクティブなモデル変更に必要なパラメータや操作を提案する．各操作の適用事例に基づき，操作意図をモデリング結果に反映できることを示す．

1

はじめに

本稿では，GDM(Geometric Dirichlet Means)[2] に基づくインタラクティブトピックモデリングの手法を提案する．トピックモデリングは，文書集合に存在するトピックを分析する手法として利用される，教師なし学習の一種である [1]．一つの文書には複数のトピックが含まれていることを仮定して，文書に含まれるト
ピックやトピックに関連する単語などを確率分布として表すことができる．しかしトピックモデルは教師なし学習であるため，分析結果がユーザの期待するものとは異なる場合がある．この問題を解決するため，人間参加型学習を用いたインタラクティブトピックモデリングが提案されている [6]．この手法は，トピックモ
デリングの学習過程に分析者の知見を介入させることで期待する結果に近づける半教師あり学習である．計算機による出力結果を分析者が確認し，フィードバッ
クを与えて逐次的に修正していく．
トピックモデルとして LDA(Latent Dirichlet Allocation) を用いた既存研究 [6] を参考に，本稿では GDM
アルゴリズムを用いたインタラクティブトピックモデリングを提案する．GDM は幾何学的視点からトピックを推定するトピックモデリングの手法である．LDA において，文書はトピックを基底とする潜在トピック座
標単体上に射影される．この解釈に基づき，GDM では文書集合に重み付きクラスタリングを適用した結果に幾何学的補正を加えて基底ベクトルを推定する．
提案手法では初期クラスタリングの結果に基づき
GDM モデルを作成する．その結果を分析者が確認し，期待とは異なる部分を変更する操作を適用する．操作結果に基づきクラスタリングおよび GDM を再実行し，モデルを更新する．既存研究 [6] ではモデル変更操作として，add word，remove word，change word order，
remove document，merge topic，split topic，add tostop words を提案しているが，本稿では文書クラスタ
リングに基づく GDM の特性を活かし，add word，remove word，change word order，add document，remove document，merge topic，split topic，add to stop
words の 8 種類を提案する．
本稿では Livedoor ニュースコーパス1 から取得した文書集合を用いて，提案する操作により想定する効果が得られるかを検証する．トピック数を指定して GDMを実行し，得られた初期モデルに対して提案する 8 種
類の操作のうち紙面の都合により 3 種類のみについて
それぞれ適用した結果，意図通りにモデルが更新されることを示す．

2

関連研究

2.1

トピックモデリング

トピックモデリングは文書集合の潜在トピックを推定する確率モデルである．文書は複数の潜在的なトピッ
クから確率的に生成されていると仮定して，文書に関連するトピックの生成確率を示すトピック分布，トピッ
クに関連する単語の生成確率を示す単語分布を推定する．
トピックモデリングの代表的な手法として LDA[1] やGDM[2] が挙げられる．本節では本稿で利用する GDMについて説明する．

ー 29 ー

1 https://www.rondhuit.com/download.html

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-06

2.2

GDM(Geometric Dirichlet Means)

GDM は文書集合のトピックを推定するトピックモ
デリングの一手法である．GDM で使用する変数を表
1，アルゴリズムを Algorithm1 に示す．
GDM は幾何学的計算に基づいて単語分布 ϕ = (ϕk1 ,..., ϕkNK ) を推測する．トピック k は NV 次元空間上のベクトル ϕk ，文書は各トピックを頂点とする単体上に生成される．GDM は主に以下の二つのステップから単語分布 ϕ を推測する．
• 文書集合に対し重み付きクラスタリングを実行しクラスタ中心 µ = (µk1 , .., µkNK ) を求める (Algorithm1，2 行目)• 幾何学的補正により µ から ϕ を求める (Algorithm1，5 行目)
GDM ではクラスタ数 (NK ) を指定し，重み付きクラスタリングにより文書集合をクラスタに分割する．本稿
では重み付き k-means を利用する．各クラスタがトピッ
クに対応する．次に，求めた µ に対して式 (1) に示す幾
何学的補正を加えて単語分布 ϕ を求める (Algorithm1，
5 行目)．
ϕkC= C + mk (µk − C), k ∈ K
1 ∑ ′
=
w̄d
ND

(1)
(2)

d∈D

mk

=

w̄d′

=

maxd∈Dk ∥C − w̄d′ ∥2,k ∈ K∥C − µk ∥2w̄d ◦ γd∥w̄d ◦ γd ∥1

(3)
(4)

式 (4) の ◦ はアダマール積を表す．ただし，式 (1)により計算される単語分布で ϕkv < 0 となる場合を考慮して k ∈ K において式 (5) により ϕkv を更新する(Algorithm1，7 行目)．
{
R(ϕkv )x (x > 0)
ϕkv = ∑, R(x) =(5)′)
R(ϕ0 (x ≤ 0)
′
kv
v ∈V

表 1: GDM で使用する記号記号
説明
D = {d1 , d2 , ..., dND } 文書集合
K = {k1 , k2 , ..., kNK } トピック集合
V = {v1 , v2 , ..., vNV }語彙集合
Dk ⊆ Dk ∈ K に割り当てられた
文書集合
wdnd ∈ D の n 番目の単語
ϵd (> 0)d ∈ D の重さ
w̄dv (≥ 0)d ∈ D 内の全単語に占めるv ∈ V の出現割合
γdv (> 0)d ∈ D における v ∈ V の重さNdd ∈ D の単語数
θd = (θdk1 , ..., θdkNK ) d ∈ D のトピック分布
ϕk = (ϕkv1 , ..., ϕkvNV ) k ∈ K の単語分布
θdk (∈ [0, 1])d ∈ D での k ∈ Kの生成確率
ϕkv (∈ [0, 1])k ∈ K での v ∈ V
の生成確率

2.3

人間参加型機械学習 (human in the loop)[3][4] は，機械による学習に人間の知見をインタラクティブに介入させる学習方法で，機械による学習結果の間違いや想定と異なる部分を人間が発見しフィードバックを与える半教師あり学習である．まず初めに，機械は通常の機械学習（分類モデルやクラスタリングなど）を行う．
人間が学習結果を見て機械にフィードバックを与え，それに基づき機械は再学習をする．このプロセスを繰り返すことで，分類・予測精度が向上したり，人間が希望する結果に近づくことが期待できる．
人間参加型学習は人間の知見を学習に加えることができるため，学習データが不足している場合や学習結
果に高い精度が求められる場合に用いられる．

2.4
Algorithm 1 Geometric Dirichlet Means
1: D の中心ベクトル C を求める
2: クラスタ中心 µk (k ∈ K) を求める
3: mk (k ∈ K) を求める
4: for k ∈ K do
5:
ϕk を求める
6:for v ∈ V do
7:
ϕkv を更新

人間参加型学習 (human in the loop)

COP K-means

COP K-means[5] は通常の K-means に制約を加える
クラスタリング手法である．制約はデータ対に対するものとして与えられ，以下の二種類が定義されている．
• Must-link 制約：2 つのデータが同じクラスタに配置されなければならないことを示す制約• Cannot-link 制約：2 つのデータが同じクラスタに配置されてはならないことを示す制約

ー 30 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-06

制約はデータをクラスタに割り当てる際に利用される．データに Must-link 制約が適用されている場合，対となるデータがすでにクラスタに割り当てられていれば同じクラスタに割り当てる．Cannot-link 制約が適用されている場合，対となるデータとは異なるクラスタに割り当てる．データは制約に違反しない限り最も近いクラスタに割り当てられ，制約に違反した場合はクラスタリングは失敗する．

本稿では 8 種類の改良操作を提案する．操作概要，操作手順，変更するパラメータについての説明を行う．

3.2.1

提案手法では，最初に通常のトピックモデリングを行う．その後，分析者が結果を見てフィードバックを機械に与えることで，トピックモデルを修正する．GDM
では重み付き K-means を用いるが，提案手法では分析者のフィードバックを考慮するために，GDM の再実行
時には COP K-means を用いる．すなわち，モデル変
更操作はクラスタリングにおいて考慮される．本節では，クラスタリングにおいて修正対象となるパラメー
タを説明した後，8 種類のモデル変更操作について説明する．

add word

add word の引数はトピック k(∈ K) と単語 v(∈ V )であり，ϕkv が k において他の単語よりも高くなるよ
うに修正する操作である．実行手順を以下に示す．

GDM に基づくインタラクティブ
トピックモデリング

3

改良操作

3.2

1. k に割り当てられていない文書から v を含む
Dadd ⊂ D を選択する
2. k と Dadd に Must-cluster 制約を適用する
3. γdv , d ∈ Dk を変更する
手順 2 において，分析者は v を含む各文書の内容を見て Dadd を選択する．k ，v を指定して add word を適用した場合の Newton 法を用いた γ 更新式を式 (6)に示す．ただし，γdv = γ1 とし，k で最も出現確率の高い単語を vH とする．(n) は更新過程において n ス
テップ目の値であることを表し，本稿では終了条件を(n)f (γ1 ) < 10−8 とした．A は加速係数である．
(n+1)

3.1

γ1

修正対象パラメータf (n)提案手法では，以下のパラメータをユーザからのフィードバックに基づき修正する．

µkv• γdv ：文書 d における単語 v の重さ

(n)

= γ1

− Af (n) /(n)∂f (n)

(6)

(n)

∂γ1

(n)

(n)

(n)

= µkv − {µkvH + (µkvH − µkvH−1 )} (7)∑ w̄dv γdv
1
= ∑
ϵd
(8)
∥w̄d ◦ γd ∥1d∈Dk ϵdd∈Dk• ϵd ：d の重さ
3.2.2• Must-cluster 制約：指定したデータが指定したクラスタに割り当てられなければならないことを示す制約• Cannot-cluster 制約：指定したデータが指定したクラスタに割り当てられてはならないことを示す
制約

remove word の引数はトピック k(∈ K) と単語 v(∈
V ) であり，ϕkv を 0 に近づける操作である．この操作
では，Dk 内の全文書 d について γdv を非常に小さな値に変更する．本稿ではこれを 10−6 とした．

3.2.3
γdv は初期値を 1 とし，これを変更することで各文書における単語の重要度を調整する．ϵd は初期値を 1 とし，文書がクラスタ中心に与える影響を調整する．Mustcluster 制約，Cannot-cluster 制約は COP K-means においてデータをクラスタに割り当てる際に利用する．
データに Must-cluster 制約が適用されていた場合，指定されているクラスタにデータを割り当てる．Cannotcluster 制約が適用されている場合，指定されているクラスタ以外の最も近いクラスタに割り当てる．

remove wordchange word orderchange word order の引数はトピック k(∈ K) と単語
v1′ ，v2′ (∈ V ) であり，k の関連単語リスト内で両単語の位置を入れ替える操作である．これは，ϕkv1′ ，ϕkv2′の大小関係を入れ替えることに相当し，Dk 内の全文
書 d について両単語に対応した重み γ1 , γ2 の値をそれ
ぞれ，i = 1, 2 について式 (9) に基づき更新することで実現する．計算には 2 変数非線形連立方程式を解くた
めに 1 次近似 Newton 法を使用する．J はヤコビ行列(Jij = ∂fi /∂γj )，δ はクロネッカーデルタを表す．本
稿では終了条件を |f1 | + |f2 | ≤ 10−8 とした．

ー 31 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-06

3.2.5
(n+1)

γi

(n)

= γi

∑ (
)(n) (n)J −1 ij fj

−

(9)

j=1,2

fi

=

∑

∑ (

1

d∈Dk ϵd d∈Dk−∑γdvi′ w̄dvi′(1 − δij )µkvj′)

remove document

remove doucment の引数はトピック k と文書集合
Dremove (⊂ Dk ) であり，k から Dremove の文書を削除する操作である．実行手順を以下に示す．
1. Dk から Dremove を選ぶ(10)

2. k と d ∈ Dremove に Cannot-cluster を適用する

j=1,2

3. d ∈ Dk − Dremove について ϵ̂d = 12 Ekold
3.2.4

add document

add document の引数はトピック k(∈ K) と文書集合
Dadd (⊂ D − Dk ) であり，k に Dadd の文書を関連付ける操作である．既存研究 [6] には存在しない操作であるが，文書が操作主体となる GDM の特徴を生かすために本稿で提案する．実行手順を以下に示す．
1. k 以外に割り当てられた文書から追加する Daddを選ぶ
2. k と d ∈ Dadd に Must-cluster 制約を適用する

手順 1 において，分析者は k の各文書の内容を見てDremove を選択する．手順 3 では Dremove の各文書が kのクラスタ中心から離れるように，ϵd を求める．この更新により，Disnew (k, d) < Disold (k, d) となる．また，
ϵ̂d において 3.2.4 節と同様の修正を行う．

3.2.6

split topic の引数はトピック k と単語集合 Vadd ⊆ Vであり，k を二つのトピックに分ける操作である．実行手順を以下に示す．

3. ϵd , d ∈ Dadd を変更する
手順 1 において，Dadd は k 以外に割り当てられた文書の内容を分析者が見ることによって選択する．手順 3において，ϵd の値は式 (11) により求める．ここで，k ′は d が所属していたトピック，old, new は d を k ′ からk へ移動する前後の状態をそれぞれ意味する．Dis(k, d)
は k のクラスタ中心と d のユークリッド距離である．
この更新により，Disnew (k, d) < Disold (k, d) となる．

ηd
E old
1 − ηd k

ϵ̂d

=

ηd

= 1−

(12)

=

(13)

Ekold

1 Disold (k ′ , d)
2 Disold (k, d)∑ϵdsplit topic

1. Dk において v ∈ Vadd を含む文書から，新しいトピック knew に移す Dadd を選択する
2. Dadd の重心を中心とするクラスタ knew を生成する
3. d ∈ Dadd と knew に Must-cluster 制約を適用する
手順 1 において，Dadd は v ∈ Vadd を含む文書の内容を分析者が見ることによって選択する．

(11)

old
d∈Dk

Dadd 内の d と k の関係を強めるために，ϵd は 1 以上の値とする必要があるが，モデル修正操作を何度も繰り返した際に大きくなりすぎることも防ぐ必要がある．
そのため，式 (11) で求めた値を以下に従い修正する．
{
min(ϵ̂d , max(1, 0.9Ekold )) (ϵ̂d > 1)ϵd =1 (ϵ̂d ≤ 1)
add word，add document の 2 つの操作において，どちらも文書を追加するという操作を行うが，add wordは指定した単語の重さを変更することが目的であるのに対し，add document は文書をクラスタに近づける事が目的である点で異なる．

3.2.7

merge topic

merge topic の引数はトピック k ，k ′ であり，二つのトピックを一つに統合する操作である．実行手順を以下に示す．
1. d ∈ Dk ∪ Dk′ と k に Must-cluster 制約を適用する
2. K から k ′ を削除する

3.2.8

add to stop words

単語分布に出現する単語の中には分析者から見て不要な単語が含まれていることがある．add to stop wordsの引数は v(∈ V ) であり，v をストップワードに追加する操作である．ストップワードに追加された単語は
GDM の分析対象外となる．w̄，γ ，µ，ϕ から v に関する値を削除する．

ー 32 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-06

4

予備実験

4.1

実験概要

表 2: 初期モデルの文書割り当て状態
トピック id
文書 id
0
9, 17
1
62, 68, 70, 72
2
97
3
2, 8, 160, 1, 3, 4, 5, 6, 7, 10, 11, 12,
13, 14, 15, 18, 19, 20, 21, 22, 23, 24,
25, 26, 27, 28, 29, 30, 31, 32, 33, 34,
35, 36, 37, 38, 39, 40, 41, 42, 43, 44,4
45, 46, 47, 48, 49, 50, 51, 52, 53, 54,
55, 56, 57, 58, 59, 60, 61, 63, 64, 65,
66, 67, 69, 71, 73, 74, 75, 76, 77, 78,
79, 80, 81, 82, 83, 84, 85, 86, 87, 88,
89, 90, 91, 92, 93, 94, 95, 96, 98, 99

予備実験では，3.2 節で提案した操作によって GDMのモデルが意図通りに変更されることを検証する．紙面の都合により，add word，add document，change word
order の適用結果のみ示す．学習データは Livedoor ニュースコーパス2 を使用した．前処理として Mecab を利用した形態素解析を行い，形態素として名詞 (一般，
固有名詞，サ変接続，形容動詞語幹) と，自立形容詞を抽出した．抽出された形態素から，SlothLib3 のストップワードリストに記載された単語を除去した．文書数
は 100，語彙数は 2,402，総単語数は 13,907 となった．
本稿では，モデル変更前後の評価指標として式 (14)で定義される Perplexity (P ) を利用する．これは確率モデルの予測性能を評価する指標であり，値が低いほ
ど性能が高いことを示す．
(
)
Nd
∑∑
1
P = exp − ∑log p(wdn ) (14)
D Nd D n=1
表 3: add word(3,‘mac’) 適用後の文書割り当て状態∑（変化のあったトピックのみ掲載）(15)
p(wdn ) =
θdk ϕkwdn
トピック id
文書 id
k∈K
30, 1, 2, 7, 8, 16
3, 4, 5, 6, 10, 11, 12, 13, 14, 15,
4.2 実験結果
18, 19, 20, 21, 22, 23, 24, 25, 26, 27,
28, 29, 30, 31, 32, 33, 34, 35, 36, 37,
GDM による初期モデルの各トピックにおける文書
38, 39, 40, 41, 42, 43, 44, 45, 46, 47,
割り当て状態を表 2 に，add word(3,‘mac’) を適用した
4
48, 49, 50, 51, 52, 53, 54, 55, 56, 57,
後の文書割り当て状態を表 3 にそれぞれ示す．この操58, 59, 60, 61, 63, 64, 65, 66, 67, 69,
作により，文書 0, 1, 7 がトピック 4 から 3 へ移動して
71, 73, 74, 75, 76, 77, 78, 79, 80, 81,いる．また，操作前後でのトピック 3 における単語分
82, 83, 84, 85, 86, 87, 88, 89, 90, 91,
布 (ϕk3 v の上位 10 単語) を表 4 に示す．表 4 より，単92, 93, 94, 95, 96, 98, 99
語 ‘mac’ のトピック 3 における生成確率が操作後に最も高くなっていることがわかる．
初期モデルに対し，add document(2, Dadd ), Dadd ={81, 85, 86, ..., 98} を適用した結果を表 5 に示す．表 5
表 4: add word(3,‘mac’) 適用による単語分布の変化
より，指定した文書が全てトピック 2 に割り当てられ初期モデル
add wordていることがわかる．
単語
生成確率
単語
生成確率
初期モデルに対し，change word order(3,‘ノート’,‘書‘サービス’
0.0331‘mac’
0.0226籍’) を適用した後のトピック 3 における単語分布 (ϕk3 v‘ノート’
0.0228‘サービス’
0.0170の上位 10 単語) を表 6 に示す．表 6 より，単語 ‘ノー‘
生産’0.0201‘
セキュリティ
’0.0170ト’，‘書籍’ のトピック 3 での生成確率における大小関‘ultrabook’
0.0192‘リリース’
0.0165係が入れ替わっているのがわかる．
‘
レッツ’
0.0190‘os’
0.0145
操作前後の Perplexity を表 7 に示す．表 7 より，操‘書籍’
0.0183‘lion’
0.0134
作前と比べて add word，add document によって Per‘電子’
0.0183‘
ノート’
0.0133plexity は減少しており，モデルが改善されていること‘mac’
0.0174‘アップル’
0.0129がわかる．
‘hp’
0.0173‘製品’
0.01252 https://www.rondhuit.com/download.html‘終了’
0.0170‘パソコン’
0.01243 http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt

ー 33 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-06

5
表 5: add document 後の文書割り当て状態
トピック id
文書 id
0
9, 17
1
62, 68, 70, 72
81, 85, 86, 87, 89, 90, 91, 92, 93, 94,
295, 96, 97, 98
32, 8, 160, 1, 3, 4, 5, 6, 7, 10, 11, 12,
13, 14, 15, 18, 19, 20, 21, 22, 23, 24,
25, 26, 27, 28, 29, 30, 31, 32, 33, 34,
35, 36, 37, 38, 39, 40, 41, 42, 43, 44,4
45, 46, 47, 48, 49, 50, 51, 52, 53, 54,
55, 56, 57, 58, 59, 60, 61, 63, 64, 65,
66, 67, 69, 71, 73, 74, 75, 76, 77, 78,
79, 80, 82, 83, 84, 88, 99

表 6: change word order(3,‘ノート’,‘書籍’) 適用による単語分布の変化初期モデル
change word order
単語
生成確率
単語
生成確率
‘サービス’
0.0331‘サービス’
0.0328‘ノート’
0.0228‘書籍’
0.0225‘生産’
0.0201‘生産’
0.0202‘ultrabook’
0.0192‘ultrabook’
0.0192‘レッツ’
0.0190‘レッツ’
0.0191‘書籍’
0.0183‘ノート’
0.0186‘電子’
0.0183‘電子’
0.0182‘mac’
0.0174‘mac’
0.0173‘hp’
0.0173‘hp’
0.0173‘終了’
0.0170‘終了’
0.0169まとめ

本稿では，GDM に基づくインタラクティブトピック
モデリングを提案した．提案手法では，分析者の意図をモデルに反映する 8 種類の操作を定義し，パラメー
タ更新方法を示した．ニュース記事を対象とした予備実験により，add word，add document により意図通りにモデルが変化し期待したトピックが得られることを示した．スペースの都合上示すことができなかったが，他の操作でも意図通りのモデル変更が可能であることを確認している．今後は，より多様な条件での検証を行う他，実際のユーザによる評価実験を行う予定
である．

参考文献
[1] D. M. Blei, A. Y. Ng, and M. I. Jordan: Latent
Dirichlet allocation, Journal of Machine Learning Research 3, pp. 993-1022, 2003.
[2] M. Yurochkin, and X. Nguyen: Geometric
Dirichlet Means algorithm for topic inferene,
Proceedings of the 30th International Conference
on Neural Information Processing Systems, pp.
2513–2521, 2016[3] H. Lee, J. Kihm, J. Choo, J. Stasko, and H. Park:
iVisClustering: An Interactive Visual Document
Clustering via Topic Modeling, Eurographic Conference on Visualization, vol. 31, no. 3, pp. 11551164, 2012[4] J. Choo, C. Lee, C. K. Reddy, and H. Park:UTOPIAN: User-Driven Topic Modeling on
Interactive Nonnegative Matrix Factorization,
IEEE Transactions on Visualization and Computer Graphics, vol. 19, no. 12, 2013
[5] K. Wagstaﬀ, C. Cardie, S. Rogers, and S.
Schroedl: Constrained K-means Clustering with
Background Knowledge, 18th International Conference on Machine Learning, pp. 577-584, 2001

表 7: Perplexity(P ) の比較
操作
P
操作前
2645
add word2538
add document
2286
change word order 2645

[6] A. Smith, V. Kumar, J. Boyd-Graber, K. Seppi,and L. Findlater: Closing the Loop: UserCentered Design and Evaluation of a Human-inthe-Loop Topic Modeling System, Proceedings ofthe 23rd International Conference on Intelligent
User Interfaces, pp. 293-304, 2018

ー 34 ー