DEIM Forum 2016 F4-4

混合ユニグラムモデルにおける確率分布関数及びギブズ・サンプリングの可視化教材
白田由香利†

橋本隆子‡†学習院大学経済学部経営学科 〒177-0855 東京都豊島区目白 1-5-1‡千葉商科大学商経学部 〒272-8512 千葉県市川市国府台 1-3-1
E-mail: †yukari.shirota(AT)gakushuin.ac.jp, ‡takako(AT)cuc.ac.jp
あらまし 本稿では，混合ユニグラムモデルにおける確率分布関数及びギブス・サンプリングの可視化教材ツールを作ったので報告する．トピック抽出の分野で潜在的ディリクレ配分 Latent Dirichlet Allocation (LDA)モデルによるギブズ・サンプリングアルゴリズムによるモンテカルロ法は広く使われているが，その数学的プロセスの意味を理解することは容易ではない．我々の行った可視化では，説明を簡単化するために，トピックモデルに代わり，その簡略化モデルである混合ユニモデルを用いた．この可視化により，「１つの文書だけを除いて，それ以外の文書の確率変数を全部固定すると，その１つの文書が，どのトピックに属すべきか分かる」というギブス・サンプリングの特長が容易に理解可能となる．
キーワード

ギブズ・サンプリング，ベイズ推論，可視化，混合ユニグラムモデル, 潜在的ディリクレ配分モデル

1. 始 め にう MCMC の ア ル ゴ リ ズ ム が 広 く 使 わ れ て い る [4, 5]．

本稿では，混合ユニグラムモデルにおける確率分布

ギ ブ ズ・サ ン プ リ ン グ で は ，近 似 す る の で は な い ．(例関数及びギブス・サンプリングの可視化について報告

え ば ，変 分 ベ イ ズ 法 は 近 似 で あ る )．真 の 事 後 分 布 か らす る ． マ ル コ フ 連 鎖 モ ン テ カ ル ロ 法 (MCMC と 以 下 略

サンプリングできるので，原理的には，無限個の事例す )と は ，与 え ら れ た 確 率 分 布 を 不 変 分 布 に す る よ う にをサンプリングすることにより真の事後分布を求めるデザインされた操作で，システムの状態を確率的に変こ と が 可 能 と な る [2]．

化させていくことで，その分布からのサンプルを作り

我々は，日本銀行金融政策決定会議議事録などの文

出 す ア ル ゴ リ ズ ム で あ る [1]．物 理 学 で は ，動 的 な モ ン

書 に 対 し て ，LDA モ デ ル 上 で ギ ブ ズ・サ ン プ リ ン グ にテカルロ法と呼ぶ．

よってベイズ推論を行う，という手法を用いて， 多く

MCMC の 応 用 分 野 に テ キ ス ト マ イ ニ ン グ の ト ピ ッの ト ピ ッ ク 抽 出 を 行 っ て き た [6-9] ． こ の ツ ー ル は ，ク抽出がある．大量の文書からトピックを抽出するたCRAN が 公 開 し て い る R の LDA パ ッ ケ ー ジ 1 を 使 っ て いめに，トピックモデルが広く使われているが， トピッ

る．一般にベイズ推論に言えることは，ツールは提供

ク モ デ ル で は ， 文 書 を 出 現 単 語 の 多 重 集 合 (バ ッ グ ,されているので使うことは容易である．しかし，そのbag)で 表 し ， 単 語 の 並 び に 関 す る 情 報 は 廃 し ， 文 書 を数学的プロセスを理解することが難しい，ということ

BOW(bag-of-words)で 表 現 す る [2] ． ト ピ ッ ク モ デ ル はである．その問題を解決しないことには，真にツール文書のための確率モデルである． そして，トピック分を使いこなしているとは言えないであろう．そこで，

布にディリクレ事前分布を仮定し，ベイズ推論を行う

我々はトピックモデルの動作を可視化することで，従手 法 を ， 潜 在 的 デ ィ リ ク レ 配 分 Latent Dirichlet

来理解できなかったユーザも，その数学的プロセスをAllocation (LDA)モ デ ル と 呼 ぶ [3]．

理解できるようになることを目指して可視化ツールのこの数学的考え方を可視化によって容易に理解で作成を行った．

き る よ う に す る こ と が 本 研 究 の 目 的 で あ る ．本 稿 で は ，本可視化によって，「 １ つ の 文 書 だ け を 除 い て ，そ れトピックモデルを単純化した混合ユニグラムモデルを以外の文書の確率変数を全部固定すると， その１つの使う．トピックモデル，あるいは，混合ユニグラムモ

文 書 が ， (混 合 ユ ニ グ ラ ム モ デ ル で は )ど の ト ピ ッ ク にデルをベイズ推定する際，ギブズ・サンプリングとい属すべきか分かる」というギブス・サンプリングの特1

https://cran.r-project.org/web/packages/lda/index.html

長が容易に理解可能となる．
次節では，混合ユニモデルを説明する．第 3
節では，ギブズ・サンプリングのアルゴリズ
ムの本質を説明する．第 4 節で，我々が開発した可視化ツールを説明する．最終節はまとめである．

2. 混 合 ユ ニ グ ラ ム モ デ ル
本節では，混合ユニグラムモデルを説明する ．岩 田 は ，3 種 類 の 文 書 の 確 率 モ デ ル と し て ，ユ ニ グ ラ ム モ デ ル ，混 合 ユ ニ グ ラ ム モ デ ル ，トピ ッ ク モ デ ル の 順 に ，各 モ デ ル 上 で の ト ピ ッ ク
抽 出 ア ル ゴ リ ズ ム を 説 明 し て い る [2]．本 節 で は ，そ のモ デ ル 間 の 違 い を グ ラ フ ィ カ ル モ デ ル [3] に よ り 説 明す る (図 1 参 照 )． 各 モ デ ル 等 の 詳 細 に つ い て は [2]を 参

図 1： ユ ニ グ ラ ム モ デ ル ， 混 合 ユ ニ グ ラ ム モ デ ル ，トピックモデルの比較照して頂きたい．
直 線 的 に 描 い た グ ラ フ ィ カ ル モ デ ル [2]と 比 較 し て ，
図１のように，単語系とトピック系で分けてレイアウトする方が，直観的理解を得やすくなるであろう ．

3. ギ ブ ズ ・ サ ン プ リ ン グ の 原 理
本節では，ギブズ・サンプリングの原理，及びアルゴリズムの特長を説明する．

単語の分布に関しては，ユニグラムモデルは，単語可視化する際には，その可視化において何を伝えたの分布φが N や D の依存の枠の外に出ていることかいのか方針を決めることが重要である． この可視化でら分かるように，全ての文書の全ての単語に関する分表したいことは，「 調 べ た い 分 布 P(x)が ，条 件 付 き 確 率

布は一つしかない．混合ユニグラムモデルでは，トピに基づく置き換え操作で決まるマルコフ連鎖の不変分ックごとに異なる単語分布を持つ．トピックモデルも布になっている」という考え方である．置き換えによ同様に，トピックごとに異なる単語分布をもつ．

り 状 態 が x → x′

トピック分布に関しては，そもそもユニグラムモデに変わるときの数学プロセスは以下の よ う に 表 せ る [1].

数 式 中 の ，色 づ け 及 び ，抜 け て い

ル に は ，ト ピ ッ ク の 概 念 は 無 い ．混 合 ユ ニ グ ラ ム で は ，る i 番目の要素の前後に間隔を入れるなどの数式レイ文書集合全体として一つのトピック分布をもつだけでアウトの工夫は，我々が行った．このほうが視覚的にあ る (θ が 枠 外 に あ る )．こ れ に 対 し ，ト ピ ッ ク モ デ ル で理解しやすいと考えるからである．

は，文書ごとに異なるトピック分布をもつことが可能である．よって，混合ユニグラムモデルでは，文書に∑𝑥𝑖{𝑃(𝑥𝑖´ |𝑥1 , ⋯ , 𝑥𝑖−1 ,よるトピック分布の違いはないので， 文書内の単語の𝑃(𝑥1 , ⋯ , 𝑥𝑖−1 , 𝑥𝑖 , 𝑥𝑖+1 , ⋯ , 𝑥𝑁 )}分布によって，その文書のトピック分布が決まり，最𝑥𝑖+1 , ⋯ , 𝑥𝑁 ) ×も高い確率であるトピック番号が選ばれる ．それに対= 𝑃(𝑥𝑖´ |𝑥1 , ⋯ , 𝑥𝑖−1 ,し，トピックモデルでは，１つの文書が複数のトピッ× 𝑃(𝑥1 , ⋯ , 𝑥𝑖−1 ,クを持つことが可能であり，同じ語でも異なるトピッ= 𝑃(𝑥1 , ⋯ , 𝑥𝑖−1 , 𝑥𝑖´ , 𝑥𝑖+1 , ⋯ , 𝑥𝑁 )クのもとに生成されることがある．

𝑥𝑖+1 , ⋯ , 𝑥𝑁 )𝑥𝑖+1 , ⋯ , 𝑥𝑁 )このトピックモデルによる文書集合の生成における変数の依存関係を理解するには，岩田の解説図が参ギブス・サンプリングの本質は，上式の 1 行目から考 に な る [2]．理 由 は ，グ ラ フ ィ カ ル モ デ ル の 変 数 間 の2 行目の変換で表される．周囲の文書の情報だけを用

依存関係を具体例を使って説明し ているからである．

い て ， つ ま り ， 当 該 の 𝑥𝑖 の 情 報 は 使 わ ず に ， 計 算 が 行

しかし，この岩田による文書集合生成プロセスの可視われる，ということである．

化と，本論文の目指す可視化は目的が異なる．我々の数学の概念を教える際に，どのような数式表現を目指すものは，生成プロセスの可視化ではなく，ギブ選択するかということも重要な要素である． 同じ内容

ス・サンプリングの数学プロセスの理解を目的とするでも数式表現によって分かり易いものとそうでないも可視化である．また，3 次元アニメーションを使っての が あ る が (例 え ば ， 中 心 極 限 定 理 な ど 定 理 の 書 き 方

対話的に学習者が操作可能とすることで ，理解を深めは テ キ ス ト ご と に 様 々 に 異 な っ て い る )， 伊 庭 に よ るるいう特長もある．

上 記 の 数 式 表 現 [1]は ギ ブ ズ ． サ ン プ リ ン グ の 特 長 を

顕著に分かり易く表している．

文書のトピック確率分布を示した．

我々は，可視化ツールによって 「定常状態では，円 の 中 心 か ら 外 側 に 向 か い ， ト ピ ッ ク #1,2,3,…,7 と置き換え操作により，状態は移動するが，状態が分布

番 号 付 け し て あ る の で ， 図 2 で は ， ト ピ ッ ク #3 が 最する様子は全体として変わらない」ことをアニメーシ

大 確 率 と な っ て い る ． そ し て ， そ の ト ピ ッ ク 番 号 が #3

ョンにより表現したかった．十分な回数置き換え操作となっている．そして，そのトピック番号は，オレンを行った後，状態は振動を起こす．振動の周期などはジ色の球の高さとして表現される．

ケースごとに違うと考えられる．ギブズ・サンプリン

トピック分布θは，図 2 中左下のヒストグラムでグにおいて多くの場合，置き換え作業が十分行われた表した．横軸がトピック番号である．その右横のグラか否かは経験的に判断されている．定常状態になった

フ に DOCUMENT ID ご と の ト ピ ッ ク 番 号 の 確 率 分 布

ことが可視化によって判別可能かという テーマについを示した．ここでは当該の文書に関する確率分布は，ても今後研究していきたいと考える．

分かり易いように折れ線でつないで表示した．

ギ ブ ズ・サ ン プ リ ン グ で 使 う 条 件 付 き 確 率 は 一 般 的 に
以下のように表されるが，𝑃(𝑥𝑖´ |𝑥1 , ⋯ , 𝑥𝑖−1 ,下 段 ， 右 端 の グ ラ フ は TOPIC ID～ WORD ID の 確 率分布を示している．ギブズ・サンプリングのアルゴリ

𝑥𝑖+1 , ⋯ , 𝑥𝑁 )ズムにおける単語分布の計算では，まず，当該の順番

混 合 ユ ニ グ ラ ム モ デ ル で は ， 𝑃(𝑧𝑑 = 𝑘 |𝑊, 𝑧∖𝑑 , 𝛼, 𝛽) との文書のもつ単語を，全体のカウント対象からはずな る ．記 号 𝑧∖𝑑す．そして，その文書のトピック 番号が決まると，そは ，𝑧 か ら 𝑧𝑑のみを除いたトピック番号の集合を表す．の文書は，そのトピック番号の単語分布に加算す る．
つまり，当該文書は，自分の単語分布に一番類似する

4. ギ ブ ズ ・ サ ン プ リ ン グ の 可 視 化 教 材
本節では，試作したギブズ・サンプリングの可視化教材について説明する．
本可視化ツールでは，文書モデルとして， トピッ

単語分布パターンをもつトピックを探し，そのトピックのメンバーになる．
詳 細 に は ， 他 の 乗 数 と し て (𝐷𝑘∖𝑑 + 𝛼)が あ り ， 割 り

クモデルを簡単化した混合ユニグラムモデルを使って当てられた文書数が多いトピックの方が，確率が大きいる．これはギブズ・サンプリングの特長を分かり易くなるという調整が施される．アルゴリズムの詳細はく可視化表現するためには，複雑なトピックモデルよ[2]を 参 照 し て 頂 き た い ．

りも，混合ユニグラムモデルのほうが適していると考本可視化ツールでは，ギブズ・サンプリングの置えたからである．トピックモデルでは，可視化表現がき換え操作は，最上部のスライダーを動かすことで行複雑になってしまい，本質が見えにくくなるからであう．このスライダー操作は逆向きの動きも可能である．

る．

可 視 化 ツ ー ル は Wolfram 社 の Mathematica を 使 っ本可視化ツールをデータ工学関連の研究者，学生て プ ロ グ ラ ム し た ． Mathematica の プ ロ グ ラ ム は ，に見てもらったところ，アルゴリズムの理解が容易にCDF 形 式 に 変 換 す る こ と で ， フ リ ー ソ フ ト ウ ェ ア のなる，と好評であった．従来のギブズ・サンプリング

Wolfram CDF player 2 で 操 作 可 能 で あ り ， WEB 公 開 すの 可 視 化 と し て は ， MacKey の 2 変 数 の 確 率 分 布 が 与る場合に利便性が高い．混合ユニグラムモデルによる

え ら れ て ， 2 変 数 を 交 互 に 更 新 し あ う 図 [10]や ，ギブズ・サンプリングアルゴリズムは岩田の記したもBishop や 伊 庭 ら に よ る 相 関 の あ る ガ ウ ス 分 布 に 従 うの に 従 っ て Mathematica で プ ロ グ ラ ム し た [2]．

２つの変数を交互に更新するギブズ・サンプリングの図 2 に可視化教材を示した．図 2 に示したケース

図 解 な ど が 存 在 す る [3, 5]． し か し ， い ず れ も 2 変 数で は ， 文 書 数 5， ト ピ ッ ク 数 は 7， 単 語 数 は 6 と し てで交互に置き換えをするだけであるので，実際のある．最も強調したい点は，ギブズ・サンプリングでLDA モ デ ル を 使 っ た ギ ブ ズ ・ サ ン プ リ ン グ を 理 解 す

各文書に順番に置き換えをしている点である．そのたるためには，十分ではなかった．

め，同心円状に各文書を配置し，順番を示す矢印記号

今回，多数の文書及びトピック，単語の変数に関が，次の順番の文書を指し示すようにデザインした．

してギブズ・サンプリングの可視化を行ったので，ギ垂直軸方向に白い球が配置されているが， 白い球の高ブズ・サンプリングのアルゴリズムを学習する人たちさでその文書のトピック番号を示してある．置き換え

にとって，アルゴリズムの見通しがよくなったと考え直後の文書の球は，オレンジ色にしてある．

る．これらの可視化ツールはギブズ・サンプリングの円の中心から伸びている半径の直線上には，その原理を学習する際，学習効果を高めるものであると考える．

2

https://www.wolfram.com/cdf-player/

How many TURNs

194, 4, TOPIC, 3
1.0
☆

☆

0.5,0.5
☆

0.5

☆

,,1.0

0.5
1.0

☆

,

図 2：

混合ユニグラムモデルによるギブズ・サンプリングの可視化ツール

5. ま と め

トピックに属すべきか分かる」というギブス・サンプ

混合ユニグラムモデルにおける確率分布関数及びリングの特長が容易に理解できることを目的としていギブス・サンプリングの可視化 ツールについて報告しる．ギブズ・サンプリングを必要として学んでいる学

た ．ト ピ ッ ク 抽 出 の 分 野 で LDA モ デ ル に よ る ギ ブ ズ・

生の数は少ないが，本ツールを見てもらい，ヒアリンサンプリングアルゴリズムによるモンテカルロ法は広グ を 実 施 し た と こ ろ ，「 分 か り 易 い 」 と 好 評 で あ っ た ．

く使われているが，その数学的プロセスの意味を理解

こうした統計に係る定理やアルゴリズムの説明にす る こ と は 容 易 で は な い ． LDA モ デ ル に よ る ギ ブ ズ ・可 視 化 ツ ー ル は 有 効 で あ る [11-15]． 今 後 と も ， 機 械 学

サンプリングアルゴリズムを多くの学生に理解しても習で普及しているアルゴリズムの可視化教材の作成をらうことを目的として本可視化ツールを作った．

続けていきたい．

可視化の表現を分かり易くするために，トピックモデルに代わり，その簡略化モデルである混合ユニモデ謝辞

ル を 用 い た ．こ の 可 視 化 に よ り ，「１つの文書だけを除

本論文の作成にあたり、常日頃から有意義な助言をいて，それ以外の文書の確率変数を全部固定すると，頂いております学習院大学計算機センター久保山哲二

そ の １ つ の 文 書 が ， (混 合 ユ ニ グ ラ ム モ デ ル で は )ど の教授に感謝します．

参[1]
2003.

考文

献

伊庭幸人, ベイズ統計と統計物理: 岩波書店,[2]
岩田具治, トピックモデル: 講談社サイエン
テ ィ フ ィ ク , 2015.
[3]
C. M. Bishop, Pattern Recognition and Machine
Learning: Springer, 2006.
[4]
T. L. Griffiths, and M. Steyvers, “"Findingscientific topics,” Proceedings of the National Academy ofSciences, vol. 101 (Suppl. 1), pp. 5228–5235, 2004.
[5]
伊庭幸人, 種村正美, 大森裕浩, 和合肇, 佐藤 整 尚 , and 高 橋 明 彦 , 計 算 統 計 II マ ル コ フ 連 鎖 モ ン
テ カ ル ロ 法 と そ の 周 辺 : 岩 波 書 店 , 2005.
[6]
Y. Shirota, T. Hashimoto, and S. Suzuki,“Extraction of the Financial Policy Topics by Latent
Dirichlet Allocation, ” Proc. of IEEE TENCON 2014,
PID=493, 2014.
[7]
Y. Shirota, T. Hashimoto, and T. Sakura, "Topic
Extraction Analysis for Monetary Policy Minutes of Japan
in 2014," Advances in Data Mining: Applications andTheoretical Aspects, Lecture Notes in Computer Science P.
Perner, ed., pp. 141-152: Springer International Publishing,2015.
[8]
Y. Shirota, T. Kuboyama, T. Hashimoto, S.
Aramvith, and T. Chauksuvanit, Study of Thailand People
Reaction on SNS for the East Japan Great Earthquake Comparion with Japanese People Reaction -, No. 59,
Occasional papers of Research Institute for Oriental
Cultures Gakushuin University, 2015 , ISSN 0919-6536.
[9]
Y. Shirota, T. Hashimoto, and S. Tamaki,“ MONETARY POLICY TOPIC EXTRACTION BY
USING LDA － JAPANESE MONETARY POLICY OF
THE SECOND ABE CABINET TERM － ,” Proc. of IIAI
International Congress on Advanced Applied Informatics
2015, 12-16 July, 2015, Okayama, Japan, pp. 8-13, 2015.
[10]
D. J. MacKay, Information Theory, Inference,and Learning Algorithms: Cambridge university press,
2003.
[11]
Y. Shirota, and S. Suzuki, “Visualization of theCentral Limit Theorem and 95 Percent ConfidenceIntervals,” Gakushuin Economics Papers , Vol.50 , No.
3, 4 , pp. 125-136, 2014.
[12]
Y. Shirota, T. Hashimoto, and S. Suzuki,“Knowledge Visualization of Reasoning for Fina ncial
Mathematics with Statistical Theorems, ” Proc. of the
DNIS (Databases in Networked Information Systems) 2014,
LNCS 8381, Springer, Heidelberg, , pp. 132-143, 2014.
YukariShirota, T. Hashimoto, and S. Iitaka, 感"Introduction to Financial
Mathematics" (e-Book written in Japanese) O'Reilley
JAPAN, 2012.
[13]

じて理解する数学入門

[14]

Y.

Shirota,andB.

Chakraborty,“VisualExplanation of Mathematics in Latent Semantic Analysis,”
Proc. of IIAI International Congress on Advanced Applied
Informatics 2015, 12-16 July, 2015, Okayama, Japan, pp.
423-428, 2015.
[15]
Y. Shirota, Y. Takahasi, N. Tanaka, and M.
Morita, “Visually Do Statistics for Business Persons VisualMaterials from Regression to Black-Sholes Model,” Proc.
of VINCI 2015, ACM, 24-26 August, 2015, Tokyo, pp. 170173, 2015.