特集●統計科学のすすめ [その 2]……2007.11

生きたことばをモデル化する
自然言語処理と数学の接点
持橋大地● NTT コミュニケーション科学基礎研究所

ことばを扱う学問は古典的には言語学であり，そ順位

単語 w

こでは言語学者の経験と主観によって生み出された

1
23451834
104104482482
482
1307
1307
1307の。
、たて
ジョバンニ
カムパネルラ風
天の川
橙ボート
ステーション
燈火
天蚕
鶴嘴

仮説を積み重ね，また反例を挙げて新説を生み出すことで研究が蓄積されてきた. これに対し, ことばを統計的に考える分野は計算言語学，または工学的な立場からは自然言語処理とよばれており，最近の電子テキストの増大とその処理の必要性によって，急速に研究が進んでいる分野である．この分野は言語学の一部ともいえるが，純粋に客観的なデータから，統計的・数学的なモデル化と大規模な実験的検証を
1) 言語を統計行う点が従来の言語学と異なっている．

n(w)
1266
1120
988951884
189
1012626
5551
1
1p(w)
0.055005
0.048662
0.042927
0.041319
0.038408
0.008212
0.004388
0.0011300.0011300.000217
0.000217
0.000217
0.000043
0.000043
0.000043

表 1: 『銀河鉄道の夜』における単語の頻度と順位．

的にとらえることによって，複雑で厖大な言語現象
10000を計算機で自動的にモデル化できるとともに，規則

1000
Frequency

ではとらえきれない曖昧性や例外，文脈依存性を数学的に適切に扱うことが可能になる．

100101

言語の統計モデル

110100
Rank

1000

10000

客観的にみると, 言語とは記号列だと考えること

図 1: 『銀河鉄道の夜』での単語順位−頻度の両対ができる. 細かくみるとそれは文字からなっている

数プロット．順位×頻度がほぼ一定となる Power law

が, ここでは英語のように, 言語は単語からなっていが，右下がりの直線として現れている．

るとして話を進めよう.

さて, では表 1 のような単語の相対頻度は, どんなすぐ気づくことは，単語の頻度には大きな偏りが本やメールをもってきても常に同じなのだろうか．明あるということである．表 1 に, 宮沢賢治『銀河鉄道らかにそうではなく，上位は大まかに同じでも，「風」の夜』におけることばの出現頻度を数えたテーブル「ステーション」など中位〜下位の語は話題や内容にを, 図 1 に順位–頻度を両対数でプロットしたグラフ

よって大きく異なってくるはずである．実際，広告を示す．このように, 順位と頻度が反比例関係にある

メール (スパム) の自動判別は，このような違いをもことは Zipf の法則といわれ, 1930 年代に発見されたとに，一般に以下で述べるような確率モデルを使っ基本的事実の一つであり, 近年は言語を超えて, 自然て行われている．

界の多くの離散的現象に共通する Power law として

いま，表 1 の頻度を確率にかきかえ，全体で N 語知られるようになってきている [1]．の文章の中で，単語 i が ni 回現れたとすると，その確率は単純には，

1) 以前は計算機や電子テキストは存在しないか，速度が充分でなく，以下で紹介するような大規模統計モデルの計算は不可能であった．個人的には筆者は，これは現代的な意味での理論言語学の王道 (の少なくとも一つ) だと考えている．

pi =

1

niN

(1)

(0.1, 0.1, 0.8) (0, 0, 1)
w3 ”バイアグラ”(0.4, 0.3, 0.2)
p3
(0, 0, 1, 0)
p20
p1
p2
w1 ”花束”
w2 ”航海”(1, 0, 0)(0, 1, 0)(0.3, 0.7, 0)(a) 2 次元単体 (正三角形)(0, 0, 0, 1)
1041520.50(0, 1, 0, 0)(1, 0, 0, 0)010010.50.50.50.50 1(a) Dir([ 5 2 2 ])00
10.50.5

0 1(b) Dir([ 1 1 1 ])0 1(c) Dir([ 0.1 0.1 0.1 ])図 3: 様々なディリクレ分布とパラメータ α . (a) ある(b) 3 次元単体 (正四面体)平均値をもつ分布，(b) 一様分布，(c) 特定の単語へ

図 2: 単体と確率分布．の偏り，などを表現できる．と考えてよい．このとき，各単語の出現確率を V 次元(i) p ∼ Dir(p|α ) を生成．

(V は語彙数) のベクトルで表した p = (p1 , p2 , · · · , pV )は ∀i pi ≥ 0, ∑i pi = 1 をみたす確率分布であり，高(ii) 単語 wi ∼ p (i = 1 · · · N) を生成．

校のベクトルの授業を思い出してみるとわかるよう

ここで ∼ とは，「〜の確率分布に従って」という意味に，これは単体 (Simplex) とよばれる，正三角形や正である．このとき w の確率は，様々な p の可能性に四面体を一般化した (V −1) 次元の図形の内部に含まついて積分を行って期待値を計算すると，Zれている (図 2)．

p(w) =

たとえば，語彙が (w1 , w2 , w3 ) = (“花束”, “航海”,p(w|p)p(p|α )dp

Z V“バイアグラ00 ) の 3 個しかない (V = 3) としよう．単=∏ pni i ·i=1

語の生起分布には p1 =(0.3, 0.7, 0), p2 =(0.4, 0.3, 0.2),

p3 =(0.1, 0.1, 0.8), · · · のように無限の可能性があるが，=これらはすべて単体の内部に，↑で示したように含(3)Γ(∑i αi ) V αi −1∏ p dp∏i Γ(αi ) i=1 iVΓ(∑i αi )Γ(ni + αi )∏Γ(N + ∑i αi ) i=1 Γ(αi )(4)(5)と表すことができる 2) ．ここで ni は単語 i が w の中Rまれている．このとき，広告メールは p3 のような確に現れた回数であり， dp は率分布から，通常のメールは p1 , p2 のような確率分

R1

R10 · · · 0 d p1 · · · d pV を意味する．

布から生成されたと考えられる．

多 数 の 文 章 w1 · · · wD に 関 す る こ の 確 率 の 積

ただし，高々数百語のテキストを使った式 (1) に∏D
d=1 p(wd ) は α に関して凸であり，ニュートン法よる p の推定が唯一の分布であるかには疑問がある．

を用いて，データの確率を最大にする事前分布のパメールは p2 から生成されたのかもしれないし，そラメータ α を求めることができる．

れから微妙にずれた p02 から生成されたのかもしれ

逆に w が与えられれば，それを生んだ p の確率分ない．

布は，ベイズの定理から式 (2) を用いて，図 4(b) のこのような不確定性を表現するには，p 自体の場ようなディリクレ事後分布所についての確率分布が必要になる．p は確率分布でp(p|w) ∝ p(w|p)p(p)あったから，これは確率分布の確率分布となり，そV= ∏ pni i ·の最も簡単なものとして，ディリクレ分布

p(p) = Dir(p|α ) =Γ(∑i αi ) V αi −1∏p∏i Γ(αi ) i=1 ii=1(2)(6)Γ(∑i αi ) V αi −1∏p∏i Γ(αi ) i=1 i(7)と推定でき，その期待値はE[pi |w] =を考えることができる．ガンマ関数 Γ(x) の現れる分

ni + αi
N +α(α = ∑ αi )(8)i数の部分は正規化定数なので無視してよいが，このとなる．これは式 (1) と似ているが，文章にたまたま分布はパラメータ α = (α1 , · · · , αV ) の値によって，図出現しなかった語 (ni = 0) にも，「事前確率」αi /(N + α )3 のようにさまざまな形をとる．

が割り当てられていることに注意されたい．つまり，

このように，単語の確率分布自体を (たとえば) ディ

これは最初の式 (1) と違い，どんな語も，式 (8) に従っリクレ分布から生まれたものと考えると，まず図 4(a)た確率で文章に含まれる可能性があるという，よりのように様々な p を生成するなだらかなディリクレ自然なモデルになっている．

分布があり，ある文章 w = w1 w2 · · · wN は最も単純に

2) この分布は Polya 分布とよばれている．
『数学セミナー』1993年 10 月号 (p.32) の特集で示されている実際の適合度の良さは，このような生成モデルから説明することができる．

は，次のようにして生まれたと想像できる．

2wV 事前分布

事前分布
Dir(α )w1

Dir(α )

w1

p率で，未知の単語が α G0 に比例した確率で，それぞwV

w2

事後分布
p(p|w)

れ現れることを意味する．

w2

能なパラメータである．この式は Polya の壷，またwi ∼ p(i = 1 · · · N)

テキストw = w1 · · · wN(a) p とテキスト w の生成(b) p の事後分布の推定

α は新しい語が生まれる割合を制御する，推定可は集団遺伝学の分野では species sampling model として知られているモデルの特別な場合である．
もし G0 が離散で，固定語彙 wi についてのみ αi /α

図 4: Polya 分布の生成モデルとベイズ推定．

を返すならば，これは式 (8) と等しいが，G0 が連続ならば，どんな未知の語にも確率が与えられること

無限語彙モデルに注意してほしい．このディリクレ過程から式 (10)

上の議論では語彙の数 V は固定だとしていたが，にしたがって次々と単語を生成すると，その分布は落ち着いて考えてみると，言語の語彙は決して有限図 6 のように，はじめに述べた Power law を再現すではない．通常の辞書に含まれる語彙は数万語〜数ることがわかる．

十万語程度だが，現実には日々新しい語が生まれ，ま1000た古い語が忘れ去られてゆく．3)

Frequency

このような現象をモデル化できるのが，ディリクレ過程 DP(α , G0 ) [2] と呼ばれる確率過程である．これは言語の場合はディリクレ分布を無限次元化したDP(500)PD(100,0.5)100

10ものと考えてよく，図 5 のように，もととなる確率1

分布 G0 (基底測度とよばれる) に似た，離散確率分

1

布 G を生成する確率過程である．G0 が連続の場合，

10

100
1000
Rank10000

図 6: ディリクレ過程 DP(α ) とポアソン=ディリクレ

G は無限次元の分布となる．

過程 PD(α , d) (次ページ) からランダムに生成した系

G は図 5 の下のような姿をしているが，実際はこ列の順位–頻度のプロット．図 1 と同様の Power law

れ自体も p と同様，一つに決めることはできない．しが現れている．

たがって，文章 w1 · · · wN が得られたとき，次の単語n グラムモデルと無限 n グラムモデルの分布は G の可能性をすべて考えて積分消去すると，

p(w|w1 · · · wN ) ==Zp(w|G)p(G|w1 · · · wN )dG
 n /(N + α )(w = w )さて，ここまでは言葉が互いに独立に生起すると(9)していたが，これはもちろん正しくない．たとえば，

ii「公園 に」の次は「行く」「来る」「隣接」などが続

 α G (w)/(N + α ) (w : 新しい語)
0

きやすく，「言語」の次は「が」「処理」「学習」など(10)の確率がずっと高くなるだろう．このような関係をという確率をもつことが知られている．すなわち，単純化して，言葉がその前の(n − 1)語の言葉に依存

DP(α , G0 ) では既存の単語 i が頻度 ni に比例した確する (隣接した n 語の間の関係をとらえる) モデルは，n グラムモデルとよばれている．つまり，今までは 1G0 : 基底測度グラムのモデルを考えていたことになる．

n グラムモデルでは，文 w = w1 w2 · · · wT の確率は，G : 離散確率分布条件つき確率の積として以下のように表される．
Tp(w) = ∏ p(wt |wt−1 wt−2 · · · w1 )図 5: ディリクレ過程による，無限離散確率分布 G の(11)t=1T生成．横軸が可能な単語の種類を表す．

' ∏ p(wt | wt−1 · · · wt−(n−1) ) .
|{z}t=13) ただし，以下のディリクレ過程で扱えるのは単語の新生のみ(n − 1) 語であり，消滅過程のモデル化は現在研究の対象となっている．

3(12)G00 グラム:「レンタ・カーは空のグラスを手にとり、蛇腹はすっかり暗くなっていた。それはまるで獲物を咀嚼しているようだった。彼は僕と同じようなものですね」と私は言った。
「でもあなたはよく女の子に爪切りを買った。そしてその何かを振り払おうとしたが、今では誰にもできやしないのよ。私は長靴を棚の上を乗り越えるようにした。...

p(·)
1 グラム:

2 グラム:

p(·|w1 )p(·|w2 )···図 8: 村上春樹『世界の終りとハードボイルド・ワン

p(·|w3 w2 )p(·|w4 w2 )3 グラム:

ダーランド』から学習した可変長 n グラムモデルに···よる，ランダムウォーク生成文．単語の区切りは省略している．

図 7: 階層ディリクレ過程による n グラム分布の生成．

すなわち，図 7 のように，まず図 5 と同様に生成ここで式 (11) では，公式 p(x1 , x2 ) = p(x2 |x1 )p(x1 ) をされた 1 グラム分布 p(·) があり，これを基底測度 G0繰り返し用いた．具体的には，下で説明するデータとしたディリクレ過程によって 2 グラム分布 p(·|w1 )スパースネスの問題から伝統的に多く使われてきたが生成され，さらにこれを基底測度 G0 として 3 グ

3 グラムの場合，文の確率は直前の 2 単語を条件にラム分布 p(·|w2 w1 ) が生成され…と漸層的に n グラム分布が生成されたと考えるわけである．

p(彼女 が 見る 夢) = p(彼女) × p(が | 彼女)

このとき，p(w|w2 w1 ) を求める際に n(w2 w1 w) = 0× p(見る | 彼女 が) × p(夢 | が 見る) (13)であった場合，この分布が生成された親の確率分布のように計算される．

p(w|w1 ) を G0 として式 (10) から確率を計算し，もし連続する語の規則性をとらえるこのモデルは，言そこにもない場合，さらに親の確率分布 p(w) を用い葉の (n − 1) 次のマルコフ過程であり，非常に簡単なて…と階層をさかのぼって計算していくことで，すモデルであるが，音声認識や統計的機械翻訳などでべての n グラム確率を計算することができる．学習

言語的に不適格な文の確率を小さくするためにきわテキストの各単語が実際にこの階層をどれだけ辿っめて有効であり，その中核の一部を構成している．て生成されたのかは未知であるため，この確率計算

n グラムモデルでは n を増やすほど，言葉の間の関には大規模な MCMC 法などを必要とする．

係をより精密にとらえることができる．しかし，こ実際には言語の場合，ディリクレ過程の当てはまこでの問題は，語彙数が大きいために，単純な推定りは完全ではなく，その拡張である 2 パラメータ・ポ

では式 (12) の条件つき確率が，n が大きくなるとほアソン＝ディリクレ過程 [4] (Pitman-Yor 過程，図 6)

とんど 0 になってしまうことである．たとえば，有を階層化した，階層 Pitman-Yor 過程 [5] が高い予測

名な歌のフレーズに似ている “お魚くわえた三毛猫”

精度をもつことが確かめられている．
上の n グラムモデルでは文脈長は (n − 1) で固定さは文法的には正しいが，現在この Google のカウントは 0 であり，n() をカウントを表す関数として

p(三毛猫 | お魚 くわえた) =れていたが，最近筆者は，これを無限可変長に拡張した [6]．式 (13) において，「夢」を予測するには実際

n(お魚 くわえた 三毛猫)
n(お魚 くわえた)=0には 1 語前の「見る」だけの文脈があればよく，一(14)方，「日 米 首脳 会談」の最後の語「会談」の予測は，3 語前の「日」からの文脈が非常に有効である．となって，式 (12) からこのフレーズの確率が 0 と推このように予測に適切な文脈長を隠れ変数と考え定されてしまう．
ただし容易にわかるように，3 グラム確率 p(三毛て確率モデル化すると， n グラムの n，すなわち図 7

猫 | お魚 くわえた) は 2 グラム確率 p(三毛猫 | くわえ

での木の階層の深さ自体も可変とすることができ，よた) に似ており，それはさらに 1 グラム確率 p(三毛り柔軟なモデルが得られる．図 8 に，村上春樹『世猫) を反映していると考えられる．このような再帰的界の終りとハードボイルド・ワンダーランド』を使っな関係は，上のディリクレ過程を階層化した，階層て学習したこのモデルから，ランダムに生成した文ディリクレ過程 [3] によってとらえることができる．の一例を示す．

4

Dir(α )国境の長い58 トンネル6 を58 抜ける58 と36 雪国で58Dir(β )あった29 。夜36 の底が白く58 なっ36 た29 。信号6 所にw1

話題 1

θ雪国58wV話題 K

θw2p(w|K)

話題 2p(w|1)

58 汽車36 が58 止まっ6 た29 。

向36 側の58 座席6 から58 娘36 が58 立って来て36 、島村
54 の58 前29 の58 ガラス窓6 を58 落し66 た29 。雪の冷気が流れ58 こんだ36 。…
話題別単語分布

図 10: 「雪国」冒頭の潜在的な話題の LDA による推定．ここでは最大事後確率の話題のみを示した．

図 9: LDA による文章の生成モデル．文章ごとに隠れた話題分布 θ があり，そこからランダムに選ばれ(b) 話題 kn から，単語 wn ∼ p(w|kn ) を生成．

た話題をもとに，話題別単語分布からことばが生成される．のように生成されたと考える．このとき，w の確率はZ N

ことばの意味の統計モデル

p(w) =K∏ ∑ p(wn |kn )p(kn |θ ) · p(θ |α )d θ

n=1 k=1

ここまでは言語の比較的規則的な性質に着目してΓ(∑k αk )=∏k Γ(αk )きたが，それでは，言葉の持つ “意味” を統計的に扱Z!

Ã∏

α −1
θk kkN(15)

K∏ ∑ p(wn |k)θk d θ

n=1 k=1

うことはできるのだろうか．

(16)

本稿の最初の例では，文章の各単語がみな同じ分となる．文章のもつ潜在的な話題分布 θ ，各単語の布 p から生成されたとしていたが，これは少々単純もつ話題 kn はすべて未知の確率変数であり，われ化のしすぎだと思われる．実際のテキストには「が」われが知っているのは単語の出現 w のみであること「と」のような機能語，「市場価格」「ヴァイオリン」のに注意されたい．さらに，話題ごとの単語生起分布

ようにその文章の話題を表す語など，意味の違う語

p(w|k) も Dir(β ) にしたがう未知の確率分布であり，が混ざり合っているからである．経済，芸術，スポー

どんな「話題」があるのかもすべてデータから自動ツ，. . . などの「話題」は文章によって異なり，しか的に推定することを考える．

も一つではなく同時に混ざり合っていると考えられ2001 年に提案されたこのモデルは複雑で，一見解るから4) ，これは図 9 のように，文章によって異なけないように見える．しかし，MCMC 法を使い巧妙る確率分布 θ = (θ1 , · · · , θK ) で表され5) ，同様にディな積分を行うと，各文章 d の各単語 wdn のもつ話題リクレ分布から各文章ごとに生成されていると考え

k は，ベイズの定理による確率るのが自然である．ここで K は潜在的な話題の総数

p(k|wdn ) ∝ p(wdn |k)p(k|d)

であり，通常数 100 程度を考える6) ．

wdnn−dn,k+βnd−dn,k + αk= ·· dn−dn,k +V β n−dn, · + ∑k αk

そこで，このモデル (LDA [7] とよばれる) では，各文章ごとにまず (1) 話題分布 θ を選び，次に (2) θ(17)(k = 1···K )(18)にしたがって話題をランダムに選び，最後に (3) その話題からことばが生成されたと考える．つまり，式に従ってサンプリングすることができる [8]．ここ

で書くと，それぞれの文章 w = w1 w2 · · · wN はdnで n−dn,kは注目している単語 wdn がデータ全体の中w

で話題 k に割り当てられた総数 (dn を除く) を表し，(i) 文章のもつ話題分布 θ ∼ Dir(α ) を生成．

nd−dn,k は文書 d の中で話題 k に割り当てられた単語(ii) For n = 1 · · · N,の総数 (dn を除く) を表す7) ．
数百万語〜数億語の学習テキストに対してこのサ(a) ある話題 kn ∼ θ を選択．

ンプリングを繰り返し行うことで，各単語の生成さ
4) たとえば，「ヴァイオリンの市場価格」についての文書のようれた正しい話題と，文書の話題分布をすべて推定すな場合．本稿も，数学の話と言語の話の混合である．
5) つまり言葉の上に，抽象的な「話題空間」を仮定している．
6) θ が階層ディリクレ過程にしたがっていると考えると，隠れた話題の総数も可算無限個とすることができるが，ここでは簡単のため，K 個に固定して考える．

ることができる．
7) · は，その変数について和をとることを表す．

5

l(w|58)
4.605174.605174.605174.605164.60515
4.60515
4.60515
4.605144.605134.605114.605074.60482
4.60475
4.60306
4.60279
4.60260
4.60249
4.602234.600934.60026
:

単語 w
ライラック
雪上
登山
多年草
山開き
冬山
岩場
ソメイヨシノ
岩肌
咲き乱れ
挿し
雨期
急流
エコツーリズム
水草
花木
トレッキング
ドングリ
湿原
海鳥
:

(a) 話題 58: “自然”

l(w|6)
4.605174.605174.605174.605174.605174.605174.605174.605174.605174.605164.605124.604994.60446
4.60430
4.60316
4.60269
4.60205
4.602044.600424.59881
:

おわりに

単語 w
北千住
近畿運輸局
橋げた
山陽新幹線
車両
都営地下鉄
総武線
住之江公園
車線
関越
ジープニー
ローカル線
奥屋
運行
停車番線
横風
脱線
運賃
支線
:

自然言語の確率モデルについて，最新の研究の一端を紹介した. 複雑かつ曖昧な自然言語を確率的にとらえることによって，ことばの持つ規則性を残しながら，その個性や文脈依存性を適切に扱うことが可能になる．本文ではふれなかったが，言語には構文構造があり，これを線形な単語列から (正解なしで)獲得することは，現在研究が進められている非常に興味深いテーマの一つである.
いっぽう，本稿の立場とは異なるが，構文解析や形態素解析などにおいて，人間の与えた「正解」データが仮定できる場合は，これらは対数線形回帰などの手法により正解を予測する工学的問題として高精度(b) 話題 6: “鉄道”で可能となっており，自然言語処理のもう一つの大図 11: 毎日新聞テキストから学習した，LDA によるきな一翼をなしていることを最後にふれておきたい.

話題別単語分布の特徴語．“” は筆者がつけたラベル．
図 10 に，毎日新聞 2000 年度の全文 (2887 万語) で[1] R. Albert and A.-L. Barabási. Statistical mechanics

学習したモデルをもとに，川端康成「雪国」の冒頭にof complex networks. Reviews of Modern Physics,ついて推定した話題の例を示す．8) 説明のため，ここ

74:47–97, 2002.

ではやや少なく K = 100 とした．
「国境」–「雪国」–「雪」–[2] Thomas S. Ferguson. A Bayesian Analysis of Some

「冷気」のような語が話題 58 に，「トンネル」「– ガラス」–

Nonparametric Problems. The Annals of Statistics,「信号」–「窓」のような語が話題 6 に，共通して高い事

1(2):209–230, 1973.
[3] Y. W. Teh, M. I. Jordan, M. J. Beal, and D. M.

後確率を持つことがわかる．9) 図 11 に話題ごとの単語生起分布 p(w|k) を，平均 p(w) = 1/K ∑K
k=1 p(w|k)

Blei.との対数比101(476):1566–1581, 2006.
l(w|k) = logp(w|k)
p(w)Hierarchical Dirichlet Processes.

[4] Jim Pitman and Mark Yor.

(19)

JASA,

The Two-Parameter

Poisson-Dirichlet Distribution Derived from a Sta-の上位順にソートして示す．話題分布は自動的に推ble Subordinator. Annals of Probability, 25(2):855–

定したものだが，ほぼ話題 58 が “自然” に，話題 6900, 1997.

が “鉄道” に関連していることがわかる．

[5] Yee Whye Teh. A Hierarchical Bayesian Language

式 (17) において，単語 wdn のもつ潜在的な話題 k

Model based on Pitman-Yor Processes. In Proc. ofは，その文章のもつ文脈 (右辺第 2 項) にも依存して

ACL/COLING 2006, pages 985–992, 2006.

いることに注意してほしい．すなわち，このモデル[6] Daichi Mochihashi and Eiichiro Sumita. The Inﬁ-

ではことばの持つ多義性も，確率モデルの中で自然

nite Markov Model. In NIPS 2007, 2007.に表現されている10) ．

[7] David M. Blei, Andrew Y. Ng, and Michael I. Jor-

このようにして，言葉や文章の持つ “意味” を，大dan. Latent Dirichlet Allocation. Journal of Ma-

まかではあるが，テキストから完全に統計的に推定

chine Learning Research, 3:993–1022, 2003.

することができる．

[8] Thomas L. Grifﬁths and Mark Steyvers. Finding8) 連続して同じ話題となった場合は，まとめて表記した．

scientiﬁc topics. PNAS, 101:5228–5235, 2004.

9) 実際には，各単語は複数の話題に確率的に所属しているため，より微妙な意味が表現されていることに注意されたい．
10) 「体」や「群」のように複数の話題に違った意味で現れる語の場合，文脈に応じて，どれかの話題に高い事後確率をもつ．

[もちはし だいち]
6