社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

Inﬁnite SCAN: 単語の意味変化と語義数の同時推定
井上

誠一†

小町

守†

小木曽智信††

高村大也††† 持橋大地††††† 東京都立大学 システムデザイン研究科 〒191–0065 東京都日野市旭ヶ丘 6–6†† 国立国語研究所 〒190–8561 東京都立川市緑町 10–2††† 産業技術総合研究所 〒135–0064 東京都江東区青海 2–4–7†††† 統計数理研究所 〒190–8562 東京都立川市緑町 10–3
あらまし

本研究では，単語の通時的な意味変化のモデル化において，ディリクレ過程をガウス確率場の上に考え，トピックモデルを組み合わせることで，単語によって異なる語義数を自動的に推定できる階層ベイズモデルを提案する．擬似データを用いた実験によって，意味変化と語義数を正しく推定できることを示した．また，実データを用いた実験においては，複数の語義を持つ解析対象の単語の意味変化の推定結果を示し，結果を分析した．
キーワード 意味変化，階層ベイズモデル，トピックモデル，ガウス確率場，ディリクレ過程

Inﬁnite SCAN: Joint Estimation of Changes and the Number of Word Senses
with Gaussian Markov Random Fields
Seiichi INOUE† , Mamoru KOMACHI† , Toshinobu OGISO†† , Hiroya TAKAMURA††† , and Daichi
MOCHIHASHI††††† Graduate School of Systems Design, Tokyo Metropolitan University 6–6 Asahigaoka, Hino City, Tokyo, 191–0065
Japan†† National Institute for Japanese Language and Linguistics 10–2 Midoricho, Tachikawa City, Tokyo 190–8561 Japan††† National Institute of Advanced Industrial Science and Technology 2–3–26 Aomi, Koto Ward, Tokyo 135–0064
Japan†††† National Institute of Statistical Mathematics 10–3 Midoricho, Tachikawa City, Tokyo 190–8562 Japan
Abstract In this study, we propose a hierarchical Bayesian model that can automatically estimate the number of senses foreach word by considering the Dirichlet process on the Gaussian Markov random ﬁeld in the modeling of the diachronic meaningchange of words. In the experiments using pseudo data, we show that proposed model can correctly estimates changes and thenumber of word senses. In the experiment using actual data, we show the estimated results and analiysis for multiple targetwords.
Key words Meaning change, Hierarchical Bayesian model, Topic model, Gaussian Markov random ﬁeld, Dirichlet process

1. は じ め に

パス (CHJ) [4] といった，近年の通時コーパスの整備によって言語変化の統計的な調査が容易になった．通時的な単語の意味

言語は動的なシステムであり，常に進化し，話者とその環境

変化を自動的に捉えることは，辞書学や言語学といった分野にの需要に適応している [1]．全ての言語において，単語はさまざ

対する学術的な貢献のみならず，実際のアプリケーションに対

まな意味を持ち，その分布や広がりはジャンルや文脈によってしても応用が期待できる．例えば，時間が紐づいた情報を対象

異なっている．例えば，“cute” という単語は 18 世紀初頭に登場とした情報検索や質問応答などにおいて，文書や単語の意味表

し，もともと “賢い” という意味で使われていたが，19 世紀後

現がより正確になることにより，クエリの曖昧性解消や文書検半に “狡猾な” という意味で使われ，現代においては，“魅力的索の精度を向上させることができる．

な” という意味で使用されている [2]．英語における Corpus of

近年では，単語の分散表現を用いて意味変化を検出する手法

Historical American English (COHA) [3] や，Google Books などが数多く提案されているが [5]〜[7]，これらは意味変化の検出のオンラインライブラリ，日本語においては，日本語歴史コー

はできるが，意味の趨勢や変化の様子を捉えることはできない．

—1—

年代 用例

スニペット

1853 The driver made room for the trunk on the top of the coach.

{driver, make, room, trunk}1900 The chair passed the coach, which immediately fell in behind it,{chair, pass, fell, horse, proceed, walk}the horses proceeding at a walk.
1949 Tell him if I start coaching , it’ll be as a head coach at a top school. {tell, start, coach, head, top, school}
2003 The head football coach’s absolute dictatorship{head, football, absolute, dictatorship, football,of the football ﬁeld was reproduced.

ﬁeld, reproduce}

図 1 SCAN の入力であるスニペット集合．対象単語を “coach” とした場合の例を示す．2 列目に示した各用例に対して，5. 1 節で説明する前処理を行ったものがスニペットとなる．

それに対し，解釈性の高い確率的生成モデルを用いて意味変化•

意味上の 𝐾 次元多項分布 𝜙𝑡 （意味分布）を捉える試みもある．Emms ら [8] は，単語の新たな意味の出•

各語義 𝑘 の語彙上の 𝑉 次元多項分布 𝜓𝑡 ,𝑘 （語義–単語

現を捉えるための動的な生成モデルを提案しており，Frermann

分布）

ら [9] は，意味の出現だけではなく変化のパターンも捉えるこでモデル化される．また，それぞれの事前分布にはガウス分布とができるモデル，dynamic Bayesian model of Sense ChANgeが仮定され，次のように変換することで 𝜙 を得る:

(SCAN) を提案した．しかし，実際に単語の意味変化をモデル•化したい場合は解析対象の単語の語義数が自明であることは多•多次元ガウス分布から 𝐾 次元ベクトル 𝜶 を生成Ísoftmax 変換 𝜙 𝑘 = exp(𝛼 𝑘 )/ 𝐾
𝑘=1 exp(𝛼 𝑘 ) によって 𝐾 − 1

くないにも関わらず，これらのモデルは語義数を事前に設定し次元単体に射影．

なければならないという大きな問題がある．

𝜓 についても同様である．ここでは 𝐾 は既知としており，これがそこで，我々はディリクレ過程をガウス確率場の上に考え実際には大きな問題となる．そして，意味分布と語義–単語分布

Frermann らのモデルを拡張することで，語義数をコーパスかのパラメータ 𝜙，𝜓 が，時間変化と共に変化をするように，事前分ら自動で推定し，同時に単語の意味変化を捉えることのできる

布に 1 階の内的ガウス確率場 (intrinsic Gaussian Markov random

階層ベイズモデルを提案する 1 ．実験では，擬似データを用い

ﬁeld; iGMRF) [10] を定義する．iGMRF は，“近傍と似た値をとた検証を行った結果，提案モデルが解析対象の単語の意味変化

る” 事前分布であり 2 ，実数ベクトル x = (𝑥 1 , 𝑥 2 , . . . , 𝑥𝑇 ) についと語義数を正しく推定できることを定量的および定性的に示して，ガウス分布 N (𝜇, 𝜎 2 ) を用いて，次のように定義される:



た．また，実データを用いた実験では，推定された単語の意味

𝑥 𝑡 | 𝒙−𝑡 , 𝜅 ∼ N

変化と語義数の評価を行い，英語と日本語の単語に対し分析を行った．以下に本研究の貢献を示す．

•

単語の意味変化と語義数を同時に推定できる階層ベイズ

モデルを提案した．

•

擬似データを用いて，提案モデルが解析対象の単語の意

味変化と語義数を正しく推定できることを定量的，定性的に示した．

•

英語と日本語のテキストデータを用いた実験において，提案モデルによって推定された意味変化と語義数の評価を行い，英語と日本語の単語に対して分析を行った．

1
1(𝑥 𝑡−1 + 𝑥 𝑡+1 ),.
22𝜅

ただし，𝒙 −𝑡 は 𝒙 から 𝑥 𝑡 を除いたものであり，𝜅 は精度パラメータである．また，意味分布と語義–単語分布の事前分布であるガウス分布は，それぞれ変化の度合いをコントロールする
パラメータとして 𝜅 𝜙 ，𝜅 𝜓 を持つ．特に，対象単語 𝑤 によって意味の変化の “速度” は異なるため，意味分布の事前分布の精度パラメータ 𝜅 𝜙 はデータから推定する．
これらを踏まえると，SCAN の生成モデルは次のようになる．
ただし，Ga(𝑎, 𝑏) はガンマ分布， Mult(𝜃) は多項分布を表す．

2. 関 連 研 究（ 1 ） Draw 𝜅 𝜙 ∼ Ga(𝑎, 𝑏)

2. 1 Dynamic Bayesian model of sense change (SCAN) [9]（ 2 ） For time interval 𝑡 = 1 . . . 𝑇

Frermann らは，単語の通時的な意味の発展を捉える，動的な
ベイズモデル（SCAN）を提案した．SCAN では，対象単語 𝑤
一つに対して一つのモデルが構築され，入力は，対象単語 𝑤 が含まれる文章の文脈単語集合 𝒄 で構成されるスニペット（短い文書）と，その文章が出現した年のラベルとなっている．スニ
ペットの例を図 1 に示す．

SCAN において，時点 𝑡 ∈ {1 . . . 𝑇 } のスニペット集合は時点ごとのユニグラム混合:(1)（ a ） Draw sense distributioni. 𝛼𝑡 | 𝜶−𝑡 , 𝜅 𝜙 ∼ N 21 (𝛼𝑡−1 + 𝛼𝑡+1 , 𝜅 −1
𝜙 )ii. 𝜙𝑡 = Softmax(𝛼𝑡 )（ b ） For sense 𝑘 = 1 . . . 𝐾
i. Draw sense-word distribution
A. 𝛽𝑡 ,𝑘 | 𝜷−𝑡 , 𝜅 𝜓 ∼ N 12 (𝛽𝑡−1,𝑘 + 𝛽𝑡+1,𝑘 ), 𝜅 −1𝜓B. 𝜓𝑡 ,𝑘 = Softmax(𝛽𝑡 ,𝑘 )（ c ） For snippet 𝑑 = 1 . . . 𝐷（注 2）：カーネルが隣接する時間に限定されるガウス過程の特別な例と捉えるこ（注 1）：実装は https://github.com/seiichiinoue/iscan で公開している．

ともできる．

—2—

i. Draw sense 𝑧 𝑑 ∼ Mult(𝜙𝑡 )ii. For context position 𝑖 = 1 . . . 𝐼
A. Draw word 𝑤𝑑,𝑖 ∼ Mult(𝜓𝑡 ,𝑧𝑑 )2. 2 Logistic stick-breaking process [11]ディリクレ過程は有限次元の多項分布を生成するディリク
レ分布の無限次元版であり，その実現例の一つとして，stick-breaking process (SBP) [12] が挙げられる．SBP では，確率の総和である長さ 1 の棒を折っていくことで， 𝑘 番目のクラスに対する確率 𝜋 𝑘 を決定し，デルタ関数 𝛿(𝜃 𝑘 ) を基底測度 𝐺 0 からサンプルした場所 𝜃 𝑘 ∼ 𝐺 0 に立てていくことで，ディリクレ過程 DP(𝛼, 𝐺 0 ) に従う確率分布 𝐺 を生成することができ，生成過程は次のようになる:

𝜋 𝑘 = 𝑣𝑘
𝐺=

∞
Õ
𝑘=1

𝑘−1
Ö
𝑘′

(1 − 𝑣 𝑘 ′ ), 𝑣 𝑘 ∼ Be(1, 𝑎), 𝜃 𝑘 ∼ 𝐺 0 ,𝜋 𝑘 𝛿(𝜃 𝑘 ).

(2)

図 2 意味分布におけるガウス分布に従う確率変数の LSBP 変換．

(3)

時点 𝑡 に出現したスニペット集合は，𝜙𝑡 と 𝜓𝑡 ,𝑘 それぞれの上に定義される意味分布と語義–単語分布によって表されるが，それぞれはガウス分布に従っている．ここで，意味分布のパラ

ただし，Be(1, 𝑎) はベータ分布である．

Ren ら [11] は，各クラスが何らかの共変量と紐づいている 3場
合，それをロジスティック変換し各クラスの確率とすることで，同様にディリクレ過程を実現する logistic stick-breaking process(LSBP) を提案した．各クラスのガウス分布に従う確率変数を
𝛽 𝑘 としたとき，LSBP によって生成される確率分布 𝐺 𝛽 は次のメータ 𝜙𝑡 について，対象単語 𝑤 によって異なる語義数 𝑆 𝑤 を
コーパスから自動的に推定できるように，LSBP を用いて生成過程を次のように変更する:
1𝛼𝑡 | 𝜶−𝑡 , 𝜅 𝜙 ∼ N(𝛼𝑡−1 + 𝛼𝑡+1 ), 𝜅 −1
𝜙 ,2

ようになる:

𝜙𝑡 ,𝑘 = 𝜎(𝛼𝑡 ,𝑘 )𝜋(𝛽 𝑘 ) = 𝜎(𝛽 𝑘 )
𝐺𝛽 =

∞
Õ
𝑘=1

𝑘−1
Ö
𝑘 ′ =1(1 − 𝜎(𝛽 𝑘 ′ )) ,𝜋(𝛽 𝑘 )𝛿(𝜃 𝑘 ).

(4)

𝑘−1
Ö
𝑘 ′ =1(6)(1 − 𝜎(𝛼𝑡 ,𝑘 ′ )) (𝑘 = 1, . . . , 𝐾). (7)ただし，𝐾 は考慮される語義の最大数である．ここで，LSBP
は無限次元の多項分布を生成できるが，実際には十分な語義の(5)次元があればそれ以上使われることはないため，本研究ではSCAN と同様に 𝐾 = 8 とした 4 ．図 2 に意味分布の LSBP によただし，𝜎(𝑥) はシグモイド関数を表す．これは，各クラス 𝑘

る変換のイメージを示す．横軸は時間を表し，縦軸はガウス分の確率を決める確率変数を，ベータ分布から生成するのでは布に従う確率変数のスケールを表しており，時点 𝑡 で切り取っなく，元々紐づいている共変量 𝛽 𝑘 をロジスティック変換し，た時の確率変数の集合 {𝛼𝑡 ,1 , . . . , 𝛼𝑡 ,𝐾 } に対し，LSBP 変換を行

stick-breaking 表現によって確率 𝜋 𝑘 を生成しており，あとは SBP

うことで各語義の確率を得ている．また，提案モデルでは，意と同様に，それを 𝜃 𝑘 ∼ 𝐺 0 に立てていくことで確率分布 𝐺 𝛽 を

味分布のパラメータ 𝜙𝑡 は，全体を見て正規化する softmax 変

生成する．

換ではなく，それぞれの意味における停止確率を語義ごとに

3. 提 案 手 法

確率化する LSBP によって構築される．そのため提案モデルでは，SCAN のように 𝜅 𝜙 を全ての語義 𝑘 ∈ {1 . . . 𝐾 } で共有する(𝑘)

3. 1 Inﬁnite SCANのではなく，各語義の値 𝛼 ごとに異なる分散 𝜅 𝜙

我々は，2. 1 節で紹介した SCAN において，対象単語によっ

定する．

を仮定し推

て異なる語義数をコーパスから自動的に推定できるように，2. 2

このように，提案モデルでは，意味分布において時間軸上に節で紹介した LSBP を用いて拡張を行った階層ベイズモデルを広がるガウス確率場の上に，ディリクレ過程を実現する LSBP提案する．

を導入することで，意味分布を実質的に無限次元化し，対象単提案モデルでは，SCAN と同様に対象単語 𝑤 一つに対して一つのモデルを考え，入力も SCAN と同様に，対象単語 𝑤 が含ま語 𝑤 に適した語義数 𝑆 𝑤 をコーパスから自動で推定することができる．

れる文章の文脈単語集合 𝒄 で構成されるスニペットとその文章

3. 2 MCMC 法による推定が出現した年のラベルとする．

提案モデルの推定には，ブロック化 Gibbs sampler を用いる．
提案モデルにおける推定パラメータは，スニペットに割り当て（注 3）：SCAN の場合はガウス分布に従う確率変数が各語義，語義における各単語と紐づいている．

（注 4）：事前実験より，8 個以上の語義を持つ単語はほとんど存在しなかった．

—3—

表 1 各モデルによって推定された意味分布と正解の意味分布のAlgorithm 1: MCMC Procedure
1

Kullback-Leibler 距離．

(𝑘)Initialize 𝜅 𝜙 = 4.0 (for all 𝑘)

Initialize 𝜅 𝜓 = 100.0
Initialize 𝑎 = 7.0, 𝑏 = 3.0
4 for 𝑡 = 1 . . . 𝑇 do

語義数 𝑆 𝑤

2
3

5
6
7

Initialize 𝛼𝑡 ∼ N 12 (𝛼𝑡−1 + 𝛼𝑡+1 ), 𝜅 −1
𝜙
Set 𝜙𝑡 = LSB(𝛼𝑡 )for 𝑘 = 1 . . . 𝐾 do
Initialize 𝛽𝑡 ,𝑘 ∼ N

8



3

4

5

SCAN (𝐾 = 8) 0.2612 0.2788 0.1031 0.00851−12 (𝛽𝑡−1,𝑘 + 𝛽𝑡+1,𝑘 ), 𝜅 𝜓

2Inﬁnite SCAN 0.0009 0.0016 0.0044 0.0043
表 2 実験に使用したコーパスの年代とサイズ．



コーパス

Set 𝜓𝑡 ,𝑘 = Softmax(𝛽𝑡 ,𝑘 )10end
11 end12 for 𝑗 = 1 . . . 𝐽 do
13
Sample 𝑧 according to Eq. (8)14for 𝑡 = 1 . . . 𝑇 do
15
Sample 𝜙 according to posterior in Eq. (9)16Sample 𝜓 according to posterior in Eq. (10)
17
end
18
Sample 𝜅 𝜙 according to posterior in Eq. (11)19 end年代

単語数

COHA （英語） 1810–2009 142,587,656

9

CHJ（日本語） 1874–1997

36,701,284∝ N 𝛼𝑡 | 𝜇,˜ 𝜅˜−1𝜙 .

(9)ただし，𝜔 は補助変数であり，𝑐 𝑘 を 𝑘 番目の語義に属していÍÍ
るスニペットの個数，𝑁 (𝑐 𝑘 ) = 𝑘 𝑐 𝑘 − 𝑗<𝑘 𝑐 𝑗 として，Pólya-gamma 分布 𝜔 | 𝑧, 𝛼𝑡 ∼ PG(𝑁 (𝑐 𝑘 ), 𝛼𝑡 ) からサンプリングされる．
また， 𝑓 (𝑐 𝑘 ) = 𝑐 𝑘 − 𝑁 (𝑐 𝑘 )/2 として，事後分布の平均と分散は，

図 3 MCMC 法による Inﬁnite SCAN の推定．

𝜇˜ = ( 𝑓 (𝑐 𝑘 ) + 𝜇 𝑘 𝜅 𝜙 ) · 𝜅˜ 𝜙 ，𝜅˜ 𝜙 = (𝜔 𝑘 + 𝜅 𝜙 ) −1 である．

られる語義 𝑧 ，意味分布と語義–単語分布の事前分布である 𝛼（𝜙の LSBP 変換前）， 𝛽（𝜓 の softmax 変換前），ガンマ分布に従う意味分布の事前分布の精度パラメータ 𝜅 𝜙 である．サンプリ
ングでは，順番に推定パラメータ以外のパラメータを所与として，事後分布からサンプリングする．サンプリングの擬似コードを図 3 に示した．各パラメータの初期値は基本的に Frermannc ) 語義–単語分布のパラメータ
語義–単語分布も意味分布と同様に事前分布としてガウス分布を仮定しているため，ディリクレ–多項分布のようなサンプリ
ングはできない．Mimno ら [15] は，softmax 変換を用いて表現
される，ガウス分布を事前分布としてもつ多項分布のパラメー
タに対するギブスサンプリングを提案しており，本研究ではそらに従っている．ただし，本研究では，対象単語の意味の変化

れに従って推定を行う 7 ．スニペット数を 𝐷 ，スニペット長をを “語義–単語分布の変化” ではなく，できるだけ “意味分布の𝑁 𝑑 とすると， 𝛽 の事後分布は次のようになる:変化” で捉えたいため 5 ，Perrone ら [13] に従い，語義–単語分
布の事前分布の精度パラメータ 𝜅 𝜓 の値を比較的大きな 100.0とした．

a ) スニペットの語義
𝑑 番目のスニペットの語義 𝑧 𝑑 は，サンプリング時点でのパラメータ 𝜙，𝜓 を用いて，次の事後分布に従ってサンプリング
される:

𝑝(𝛽𝑡 | 𝑧, 𝛽−𝑡 , 𝜅 −1𝜓 ) ∝(𝑡 ,𝑧 )𝑁𝑑𝐷 Ö
Öexp(𝛽𝑤𝑛 𝑑 )©
ª­® N (𝛽𝑡 | 𝜷−𝑡 , 𝜅 −1𝜓 )
Í(𝑡 ,𝑧𝑑 )
′
1
+
exp(𝛽
)
𝑑=1 «𝑛=1
𝑤 ≠𝑤
𝑤′
¬

(10)

d ) 精度パラメータ
平均が既知であるガウス分布の精度パラメータは，ガンマ事後分布に従う．ガンマ分布の形状パラメータを 𝑎 ，尺度パラ𝑝(𝑧 𝑑 | 𝒘, 𝑡, 𝜙, 𝜓) ∝ 𝑝(𝑧 𝑑 | 𝑡) 𝑝(𝒘 | 𝑡, 𝑧 𝑑 )Ö(𝑡)(𝑡 ,𝑧 )
= 𝜙 𝑧𝑑𝜓𝑤 𝑑

メータを 𝑏 とすると，𝜅 𝜙 の事後分布は次のようになる:

(8)

𝑤∈𝒘

(𝑘)
𝑝(𝜅 𝜙 | 𝛼 𝑘 , 𝑎, 𝑏) = Gab ) 意味分布のパラメータ
意味分布の事前分布はガウス分布となっているため，多項分
布との間に共役性がないので，ディリクレ–多項分布のような
サンプリングはできない．Linderman ら [14] は，Pólya-gamma

ただし，𝛼¯ 𝑘 = 𝑇1

Í

𝑇

𝑇
1Õ
𝑎+ ,𝑏+(𝛼𝑡 ,𝑘 − 𝛼¯ 𝑘 )
2
2

!
(11)

𝑡=1

𝑡 𝛼𝑡 ,𝑘 は語義 𝑘 における 𝛼 の平均である．

4. 擬似データを用いた検証

補助変数を用いることで，LSBP を用いて表現される，ガウス

4. 1 擬似データの生成分布を事前分布として持つ多項分布のパラメータに対するギブ

実データでの検証に先立ち，提案モデルが，任意の意味変化

スサンプリングを提案しており，本研究ではそれに従って推定と語義数をきちんと推定できるか検証するため，擬似データにを行う 6 ．𝛼 の事後分布は次のようになる: 
𝑝(𝛼𝑡 | 𝑧, 𝜶−𝑡 , 𝜔) ∝ N 𝜔−1 𝑓 (𝑐) | 𝛼𝑡 N 𝛼𝑡 | 𝜶−𝑡 , 𝜅 −1
𝜙

よる検証を行う．

（注 5）：前者の場合，語義–単語分布のみで意味変化が説明されてしまい，語義をプリングし，その曲線を時点ごとに softmax 関数で変換するこ

擬似データの生成において，意味分布の生成にはガウス過程
を用い，任意の語義数分の意味変化曲線をガウス過程からサン

正しく捉えられないため，語義数の推定が難しくなる．
（注 6）：詳細は参考文献 [14] を参照されたい．

（注 7）：詳細は参考文献 [15] を参照されたい．

—4—

表 3 対象単語の一覧とスニペットの統計量．

図 4 語義数が 𝑆𝑤 = 5 の場合の意味変化の正解例．

単語

年代

スニペット数 語彙サイズ

image

1810–2009

19,49919,104nature

1810–2009

83,18833,375pass

1810–2009

36,60524,555record1815–2009

33,992

23,886

coach

1811–2009

9,758

11,962power

1810–2009

142,527

42,932団塊

1895–1997

92

634

取り組む 1887–1997

647

2,083

表 4 SCAN と提案モデルの sense coherence と sense diversity．計算には表 3 上段に示した 4 つの英語コーパスの対象単語を用いた．

Coherence Diversity
SCAN (𝐾 = 8)

0.124

0.275

Inﬁnite SCAN

0.146

0.398

5. 実
図 5 語義数が 𝑆𝑤 = 5 の擬似データに対する提案モデルの推定結果．
正解例に合わせて語義の並べ替えを行った．

験

5. 1 データセット
本研究では，英語と日本語のテキストを用いて実験を行い，英語の通時コーパスである Corpus of Historical American Englishとで意味分布を得た．また，語義–単語分布の生成にはディリ(COHA) [3] と，日本語の通時コーパスである，国立国語研究所

クレ分布を用い，これらの意味分布と語義–単語分布を用いての「日本語歴史コーパス (CHJ)」 [4] の一部として公開されてい正解データをランダムに生成した．本実験では，擬似データのる「昭和・平成書き言葉コーパス」を用いた．コーパスの統計

時点数は 𝑡 = 16 8 ，語彙サイズを 𝑉 = 3, 000 9 で固定し，語義数

量を表 2 に示した．また，それぞれのコーパスに対して以下のを 𝑆 𝑤 = 2, . . . , 5 と動かしてスニペットをランダムに生成した．

前処理を行った．

4. 2 結果a) 英

語

表 1 に，真の語義数を 𝑆 𝑤 = 2, . . . , 5 と動かした場合におけトークナイズ，見出し語化を行ったのち，ストップワードのる SCAN と提案モデルの擬似データに対する推定結果の比較削除を行った．また品詞タグ付けを行い，名詞，動詞，形容詞を示した．ここでは，意味の分布を正しく表現できるか定量的のみを抽出し使用した．以上の全ての処理は Natural languageに測るため，指標として推定された意味分布と正解の意味分布

toolkit (NLTK) [16] を用いた．

の R𝑇×𝐾 上での Kullback-Leibler 距離を用いた．結果から，語義数を自動的に推定できない SCAN と比較して提案モデルが優れていることがわかる．

b) 日 本 語
トークナイズ，見出し語化と固有名詞等の正規化，高頻度語の削除を行った．日本語テキストは英語とは異なり，ストップ

また，図 4, 5 に，語義数が 𝑆 𝑤 = 5 の場合の正解例と，擬似ワードのリストが明確に存在しないため，本研究では，Mikolov

データに対する提案モデルの推定結果を示した．横軸が時点，

ら [17] や，Levy ら [18] による単語分散表現の推定における縦軸が時点における語義の確率を表し，色に対応する語義を凡

ヒューリスティクスに従って，高頻度語を以下の確率:
r
𝑔
𝑝 =1−
(12)
𝑓 (𝑤)
Í
に従って削除することで対処した．ただし，𝑓 (𝑤) = #(𝑣)/ #(𝑣)例に示した．ただし，凡例では，各語義 𝑘 に対応する推定された語義–単語分布において最も支配的であった語義を示した．
提案モデルの推定結果（図 5）においていくつかの語義が重複して現れているが，それらの語義の確率は微小であり，無視できることに注意されたい．図より，提案モデルは意味変化をほとんど正確に捉えており，また，真の語義数 𝑆 𝑤 = 5 も正しく推定していることがわかる．

であり，𝑔 はコーパスのサイズに依存する閾値で，本研究では

𝑔 = 10−4 とした．
以上の前処理を行ったのち，文脈窓幅を 10 として対象単語が出現する箇所の前後の文脈単語集合をコーパスから抽出し，対象単語のコーパスを作成した．以下の実験で用いる対象単語の一覧とスニペットの統計量を表 3 に示す．上段には 5. 2 節の

（注 8）：実験で使用したコーパスのうち，最も多い時点数が 16 であったため．
（注 9）：実験で使用したコーパスの平均語彙サイズが 3,000 程度であったため．

実験設定で説明する，語義数の評価に用いた単語を，下段には意味変化の評価に用いた単語を示した．

—5—

図 6 対象単語 “coach” に対する提案モデルの推定結果．

図 7 対象単語 “power” に対する提案モデルの推定結果．

図 9 対象単語 “取り組む” に対する提案モデルの推定結果．

ここで，𝜂 は語義における正規化定数であり，Lau らは単純に

5. 2 実 験 設 定
提案モデルの特徴は，解析の対象単語の語義数と意味変化を自動で推定できることであるため，実験では，両者の評価を定
量的，定性的に行う．語義数の自動推定に関する実験では，英語コーパスを用い，提案モデルの推定の性能を，トピックモデルの評価に用いられる指標である coherence [19] と diversity [20]を用い，推定された意味の一貫性と多様性（非冗長性）を定量的に評価する．意味変化の推定に関する実験では，英語コーパスに加えて，日本語コーパスを用いて評価を行う．それぞれの言語における意味変化が既知である複数の対象単語に対し，提案モデルの推定を行い，意味分布の可視化を行うことで定性的に評価を行う．
実験では，提案モデルの推定において，Gibbs サンプリングのイテレーション回数を 2000 回，時点 𝑡 に含まれる期間を決
める時間間隔 Δ𝑡 を英語コーパスを用いた実験では 20，日本語
コーパスを用いた実験では 30 10 とした．また，推定に使用する語彙は頻度の上位 3000 語とした．
推定された語義数の評価では，意味の coherence と diversity を用いて，ベースラインモデルである SCAN と提案モデル Inﬁnite

SCAN の比較を行う．Sense coherence は Lau ら [19] に従い，次のように定義した:
𝐾
10 10
Õ
𝜂 Õ Õ
𝑘=1

45

𝑖=1 𝑗=𝑖+1

𝑓 (𝑤𝑖𝑘 , 𝑤 𝑘𝑗 ).

𝜂 = 𝐾1 としているが，本研究では，提案モデルにおける確率が微小な語義の語義–単語分布を正当に評価するため，各語義 𝑘の確率を用いて 𝜂 = 𝑝(𝑘) とした．また， 𝑓 (𝑤, 𝑤 ′ ) は単語の意味
空間上の類似度であり，本研究では word2vec [17] を用いて計算されるコサイン類似度とした．Sense diversity は，Dieng ら [20]を参考に，全ての語義における上位 10 単語の集合のうち，重複のない単語の割合とした．
表 4 に，対象単語に対する SCAN と提案モデルの推定結果を用いて計算したスコアを示した．ただし，SCAN は語義数が既知でない状態で推定を行う提案モデルの設定に合わせるため，
意味分布の次元数 𝐾 は，Frermann らに従いデフォルト値の 8としていることに注意されたい．どちらの指標においても提案モデルは SCAN を上回る結果となった．Coherence の改善については，推定された語義–単語分布の代表的な単語（図 6 ~9 の凡例に示された単語）の意味的な一貫性が高いということを示している．Diversity の改善については，推定された語義–単語分布の代表的な単語の意味的な重複が小さくなり，適切な粒度

5. 3 語義数の評価

SC =

図 8 対象単語 “団塊” に対する提案モデルの推定結果．

(13)

で語義数を推定できていることを示している．

5. 4 意味変化の評価
意味変化の定性的な評価では，表 3 の下段に示した，英語と日本語の単語を用いる．図 6 ~9 に提案モデルによる対象単語に対する推定結果を示した．凡例には，語義 𝑘 における語義–単Í
語分布 𝜓 𝑘 = 𝑡 𝜓𝑡 ,𝑘 の Normalized pointwise mutual information(NPMI) [21] の高い単語を上から 10 個示した．以下の分析では，
簡単のため，それぞれの凡例において，行に対応する語義を上（注 10）：日本語コーパスは，英語コーパスと比べてコーパスの時間間隔が広く，スパース性を考慮して若干大きめのサイズとした．

から順番に「1 番目の意味」，「2 番目の意味」，· · · ，「K 番目の—6—

意味」と記述する．

より優れた性能を持つことを定量的，定性的に示した．擬似

まず，英語を対象とした実験では，Frermann らを参考に選データを用いた実験では，意味変化と語義数を正しく推定でき択した単語である，“coach” と “power” を用いて評価を行う．

ることを示した．また，実データを用いた実験においては，英“coach” では，コーパスから推定された語義数は 2 つとなった．

語と日本語を対象として，複数の単語の推定結果を示し，分析

馬車や乗り物としての意味（1 番目の意味）から指導や指導者した．今後は，データスパースネスの問題への対処を含めたモという意味（2 番目の意味）に変化していることが捉えられてデル推定の安定化や，本稿では行えなかった，語義数の自動推いる．“power” については，コーパスから推定された語義数は 6定に対する外的な定量評価を，辞書や知識ベースを用いて行っつとなった．宗教や教会の文脈で使用される力（1 番目の意味）ていきたい．

は，相対的な支配力は下がりつつも，現在に至っても使用されていることがわかる．経済的な力や，国際的な政治力や戦争な謝

辞

どの文脈における力（4 番目の意味）についても，過去から現

本研究は国立国語研究所の共同研究プロジェクト「現代語の在にわたって広く使われており，世界大戦前後の時期はコーパ

意味の変化に対する計算的・統計力学的アプローチ」，「通時

スが社会的背景に影響を受けることから支配的になっているこ

コーパスの設計と日本語史研究の新展開」および JSPS 科研費とが確認できる．また，肉体上・精神上の自然の能力，体力，

19H00531，18K11456 の研究成果の一部を報告したものである．

知力といった意味（3 番目の意味）と，法や政治的な力といった意味（6 番目の意味）は現在に近づくにつれて使われることが少なくなっている．一方で，強さとしての意味（2 番目の意
味）や動力の意味（5 番目の意味）は現在になるにつれて使用されることが増えてきていることがわかる．
次に，日本語の “団塊” と “取り組む” についての評価を行う．
昭和・平成書き言葉コーパスは，表 3 に示した通り英語とは異なりコーパスサイズが小さく，データスパースネスの問題がある．特に，時点によってスニペット数が大きく異なる場合に推定に大きな影響があり，以下で分析する例でも一部ノイズが入った結果となった．“団塊” については，捉えられた語義数は
約 3 つとなった．過去は，地学関係での団塊（1 番目の意味）
といった意味で使用されていたが，現在ではほとんどそういった意味では使われなくなり，ビジネス的な文脈での「団塊の世代」の用法（2 番目の意味），「団塊の世代」にまつわる意味（3番目の意味）として使われることが多くなっていることがわかる．ここで，推定結果では，2 番目の意味が過去にも支配的であると捉えているが，これは対象単語 “団塊” のコーパスにおいて，1910 年から 1980 年の間のデータが非常に少ないため，

GMRF によって隣接する意味分布 𝜙 𝑘 に近い値を推定値としてしまっているためであることに注意されたい．“取り組む” については，捉えられた語義数は約 4 つとなっており，相撲の取り
組み（1 番目の意味），政治的な文脈における取り組み（2 番目の意味），仕事で起きた問題に対する取り組み（3 番目の意味），
医療や研究における取り組み（4 番目の意味）という意味が捉えられた．過去は 1 番目の意味が支配的であったように，相撲の取り組みとして使用されることが多かったが，課題やプロジェ
クトに取り組むといった使用が増えてきていることがわかる．
これらの結果は歴史的背景や辞書からも妥当であり，提案モ
デルはコーパスからある程度正しく意味変化を捉えることができていることがわかる．

6. まとめと今後の展望
本研究では，単語の通時的な意味変化のモデル化において，単語によって異なる語義数を自動的に推定できる階層ベイズモ
デル Inﬁnite SCAN を提案し，ベースラインモデルである SCAN

文

献[1] Jean Aitchison. 2001. Language Change: Progress Or Decay?. Cambridge Approaches to Linguistics. Cambridge University Press.
[2] Angus Stevenson, editor. 2010. The Oxford English Dictionary. Oxford University Press, third edition.
[3] Mark Davies. 2010. The Corpus of Historical American English(COHA). Available online at https://www.english-corpora.org/coha/.
[4] 国立国語研究所. 2021. 日本語歴史コーパス (バージョン 2021.3,
中納言バージョン 2.5.2). https://ccd.ninjal.ac.jp/chj/ (2022 年 2 月
5 日確認)[5] Robert Bamler, and Stephan Mandt. 2017. Dynamic Word Embeddings. In Proceedings of the 34th International Conference on Machine Learning, edited by Doina Precup and Yee Whye Teh, 70:380–
89.
[6] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena.
2015. Statistically signiﬁcant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web,
WWW’15, p. 625–635.
[7] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. 2016. Diachronic Word Embeddings Reveal Statistical Laws of Semantic
Change. In Proceedings of the 54th Annual Meeting of the Association
for Computational Linguistics (Volume 1: Long Papers), 1489–1501.
[8] Martin Emms, and Arun Kumar Jayapal. 2016. Dynamic Generative
Model for Diachronic Sense Emergence Detection. In Proceedings of
COLING 2016, the 26th International Conference on Computational
Linguistics: Technical Papers, 1362–73.
[9] Lea Frermann, and Mirella Lapata. 2016. A Bayesian Model of Diachronic Meaning Change. Transactions of the Association for Computational Linguistics 4: 31–45.
[10] Havard Rue and Leonhard Held. 2005. Gaussian Markov Random
Fields: Theory and Applications. Chapman & Hall/CRC Monographson Statistics & Applied Probability. CRC Press.
[11] Lu Ren, Lan Du, Lawrence Carin, and David Dunson. 2011. Logistic Stick-Breaking Process. Journal of Machine Learning Research:
JMLR 12: 203–39.
[12] Jayaram Sethuraman. 1994. A Constructive Deﬁnition of Dirichlet
Priors. Statistica Sinica 4 (2): 639–50.
[13] Valerio Perrone, Marco Palma, Simon Hengchen, Alessandro Vatri,
Jim Q. Smith, and Barbara McGillivray. 2019. GASC: Genre-Aware
Semantic Change for Ancient Greek. In Proceedings of the 1st International Workshop on Computational Approaches to Historical
Language Change, 56–66.
[14] Scott Linderman, Matthew J. Johnson, and Ryan P. Adams. 2015.
Dependent Multinomial Models Made Easy: Stick-Breaking with
the Polya-Gamma Augmentation. In Advances in Neural Information
Processing Systems, vol. 28, 3456–64.
[15] David Mimno, Hanna Wallach, and Andrew McCallum. 2008. Gibbs
Sampling for Logistic Normal Topic Models with Graph-Based Pri-

—7—

[16]

[17]

[18]

[19]

[20]

[21]

ors. In Neural Information Processing Systems Workshop on Analyzing Graphs. vol. 61.
Steven Bird and Ewan Klein and Edward Loper. 2009. Natural language processing with Python: analyzing text with the natural language toolkit, OReilly Media, Inc.
Tomas Mikolov, Kai Chen, Greg Corrado and Jeﬀrey Dean. 2013.
Eﬃcient estimation of word representations in vector space. In Proceedings of International Conference on Learning Representations.
Omer Levy, Yoav Goldberg, and Ido Dagan. 2015. Improving distributional similarity with lessons learned from word embeddings.
Transactions of the association for computational linguistics 3: 211225.
Jey Han Lau and David Newman and Timothy Baldwin. 2014. Machine Reading Tea Leaves: Automatically Evaluating Topic Coherence and Topic Model Quality. In Proceedings of the 14th Conferenceof the European Chapter of the Association for Computational Linguistics, 530–539.
Adji B Dieng, Francisco JR Ruiz, and David M Blei. 2020. Topic
modeling in embedding spaces. Transactions of the Association for
Computational Linguistics, 8:439–453.
Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. 2009. Proceedings of the German Society for
Computational Linguistics and Language Technology, 30:31–40.

—8—