ガウス確率場による単語の意味変化と語義数の同時推定
井上 誠一 1 小町 守 1 小木曽 智信 2 高村 大也 3 持橋 大地 4
1 東京都立大学 2 国立国語研究所 3 産業技術総合研究所 4 統計数理研究所
inoue-seiichi@ed.tmu.ac.jp komachi@tmu.ac.jp togiso@ninjal.ac.jp
takamura.hiroya@aist.go.jp daichi@ism.ac.jp

概要
本研究では，単語の通時的な意味変化のモデル化において，ディリクレ過程をガウス確率場の上に考い場合は解析対象の単語の語義数が自明であることは多くないにも関わらず，これらのモデルは語義数を事前に設定しなければならないという大きな問題がある．

えることで，単語によって異なる語義数を自動的

そこで，我々はディリクレ過程をガウス確率場のに推定できる階層ベイズモデルを提案する1）．疑似
データを用いた実験において，意味変化と語義数を上に考え Frermann らのモデルを拡張することで，語義数をデータから自動で推定し，単語の意味変化を正しく推定できることを示した．また，実データを捉えることのできる階層ベイズモデルを提案する．

用いた実験においては，複数の解析対象の単語に対(1) 疑似データを用いた検証を行った結果，提案モして推定結果を示し，分析した．

デルが解析対象の単語の意味変化と語義数を正しく1

はじめに言語は動的なシステムであり，常に進化し，話者とその環境の需要に適応している [1]．特に単語はさまざまな意味を持ち，その分布や広がりはジャン推定できることを定量的，定性的に示した．また，(2) 実データを用いた実験では，複数の単語に対し定性的な分析を行い，妥当性を示した．

2

関連研究

いう単語は 18 世紀初頭に登場し，もともと “賢い”

2.1 A Bayesian model of diachronic meaning change [7]という意味で使われていたが，19 世紀後半に “狡猾Frermann らは，単語の通時的な意味の発展を捉な” という意味で使われ，現代においては，“魅力的える，動的なベイズモデル（dynamic Bayesian modelな” という意味で使用されている [2]．このような通時的な単語の意味変化を捉えることができれば，辞of Sense ChANge; 以下，SCAN と表記）を提案した．
SCAN では，対象単語 𝑤 一つに対して一つのモデル

書学での単語の意味変化に関する記述への利用や，が構築され，入力は，対象単語 𝑤 が含まれる文章の単語の意味表現がより正確になることにより，意味文脈単語集合 𝒄 で構成されるスニペットとその文章情報が重要なタスクへの活用が可能になる．

が出現した年のラベルとなっている．

ルや文脈によって異なっている．例えば，“cute” と近年では，単語の分散表現を用いて意味変化を検出する手法が数多く提案されているが [3, 4, 5]，これらは意味変化の検出はできるが，意味の趨勢や変化の様子を捉えることはできない．それに対し，解釈性の高い確率的生成モデルを用いて意味変化を捉える試みもある．Emms ら [6] は，単語の新たな意味の出現を捉えるための動的な生成モデルを提案しており，Frermann ら [7] は，意味の出現だけではなく変化のパターンも捉えることができるモデルを提案した．しかし，実際に単語の意味変化を調査した
1） 実装は https://github.com/seiichiinoue/iscan で公開している．

SCAN において，時点 𝑡 ∈ {1 . . . 𝑇 } のスニペット
集合は時点ごとのユニグラム混合:• 意味上の 𝐾 次元多項分布 𝜙𝑡 （意味分布）• 各意味 𝑘 の語彙上の 𝑉 次元多項分布 𝜓𝑡 ,𝑘 （意味–単語分布）でモデル化される．また，それぞれの事前分布にはガウス分布が仮定され，次のように変換することで𝜙 を得る:• 多次元ガウス分布から 𝐾 次元ベクトル 𝜶 を生成∑• ロジスティック変換 𝜙 𝑘 = exp(𝛼 𝑘 )/ 𝐾
𝑘=1 exp(𝛼 𝑘 )によって 𝐾 − 1 次元単体に射影．

𝜓 についても同様である．そして，意味分布と意

ただし，Be(1, 𝑎) はベータ分布である．

味–単語分布のパラメータ 𝜙，𝜓 が，時間変化と共にRen ら [9] は，各クラスが何らかの共変量と紐づ変化をするように，事前分布に 1 階の内生的ガウスいている3）場合，それをロジスティック変換し各ク確率場 (iGMRF) [8] を定義する．iGMRF は，“近傍ラスの確率とすることで，同様にディリクレ過程をと似た値をとる” 事前分布であり2），実数ベクトル実現する logistic stick-breaking process (LSBP) を提案) について，ガウス分布 N(𝜇, 𝜎 2 )した．各クラスのガウス分布に従う確率変数を 𝛽 𝑘x = (𝑥1 , 𝑥 2 , · · · , 𝑥𝑇を用いて，次のように定義される:()
11𝑥 𝑡 | 𝒙−𝑡 , 𝜅 ∼ N (𝑥 𝑡−1 + 𝑥 𝑡+1 ),.
22𝜅としたとき，LSBP によって生成される確率分布 𝐺 𝛽は次のようになる:(1)∏𝜋(𝛽 𝑘 ) = 𝜎(𝛽 𝑘 ) 𝑘−1𝑘 ′ =1 (1 − 𝜎(𝛽 𝑘 ′ )) ,∑∞𝐺 𝛽 = 𝑘=1 𝜋(𝛽 𝑘 )𝛿(𝜃 𝑘 ).

ただし，𝒙 −𝑡 は 𝒙 から 𝑥 𝑡 を除いたものであり，𝜅 は精度パラメータである．また，意味分布と意味–単語分布の事前分布であるガウス分布は，それぞれ変ただし，𝜎(𝑥) はシグモイド関数を表す．

化の度合いをコントロールするパラメータとして

3提案手法

3.1

Inﬁnite SCAN

𝜅 𝜙 ，𝜅 𝜓 を持つ．特に，対象単語 𝑤 によって意味の変化の “速度” は異なるため，意味分布の事前分布の精度パラメータ 𝜅 𝜙 はデータから推定する．

(4)
(5)

これらを踏まえると，SCAN の生成モデルは次の

我々は，2.1 節で紹介した SCAN において，対象ようになる．Ga(𝑎, 𝑏) はガンマ分布, Mult(𝜃) は多項

単語によって異なる語義数をコーパスから自動的に分布を表す．
1. Draw 𝜅 𝜙 ∼ Ga(𝑎, 𝑏)
2. For time interval 𝑡 = 1 . . . 𝑇(a) Draw sense distribution
i. 𝛼𝑡 | 𝜶−𝑡 , 𝜅 𝜙 ∼ N( 12 (𝛼𝑡−1 + 𝛼𝑡+1 ), 𝜅 −1𝜙 )ii. 𝜙𝑡 = Softmax(𝛼𝑡 )(b) For sense 𝑘 = 1 . . . 𝐾
i. Draw sense-word distribution
A. 𝛽𝑡 ,𝑘 | 𝜷−𝑡 , 𝜅 𝜓 ∼ N( 21 (𝛽𝑡−1,𝑘 + 𝛽𝑡+1,𝑘 ), 𝜅 −1𝜓 )B. 𝜓𝑡 ,𝑘 = Softmax(𝛽𝑡 ,𝑘 )(c) For snippet 𝑑 = 1 . . . 𝐷
i. Draw sense 𝑧 𝑑 ∼ Mult(𝜙𝑡 )ii. For context position 𝑖 = 1 . . . 𝐼
A. Draw word 𝑤 𝑑,𝑖 ∼ Mult(𝜓𝑡 ,𝑧𝑑 )2.2

Logistic stick-breaking process [9]ディリクレ過程は有限次元の多項分布を生成するディリクレ分布の無限次元版であり，その実現例の一つとして，stick-breaking process (SBP) [10] が挙げられる．SBP では，確率の総和である長さ 1 の棒を折っていくことで，𝑘 番目のクラスに対する確率 𝜋 𝑘を決定し，デルタ関数 𝛿(𝜃 𝑘 ) を基底測度 𝐺 0 からサンプルした場所 𝜃 𝑘 ∼ 𝐺 0 に立てていくことで確率分布 𝐺 を生成しており，生成過程は次のようになる:
𝜋𝑘 = 𝑣 𝑘∏ 𝑘−1𝑘′(1 − 𝑣 𝑘′ ), 𝑣 𝑘 ∼ Be(1, 𝑎), 𝜃 𝑘 ∼ 𝐺 0 , (2)∑𝐺= ∞(3)𝑘=1 𝜋 𝑘 𝛿(𝜃 𝑘 ).

2） カーネルが隣接する時間に限定されるガウス過程の特別な例と捉えることもできる．

推定できるように，2.2 節で紹介した LSBP を用いて拡張を行った階層ベイズモデルを提案する．
提案モデルでは，SCAN と同様に対象単語 𝑤 一つに対して一つのモデルを考え，入力も SCAN と同様に，コーパスにおける対象単語 𝑤 が含まれる文章の文脈単語集合 𝒄 で構成されるスニペットとその文章が出現した年のラベルとする．
時点 𝑡 に出現したスニペット集合は，𝜙𝑡 と 𝜓𝑡 ,𝑘 そ
れぞれの上に定義される意味分布と意味–単語分布によって表され，それぞれがガウス分布に従う．ここで，意味分布のパラメータ 𝜙𝑡 について，対象単語𝑤 によって異なる語義数 𝑆 𝑤 をコーパスから自動的に推定できるように，LSBP を用いて生成過程を次のように変更する:
𝛼𝑡 | 𝜶−𝑡 , 𝜅 𝜙 ∼ N( 21 (𝛼𝑡−1 + 𝛼𝑡+1 ), 𝜅 −1(6)𝜙 ),∏ 𝑘−1𝜙𝑡 ,𝑘 = 𝜎(𝛼𝑡 ,𝑘 ) 𝑘′ =1 (1 − 𝜎(𝛼𝑡 ,𝑘′ )) (𝑘 = 1, .., 𝐾). (7)
ここで，LSBP は無限次元の多項分布を生成するが，実際には十分な語義の次元があればそれ以上使われることはないため，本研究では SCAN と同様に𝐾 = 8 とした4）．また，提案モデルでは，意味分布のパラメータ 𝜙𝑡 は，全体を見て正規化する Softmax 変換ではなく，それぞれの意味における停止確率を意味ごとに確率化する LSBP によって構築される．そ3） SCAN の場合はガウス分布に従う確率変数が各意味，意味における各単語と紐づいている．
4） 事前実験より，8 個以上の語義を持つ単語はほとんど存在しなかった．

表 1 各モデルによって推定された意味分布と正解の意味分布の Kullback-Leibler 距離．
語義数 𝑆 𝑤

2345

SCAN (𝐾 = 8)Inﬁnite SCAN0.2612
0.00090.27880.00160.10310.00440.00850.0043のため提案モデルでは，SCAN のように 𝜅 𝜙 を全ての意味 𝑘 ∈ {1 . . . 𝐾 } で共有するのではなく，各意味の値 𝛼 ごとに異なる分散 𝜅 𝜙(𝑘) を仮定し推定する．

3.2

提案モデルの推定には，ブロック化 Gibbs samplerを用いる．提案モデルにおける推定パラメータは，スニペットに割り当てられる意味 𝑧，意味分布と意
味–単語分布の事前分布である 𝛼（𝜙 の LSBP 変換前）
，𝛽（𝜓 の Softmax 変換前）
，ガンマ分布に従う意
味分布の事前分布の精度パラメータ 𝜅 𝜙 である．サンプリングの疑似コードを図 5 に示した．
各スニペットの意味 𝑧 𝑑 は，サンプリング時点でのパラメータ 𝜙，𝜓 を用いて，次の事後分布に従ってサンプリングされる:∏𝑝(𝑧 𝑑 | 𝒘, 𝑡, 𝜙, 𝜓) ∝ 𝑝(𝑧 𝑑 | 𝑡) 𝑝(𝒘 | 𝑡, 𝑧 𝑑 ) = 𝜙 𝑧(𝑡)𝜓 𝑤(𝑡 ,𝑧𝑑 )𝑑𝑤 ∈𝒘

意味分布のパラメータ実験に使用したコーパスの年代とサイズ．
コーパス年代

単語数

COHA
CLMET3.1

1810–2009
1710–1810

142,587,656
4,531,505

リングはできない．Mimno ら [12] は，Softmax 変換を用いて表現される，ガウス分布を事前分布としてもつ多項分布のパラメータに対するギブスサンプリ
ングを提案しており，本研究ではそれに従って推定を行う6）．スニペット数を 𝐷，スニペット長を 𝑁 𝑑

MCMC 法による推定

スニペットの意味

表2(8)意味分布の事前分布はガウス分布となっているため，多項分布との間に共役性がないので，ディリ クレ–多項分布のようなサンプリングはできない．Linderman ら [11] は，Pólya-gamma 補助変数を用いることで，LSBP を用いとすると，𝛽 の事後分布は次のようになる:(𝑁)(𝑡 ,𝑧𝑑 )𝐷 ∏𝑑∏exp(𝛽𝑤)𝑛𝑝(𝛽𝑡 ) ∝N(𝛽𝑡 | 𝜷−𝑡 , 𝜅 −1∑𝜓 )(𝑡 ,𝑧𝑑 ))𝑑=1 𝑛=1 1 + 𝑤′ ≠𝑤 exp(𝛽 𝑤′(10)精度パラメータ

平均が既知であるガウス分布の精度パラメータは，ガンマ事後分布に従う．ガンマ分布の形状パラメータを 𝑎，尺度パラメータを 𝑏 とすると，𝜅 𝜙 の事後分布は次のようになる:
()
𝑇𝑇1∑
(𝑘)
𝑝(𝜅 𝜙 ) = Ga 𝑎 + , 𝑏 +(𝛼𝑡 ,𝑘 − 𝛼¯ 𝑘 )22 𝑡=1
ただし，𝛼¯ 𝑘 = 𝑇1

∑

(11)

𝑡 𝛼𝑡 ,𝑘 は意味 𝑘 における 𝛼 の平均である．

4

実験

4.1

疑似データによる検証

実データでの検証に先立ち，提案モデルが，任意て表現される，ガウス分布を事前分布として持つ多の意味変化と語義数をきちんと推定できるか検証す

項分布のパラメータに対するギブスサンプリングるため，疑似データによる検証を行う．疑似データを提案しており，本研究ではそれに従って推定を行の生成において，意味分布の生成にはガウス過程をう5）．𝛼 の事後分布は次のようになる:用い，意味–単語分布の生成にはディリクレ分布を

𝑝(𝛼𝑡 | 𝑧, 𝜶−𝑡 , 𝜔)∝N(𝜔−1 𝑓 (𝑐) | 𝛼𝑡 ) N(𝛼𝑡 | 𝜶−𝑡 , 𝜅 −1𝜙 )∝N(𝛼𝑡 | 𝜇,˜ 𝜅˜−1𝜙 ).

用いて正解データをランダムに生成した．
表 1 に，語義数を 𝑆 𝑤 = 2, .., 5 と動かした場合にお(9)ける SCAN と提案モデルの疑似データに対する推ただし，𝜔 は補助変数であり，𝑐 𝑘 を 𝑘 番目の意味に属∑∑しているスニペットの個数，𝑁 (𝑐 𝑘 ) = 𝑘 𝑐 𝑘 − 𝑗<𝑘 𝑐 𝑗

定結果の比較を示した．ここでは，意味の分布を正しく表現できるか定量的に測るため，指標として推として，Pólya-gamma 分布 𝜔 | 𝑧, 𝛼𝑡 ∼ PG(𝑁 (𝑐 𝑘 ), 𝛼𝑡 ) か定された意味分布と正解の意味分布の ℝ𝑇×𝐾 上でのらサンプリングされる．また， 𝑓 (𝑐 𝑘 ) = 𝑐 𝑘 − 𝑁 (𝑐 𝑘 )/2Kullback-Leibler 距離を用いた．結果から，語義数をと し て，事 後 分 布 の 平 均 と 分 散 は， 𝜇˜ = ( 𝑓 (𝑐 𝑘 ) +自動的に推定できない SCAN と比較して提案モデル

意味–単語分布も意が優れていることがわかる．また，図 1, 2 に，語義数が 𝑆 𝑤 = 5 の場合の正解例と，疑似データに対する味分布と同様に事前分布としてガウス分布を仮定し提案モデルの推定結果を示した．横軸が時点，縦軸ているため，ディリクレ–多項分布のようなサンプが時点における意味の確率を表し，色に対応する意

5） 詳細は参考文献 [11] を参照されたい．

6） 詳細は参考文献 [12] を参照されたい．

𝜇 𝑘 𝜅 𝜙 ) · 𝜅˜ 𝜙 ，𝜅˜ 𝜙 = (𝜔 𝑘 + 𝜅 𝜙) −1 である．

意味–単語分布のパラメータ

図1

語義数が 𝑆 𝑤 = 5 の場合の意味変化の正解例．

図 2 語義数が 𝑆 𝑤 = 5 の疑似データに対する提案モデルの推定結果．正解例に合わせて意味の並べ替えを行った．

図3

対象単語 “coach” に対する提案モデルの推定結果．

図4

対象単語 “power” に対する提案モデルの推定結果．

味を凡例に示した．図より，提案モデルによる推定

ら指導や指導者という意味（橙色）に変化している

結果は意味の趨勢をほとんど正しく捉えていることがわかる．

ことが捉えられている．“power” については，コーパスから推定された語義数は 6 つとなった．宗教や4.2

データセット教会の文脈で使用される力の意味（青色）は，現在に至っても使用されていることがわかる．また，肉本研究では，英語を対象とし，通時コーパスで体上・精神上の自然の能力，体力，知力といった意

ある Corpus of Historical American English (COHA) と味（橙色）と法や政治的な力といった意味（赤色）The Corpus of Late Modern English Texts (CLMET3.1)

は現在に近づくにつれて使われることが少なくなっを用いた．コーパスの統計量を表 2 に示した．ている．一方で，経済的な力としての意味（緑色）

実験で用いる際は，トークナイズ，見出し語化をや国際的な政治力や戦争などの文脈における力（紫行ったのち，ストップワードの削除を行った．また色），また動力の意味（茶色）は現在になるにつれて品詞タグ付けを行い，名詞，動詞，形容詞のみを抽使用されることが増えてきていることがわかる．

出し使用した．以上の前処理を行ったのち，対象単

これらの結果は歴史的背景や辞書からも妥当であ語が出現する箇所をコーパスから抽出し，文脈窓幅り，提案モデルはコーパスからある程度正しく意味を 5 として対象単語のコーパスを作成した．対象単変化を捉えることができていることがわかる．

語としては，SCAN で分析されたものを参考にして“coach” と “power” を選択した．

54.3

結果

まとめと今後の展望
本研究では，単語の通時的な意味変化のモデル化において，単語によって異なる語義数を自動的に推図 3, 4 に “coach” と “power” に対する推定結果を定できる階層ベイズモデルを提案した．疑似データ

示した．凡例には，意味 𝑘 における意味–単語分布∑𝜓 𝑘 = 𝑡 𝜓𝑡 ,𝑘 の Normalized pointwise mutual informationを用いた実験において，意味変化と語義数を正しく(NPMI) [13] の高い単語を上から 10 個示した．

実験においては，複数の解析対象の単語に対して推推定できることを示した．また，実データを用いた“coach” では，コーパスから推定された語義数は 2定結果を示し，分析した．今後は，他の単語や英語つとなった．馬車や乗り物としての意味（青色）か以外の言語を対象とした分析を行っていきたい．

謝辞
本研究は国立国語研究所の共同研究プロジェクト「現代語の意味の変化に対する計算的・統計力学的アプローチ」，「通時コーパスの設計と日本語史研究の新展開」および JSPS 科研費 19H00531，18K11456の研究成果の一部を報告したものである．

参考文献[1] Jean Aitchison. 2001. Language Change: Progress Or Decay?. Cambridge Approaches to Linguistics. Cambridge
University Press.
[2] Angus Stevenson, editor. 2010. The Oxford English Dictionary. Oxford University Press, third edition.
[3] Robert Bamler, and Stephan Mandt. 2017. Dynamic WordEmbeddings. In Proceedings of the 34th International Conference on Machine Learning, edited by Doina Precup andYee Whye Teh, 70:380–89.
[4] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and StevenSkiena. 2015. Statistically signiﬁcant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web, WWW’15, p. 625–635.
[5] William L. Hamilton, Jure Leskovec, and Dan Jurafsky.
2016. Diachronic Word Embeddings Reveal Statistical
Laws of Semantic Change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1489–1501.
[6] Martin Emms, and Arun Kumar Jayapal. 2016. DynamicGenerative Model for Diachronic Sense Emergence Detection. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, 1362–73.
[7] Lea Frermann, and Mirella Lapata. 2016. A BayesianModel of Diachronic Meaning Change. Transactions of
the Association for Computational Linguistics 4: 31–45.
[8] Havard Rue and Leonhard Held. 2005. Gaussian MarkovRandom Fields: Theory and Applications. Chapman &Hall/CRC Monographs on Statistics & Applied Probability. CRC Press.
[9] Lu Ren, Lan Du, Lawrence Carin, and David Dunson.
2011. Logistic Stick-Breaking Process. Journal of Machine
Learning Research: JMLR 12: 203–39.
[10] Jayaram Sethuraman. 1994. A Constructive Deﬁnition ofDirichlet Priors. Statistica Sinica 4 (2): 639–50.
[11] Scott Linderman, Matthew J. Johnson, and Ryan P. Adams.
2015. Dependent Multinomial Models Made Easy: StickBreaking with the Polya-Gamma Augmentation. In Advances in Neural Information Processing Systems, vol. 28,3456–64.
[12] David Mimno, Hanna Wallach, and Andrew McCallum.
2008. Gibbs Sampling for Logistic Normal Topic Models
with Graph-Based Priors. In Neural Information Processing Systems Workshop on Analyzing Graphs. vol. 61.
[13] Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. 2009. Proceedings of theGerman Society for Computational Linguistics and Lan-guage Technology, vol 30: 31–40.
[14] Valerio Perrone, Marco Palma, Simon Hengchen, Alessandro Vatri, Jim Q. Smith, and Barbara McGillivray. 2019.
GASC: Genre-Aware Semantic Change for Ancient Greek.
In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, 56–66.

A

MCMC アルゴリズム
3.2 節で説明した提案モデルの推定に用いた Gibbs

sampler の疑似コードを 図 5 に示す．各パラメータの初期値は基本的に Frermann ら [7] に従っている．
ただし，本研究では，対象単語の意味の変化を “意味–単語分布の変化” ではなく，できるだけ “意味分布の変化” で捉えたいため（前者の場合，語義数の推定が難しくなる），Perrone ら [14] に従い，𝜅 𝜓 の値を比較的大きな 100.0 とした．

図6

語義数が 𝑆 𝑤 = 2 の場合の正解例．

Algorithm 1: MCMC Procedure1

Initialize 𝜅 𝜙(𝑘) = 4.0 (for all 𝑘)

2

Initialize 𝜅 𝜓 = 100.0

3Initialize 𝑎 = 7.0, 𝑏 = 3.0

4for 𝑡 = 1 . . . 𝑇 do

567Initialize 𝛼𝑡 ∼ N( 21 (𝛼𝑡−1 + 𝛼𝑡+1 ), 𝜅 −1𝜙 )Set 𝜙𝑡 = LSB(𝛼𝑡 )for 𝑘 = 1 . . . 𝐾 do

8Initialize 𝛽𝑡 ,𝑘 ∼ N( 12 (𝛽𝑡−1,𝑘 + 𝛽𝑡+1,𝑘 ), 𝜅 −1𝜓 )9Set 𝜓𝑡 ,𝑘 = Softmax(𝛽𝑡 ,𝑘 )101112endend
for 𝑗 = 1 . . . 𝐽 do

13

Sample 𝑧 according to Eq. (8)14for 𝑡 = 1 . . . 𝑇 do

15

Sample 𝜙 according to posterior in Eq. (9)16Sample 𝜓 according to posterior in Eq. (10)

17end

18

Sample 𝜅 𝜙 according to posterior in Eq. (11)

19end
図5B

図 7 語義数が 𝑆 𝑤 = 2 の疑似データに対する提案モデルの推定結果．正解例に合わせて意味の並べ替えを行った．

MCMC 法による Inﬁnite SCAN の推定．

図8

語義数が 𝑆 𝑤 = 3 の場合の正解例．

疑似データに対する推定結果

4.1 節で行った，疑似データによる提案モデルの性能の検証において，語義数 𝑆 𝑤 が異なる場合の結果を示す．図 6, 7 には語義数が 𝑆 𝑤 = 2 の正解例と推定結果，図 8, 9 には語義数が 𝑆 𝑤 = 3 の正解例と推定結果を示した．語義数が異なっても，提案モデルは意味変化と語義数を適切に推定できていることがわかる．
図 9 語義数が 𝑆 𝑤 = 3 の疑似データに対する提案モデルの推定結果．正解例に合わせて意味の並べ替えを行った．