言語処理学会 第30回年次大会 発表論文集（2024年3月）

意味変化分析に向けた単語埋め込みの時系列パターン分析
木山朔 1 相田太一 1 小町守 2 小木曽智信 3 高村大也 4 松井秀俊 5 持橋大地 6
1 東京都立大学 2 一橋大学 3 国立国語研究所 4 産業技術総合研究所
5 滋賀大学 6 統計数理研究所{kiyama-hajime,aida-taichi}@ed.tmu.ac.jp mamoru.komachi@r.hit-u.ac.jp
togiso@ninjal.ac.jp takamura.hiroya@aist.go.jp
hmatsui@biwako.shiga-u.ac.jp daichi@ism.ac.jp

概要
意味変化とは書かれた時代により単語の意味が変化する，という言語学的事象である．単語の意味がどのようにして変化するのか，という意味変化パ
ターンの理解は将来的に意味変化する単語のモデル化に対し重要な示唆を与える．本研究では，意味変化のパターンを分析するための前段階として，単語埋め込みの時系列分析手法を提案する．時期ごとに単語埋め込みを学習し，対象単語の埋め込みを時系列に並べることで時系列のパターン分析を可能にした．分析の結果より，特殊な振る舞いをするパターンが存在することを示し，時系列の分析に本手法が有効なことを示す．

1

はじめに単語の意味は時代によって変化することがある．
例えば，「こだわる」という単語は近代でネガティブな意味『執着する』を持っていたが，現代でポジティブな意味『追求する』を獲得した [1]．通時的な単語の意味変化を捉えることは言語学の分析に有用である [2]．また，自然言語処理の分野への応用も期待されている．最近広く注目を集めている事前訓
練済みの大規模言語モデルは，時代経過で訓練データの時代が古くなることで，最新の知識を持った入力に対応できなくなり，性能が低下することが言われている [3] が，時代間で意味が変化した単語を重点的に追加訓練することで，時代経過による性能低下を効率的に防ぐことができる [4]．
意味変化のモデル化に向けて，意味変化のパターンを理解することは，これまでに発生した単語の意味変化を説明するだけでなく，将来発生する意味変化を予測するために重要である．先行研究では，頻度や多義性によって意味変化のしやすさが説明でき

図 1: 毎日新聞コーパスを PPMISVD joint でそれぞれの年代ごとに学習し SVD で圧縮した際の単語「自在」の埋め込みの 2003–2020 年の変化．𝑥 軸，𝑦 軸，𝑧 軸の順に分散上位の 2,3,5 次元目を表す．色が濃い
方が古い年代，薄い方が新しい年代を表している．
時系列の変化が確認できる．
ることや [5]，意味変化のパターンとして意味競争，意味協力といった語義同士の関係が示唆されている [6]．これらの分析ではなぜ頻度や多義性が意味変化のしやすさに関係するのか，なぜこのような語義同士の関係が存在するか，といったメカニズムが明らかにされていない．
そこで本研究では，意味変化のパターンを分析するための前段階として，複数の時期で学習された単語埋め込みの時系列特性を分析する．図 2 に本研究の概要図を示す．まず，時期ごとに異なる単語埋め込みを同時に学習し，対象単語の埋め込みを抽出する．次に，抽出された行列を特異値分解 (Singular Value Decomposition; SVD) や独立成分分
析 (Independent Component Analysis; ICA) といった次元圧縮手法を用いて低次元に圧縮する．その後，圧縮された時系列データを関数データ [7] として扱い，クラスタリングを行う．最後に，時系列の埋め込みやクラスタの分析を行い時系列単語埋め込みのパターンを調査する．本研究の貢献は以下となる．

― 2510 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

のスパンを小さくした上でこれらの手法による埋め込みを獲得し，分析を行う．
意味変化の傾向・パターン

意味変化の傾向として，Hamilton らが頻度，多義性との関係を分析している [5]．彼らは，頻度が低ければ意味変化しやすい傾向，単語の多義性が高ければ意味変化しやすい傾向を発見した．Giulianelli らは，BERT を用いた意味変化において，生態学的な観点から意味変化のモデル化を試みている [6]．ここでは，意味競争，意味協力という概念を導入している．意味競争は，ある語義がその単語の主要な語義となるように，意味の割合が高くなるように奪い合う，という現象である．意味競争により，特定の語義が支配的になり，その単語の主要な意味として使われる．意味協力
は，似ている語義同士で共に語義の割合の増加または減少が発生する，という現象である．意味協力に

図 2: 単語埋め込みの時系列パターン分析手法

より主要な語義が増加/減少することで，主要な語義2• 単語埋め込みの時系列パターン分析手法を提案に似ている語義が増加/減少し，それ以外の語義が減した．時系列のパターンが分析可能となり，意少/増加する．

味変化の分析につながることが期待できる．

本研究では，上記に限らない意味変化の傾向やパ• 分析結果より，単語群の非自明な時系列パターターンを明らかにすることを最終的な目標として，ンを発見した．これはデータの特徴にあったパまず短いスパンでの時系列の単語埋め込みの性質にターンであると考えられる．

ついて分析し，意味変化への応用を探る．

関連研究

3

分析手法

3.1

時系列単語行列の獲得

意味変化検出のための単語埋め込み

意味変化検出タスクにおいては，BERT [8] のような動的埋め込みに時代や語義を考慮した追加訓練を行うことで，Skip-Gram with Negative Sampling (SGNS) [9] といった静的埋め込みよりも性能が高くなることが知られている [10, 11]．しかし，動的埋め込みの追加訓練にはコストがかかる．今回は学習のためのデータサイズが十分ではなく，時期ごとに埋め込みを獲得したいため，静的埋め込みを対象に分析を行う．
意味変化で使われる複数時期の静的埋め込みの 学 習 方 法 と し て Kim ら の SGNS init [12] と 相田 ら の PPMI𝑆𝑉 𝐷 joint [13] を 取 り 上 げ る．前 者 の図 2 に分析手法の概要を示す．単語埋め込みの次元数を 𝐷，総単語数を 𝑁 𝑎𝑙𝑙 ，対象単語数を 𝑁𝑡 𝑎𝑟 𝑔𝑒𝑡 とする．それぞれの時期 𝑡 ∈ {1, 2, ..., 𝑇 } で単語埋め込
み行列 𝐸 𝑡 ∈ ℝ 𝑁𝑎𝑙𝑙 ×𝐷 が学習されている．これをまとめると全単語を対象にした時系列の単語埋め込みテンソル 𝐸 ∈ ℝ 𝑁𝑎𝑙𝑙 ×𝐷×𝑇 が得られる．ここで，対象単語 𝑤 の埋め込み 𝑒 𝑡 (𝑤) ∈ ℝ𝐷 を縦に並べて，時系列単語埋め込み行列 𝑋 (𝑤) ∈ ℝ𝐷×𝑇 を得る．これを対象単語の 𝑁𝑡 𝑎𝑟 𝑔𝑒𝑡 個だけ縦に並べた行列を時系列単語埋め込み行列 𝑋 ∈ ℝ 𝑀 ×𝐷 (𝑀 = 𝑇 × 𝑁𝑡 𝑎𝑟 𝑔𝑒𝑡 ) とする．

SGNS init は時期 𝑡 の埋め込みを学習する際に時期© 𝑋 (𝑤 1 ) ª© 𝑒 1 (𝑤) ª­ 𝑋 (𝑤 ) ®
­ 𝑒 (𝑤) ®
2 ®
­®
­ 2𝑋 (𝑤) = ­®
®, 𝑋 = ­­ ... ®
­ ... ®
®
­®
­« 𝑋 (𝑤 𝑀 ) ¬«𝑒𝑇 (𝑤) ¬𝑡 − 1 の埋め込みを初期値として与える手法である．後者の PPMISVD joint は，対象単語と周辺単語の PPMI (Positive Pointwise Mutual Information) 行列をSVD で圧縮した埋め込みが SGNS と理論的に一致することを利用している [14]．SVD での圧縮時に複数時期の PMI 行列を結合させ同時に圧縮することで，時期間の対応をとっている．本研究では，時期

3.2

次元圧縮手法

一般的に単語埋め込みは数十から数百，大きいものだと数千の次元で学習されるため，取り出した時― 2511 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(a) 怠る+SVD(b) 怠る+ICA(c) 引き受ける+SVD(d) 引き受ける+ICA

図 3: 毎日新聞コーパスに対し PPMISVD で学習した埋め込みを用いて「怠る」，「引き受ける」を圧縮した際の可視化．横軸は次元，縦軸は時期を表す．縦軸に似た色が観察され，時期によらず似た埋め込みとなる．
系列単語埋め込み行列 𝑋 はそのままでは解釈が困

は，関数データ解析とよばれる．関数単位で分析を難となる．そこで本研究では，時系列単語埋め込み行うことで，観測誤差の除去やデータの次元の削減

行列 𝑋 に対して次元圧縮手法である SVD，ICA をが期待できる．その後， 関数データに対してクラス適用して，圧縮された低次元空間の分析を行う 1）．

タリング（関数クラスタリング）を行い，クラスタ異なる二つの圧縮手法を比較することで，手法によ単位で軌跡のパターンの分析を行う．クラスタリンる違いなのか，データによる違いなのかを検証でき

グのアルゴリズムは K 平均法を使用する．クラスタ数の 𝐾 は 5 としており，これは特異な軌跡がクラスる．また ICA は意味に沿った軸に分解されるという先行研究 [15] があり，ICA の軸の変化が意味変化をタとして判別できるように人手で判断して決定した．距離はユークリッド距離を用いている．

捉える可能性が高いため採用した．
SVD SVD とは，固有値分解を一般に拡張した手法である．ある 𝑀 × 𝐷 次元の行列 𝑋 ∈ ℝ 𝑀 ×𝐷 を𝑀 × 𝑑 次元（𝐷 ≫ 𝑑）に圧縮する操作は次のように

データセット

比較的新しい年代の意味変化を調査する目的で，毎日新聞コーパスを使用した．2003

行われる．

年から 2020 年の 18 年分のコーパスを対象とし，1𝑋 = 𝑈𝑆𝑉 𝑇年毎に区切って 18 個の埋め込みを獲得する．前処

ここで行列 𝑈𝑆 1/2 について分析を行う 2）．
ICA ICA とは，入力された成分を独立になるように分解する手法である．𝑀 × 𝐷 次元から 𝑀 × 𝑑 次元へ変換する行列 𝐴 ∈ ℝ𝐷×𝑑 を求めることで，独立成分行列 𝐼 ∈ ℝ 𝑀 ×𝑑 を獲得できる．

理として，空白・補助記号の削除，20 単語未満の文の除外，重複の削除，subsampling (t=1e-05) を行った．対象単語は各時期で 100 回以上出現する動詞，形容詞，形状詞（形容動詞に相当）の合計 1,226 単語とし，mecab+unidic 3）を用いてレンマタイズした．

𝐼 = 𝑋𝐴
独立成分行列 𝐼 について分析を行っていく．分析の名詞については，固有名詞などに広く影響されるため，今回の分析から除外した．
埋め込み手法際には，各軸での値の分布の歪度の絶対値が大きい

埋め込みの学習では，単語埋め込

みの次元数を 100，文脈窓の大きさを前後 10 単語順に軸を並び替える [15]．

3.3

実験設定4とした．埋め込み手法は SGNS init [12] と PPMISVD

時系列データ分析

joint [13]（以 下 で は PPMISVD と 表 記）を 用 い る．

圧縮された埋め込みに対して，特定の次元に着目

SGNS init においては最初の時期である 2003 年の埋して時系列データを取得する．本研究では，時系列め込みをランダムに初期化した状態から学習を行における傾向を調査するために，この単語の時系列データを関数データ [7] として扱い，関数データをい，2003 年以降の学習で初期化手法を用いる 4）．

軌跡とみなして軌跡単位での分析を行う．系列デー
タを関数として表現し，関数単位で分析を行う手法
1） 各対象単語 𝑤 ごとに取り出した 𝑋 (𝑤) に対して分解を行うと単語間で軸の対応が取れず，次元の解釈ができない．そのため，すべての単語・すべての時期で同時に分解を行う．
2） 𝑈𝑆 1/2 は PPMISVD における単語埋め込みに相当する．

分析結果

5

時系列のパターン

PPMISVD で学習した埋め込みを用いて「怠る」，「引き受ける」という単語の時系
3） https://taku910.github.io/mecab/4） 負例サンプリングの数は 10，エポック数は 20 とした．

― 2512 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(a) SGNS init+SVD dim1(b) SGNS init+SVD dim12(c) PPMISVD +ICA dim14(d) PPMISVD +ICA dim29

図 4: 毎日新聞コーパスで埋め込みを学習し特定の次元を関数クラスタリングした結果．横軸は時期，縦軸は圧縮値を示す．通常は (a) のような結果となるが，(b)，(c)，(d) のように特殊な振る舞いをする結果が存在する．
列埋め込みを次元圧縮した可視化を図 3 に示す．圧2011 年から急激に変化する軌跡が存在することか

縮手法によらず縦軸には近い値が集まっている 5）．

ら，東日本大震災により新聞の内容が変化したこと

これより時期が異なっても，同じ単語であれば似たが示唆される．5 つのクラスタのうち，最も大きくような埋め込みが得られることがわかる．ICA の方

変動しているクラスタ 2 に属する単語は「みたい」，が SVD より埋め込みのコントラストがはっきりし「割る」，「稀」，「割れる」，「向く」，「頷く」，「空く」，「掻く」の 8 単語である．ており，ICA による圧縮では尖った形状を持つという先行研究 [15] と一致する．
3 次元での可視化

図 4 (d) に PPMISVD で学習され，ICA で圧縮され学習し圧縮した埋め込みを分た 29 次元目を関数クラスタリングした結果を示す．

散でソートし，上位の 3 次元を可視化して分析を行2006 年から 2012 年の期間において極端に値が小さう．𝑥 軸，𝑦 軸，𝑧 軸の順に上位 1 次元，2 次元，3くなり，それ以外の時期では極端に値が大きくなる次元を表す．濃い青色が 2003 年，薄い黄色が 2020

クラスタが存在する．大きく軸に反応しているクラ年とし，時系列に並べて直線で結んでいる．図 1 にスタ 4 に属する単語は「突く」，「消す」，「打つ」，「詰PPMISVD で学習し，SVD で圧縮した場合の「収めめる」，「逃げる」，「攻める」，「繰り出す」，「利く」，る」の可視化を示す．時間が経過するにつれ，濃い「打ち込む」，「仕掛ける」，「ぶつける」，「不味い」，色から薄い色への変化がどれもみられることから時「寄る」，「手厚い」，「躱す」，「有力」，「差す」，「引く」

系列の変化を検出できていることがわかる 6）．の 18 単語である．野球に使われる用語などが多く，

関数クラスタリング

SGNS init で学習した埋めスポーツ関連のクラスタであることが示唆される．

込みに対し，SVD で圧縮された埋め込みの特定の次震災やスポーツに関連したトピックが出現すること元を関数クラスタリングした結果を図 4 (a) に示す．

は新聞データの特徴をつかめていると言える．

基本的にどの軌跡も平行線のような軌跡を描き，時系列の変化が見られない．しかし，一部の次元にお6

おわりにいては軌跡が極端に変化することを確認した．以下

本研究では，意味変化の分析に向けて単語埋め込

では，SGNS init+SVD と PPMISVD +ICA の組み合わみの時系列パターンの分析を行った．時期ごとの単せに限って説明する 7）．

語埋め込みから，対象単語の埋め込みを時系列順に

図 4 (b) に SGNS init で学習され，SVD で圧縮され結合させ，次元圧縮を行い分析する手法を提案した 12 次元目を関数クラスタリングした結果を示す．

た．関数クラスタリングにより時系列のパターンと

図 4 (a) で見たように，x 軸に平行線になるクラスタして特殊な場合を検出できた．

が見られるが，時期が新しくなるにつれ，値が小さ今後の展望としては，今回の分析結果を元に単語の意味が変化する要因の特定，定量的に時系列の変くなるクラスタが存在する 8）．
図 4 (c) に PPMISVD で学習され，ICA で圧縮され遷を扱う方法の検討，関数主成分分析や関数独立た 14 次元目を関数クラスタリングした結果を示す．

成分分析を用いたより詳細な時系列分析，BERT と

5） 学習手法にもよらないことは付録 A にて示す．
6） PPMISVD +SVD 以外の 3 次元の可視化は付録 B に示す．
7） 極端な軌跡が見られたのがこの 2 手法であった．
8） 値が小さくなるクラスタ 4 の単語は付録 C に示す．

いった動的な単語埋め込みを用いた時系列分析，そして擬似データや意味変化した単語がわかっているデータセットでの実験が挙げられる．

― 2513 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
有益なコメントや議論をしてくださった東京都立大学自然言語処理研究室のメンバーに感謝いたします．

参考文献[1] 間淵洋子, 小木曽智信. 近現代日本語の意味変化分析のための単語データセット構築の試み. 言語処理学会年次大会, pp. 1166—-1170, 2021.
[2] Paul Cook and Suzanne Stevenson. Automatically identifying changes in the semantic orientation of words. InLREC 2010, Valletta, Malta, May 2010.
[3] Angeliki Lazaridou, Adhiguna Kuncoro, Elena Gribovskaya, Devang Agrawal, Adam Liska, Tayfun Terzi,
Mai Gimenez, Cyprien de Masson d’Autume, Tomáš
Kočiský, Sebastian Ruder, Dani Yogatama, Kris Cao, Susannah Young, and Phil Blunsom. Mind the gap: Assessing temporal generalization in neural language models. InNeurIPS 2021, 2021.
[4] Zhaochen Su, Zecheng Tang, Xinyan Guan, Lijun Wu,Min Zhang, and Juntao Li. Improving temporal generalization of pre-trained language models with lexical semantic change. In EMNLP 2022, pp. 6380–6393, Abu Dhabi,
United Arab Emirates, December 2022.
[5] William L. Hamilton, Jure Leskovec, and Dan Jurafsky.
Diachronic word embeddings reveal statistical laws of semantic change. In ACL 2016, pp. 1489–1501, Berlin, Germany, August 2016.
[6] Mario Giulianelli, Marco Del Tredici, and Raquel
Fernández. Analysing lexical semantic change with contextualised word representations. In ACL 2020, pp. 3960–3973, Online, July 2020.
[7] J.O. Ramsay and B.W. Silverman. Functional data analysis(2nd ed.). Springer, New York, 2005.
[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp.
4171–4186, Minneapolis, Minnesota, June 2019.
[9] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeﬀ Dean. Distributed representations of words
and phrases and their compositionality. In NeurIPS 2013,Vol. 26, 2013.
[10] Guy D. Rosin and Kira Radinsky. Temporal attention forlanguage models. In NAACL Findings 2022, pp. 1498–1508, Seattle, United States, July 2022.
[11] Pierluigi Cassotti, Lucia Siciliani, Marco DeGemmis, Giovanni Semeraro, and Pierpaolo Basile. XL-LEXEME:
WiC pretrained model for cross-lingual LEXical sEManticchangE. In ACL 2023, pp. 1577–1585, Toronto, Canada,July 2023.
[12] Yoon Kim, Yi-I Chiu, Kentaro Hanaki, Darshan Hegde,and Slav Petrov. Temporal analysis of language throughneural language models. In ACL 2014 Workshop, pp. 61–65, Baltimore, MD, USA, June 2014.
[13] 相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地.
異なる時期での意味の違いを捉える単語分散表現の結合学習. 自然言語処理, Vol. 30, No. 2, pp. 275–303,2023.
[14] Omer Levy and Yoav Goldberg. Neural word embedding
as implicit matrix factorization. In NeurIPS 2014, Vol. 27,2014.
[15] Hiroaki Yamagiwa, Momose Oyama, and Hidetoshi Shimodaira. Discovering universal geometry in embeddings
with ICA. In EMNLP 2023, pp. 4647–4675, Singapore,
December 2023.

― 2514 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

時系列パターン(a) 怠る+SVD(b) 怠る+ICA(c) 引き受ける+SVD(d) 引き受ける+ICA

図 5: SGNS init で学習した埋め込みを用いて「怠る」，「引き受ける」を圧縮した際の可視化．横軸は次元，縦軸は時期を表す．図 3 と比較しても似たような傾向が得られることから，学習手法によらない性質であると示唆される．

B

3 次元での可視化(a) 加わる+PPMISVD +ICA(b) 収める+SGNS init+SVD(c) 味わう+SGNS init+ICA

図 6: 毎日新聞で学習し圧縮した埋め込みの分散の上位 3 次元での可視化．𝑥 軸は上位 1 次元，𝑦 軸は上位 2 次元，𝑧 軸は上位 3 次元目を表す．(a) は (7,20,37)，(b) は (3,1,4)，(c) は (51,89,72) である．色が濃い方が古い年代，薄い方が新しい年代を表す．時代が進むにつれ変化する様子が観察される．

C

関数クラスタリング

表 1: 図 4 (b) のクラスタ 4 に含まれる単語リスト．このように時系列パターンが特殊な単語群を発見できるが，これらの単語に共通するパターンが何かまでは特定できていない．
クラスタ 4 に含まれる単語
濃厚，押さえ込む，下がる，久しい，競り勝つ，阻む，振り切る，力強い，取れる，苦しむ，戦う，抜く，輝く，走る，痛い，頑張る，振り返る，悔やむ，切れる，迎える，早い，鋭い，ビッグ-big，追い付く，絡める，押し出す，実る，叩く，恵まれる，誇る，終わる，称える，抜け出す，留まる，沸く，封ずる，強烈，きつい，割り込む，光る，順調，打つ，真っ直ぐ，持ち込む，入れ替える，乗り切る，控えめ，保つ，巧み，必死，及ぶ
勝ち上がる，転ずる，脱する，旨い，懸命，喫する，導く，苦い，決まる，終える，大きい，逃げる，緩む，合わせる，乱れる，涼しい，重ねる，制する，決める，擁する，縮める，途切れる，苦しい，押す，敗れる，勝つ，込む，任す，切り替える，踏ん張る，ぶつかる，攻める，出揃う，返す，抜ける，嬉しい，繰り出す，揃える，良い，優秀，誓う，投げる，利く，欠く，僅か，徹する，踏む，立て直す，豪快，滑る，素直，伸ばす，噛み合う，行う，粘り強い，揃う，めでたい，入る，凄い，粘る，放す，飛ぶ，外れる，大事，寒い，緩める，泣く，凌ぐ，悩ます，巻き返す，浮かべる，強力，落ちる，クール-cool，仕留める，続く，痛める，引っ張る，休む，暑い，押さえる，際立つ，掴む，積み重ねる，狙う，破る，臨む，響く，勝ち越す，零す，下す，上回る，伸び悩む，明ける，奪う，押し切る，引き締める，締め括る，並ぶ，落とす，引き分ける，握る，落ち込む，着実，期する，兼ねる，振る，絶妙，有利，フル-full，崩れる，浴びる，滲む，焦る，沈む，劇的，背負う，遠ざかる，固い，負ける，退ける，泳ぐ，食い込む，見せ付ける，頷く，押し上げる，悔しい，喜ぶ，果たす，上がる，見せる，退く，思い切る，手厚い，素晴らしい，突き放す，組む，確実，切る，熟す，乗り越える，鮮やか，噛み締める，
躱す，絞る，伸びる，抜群，崩す，許す，上げる，取り戻す，厳しい，見事，零れる，強い，言い聞かせる，押し込む，飛ばす，単独，逃す，突き落とす，飾る，追い込む，追い上げる，淡々，下回る，放つ，見据える― 2515 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).