# 通時的な単語の意味変化を捉える単語分散表現の同時学習

相田太一 ${ }^{1}$ 小町守 1 小木曽智信 ${ }^{2}$ 高村大也 ${ }^{3}$ 持橋大地 ${ }^{4}$
東京都立大学 1 国立国語研究所 2 産総研/東京工業大学 3 統計数理研究所 4
aida-taichi@ed.tmu.ac.jp komachi@tmu.ac.jp togiso@ninjal.ac.jp
takamura.hiroya@aist.go.jp daichi@ism.ac.jp

## 1 はじめに

言語は時代とともに変化するものであり、現代社会においても、日々新しい単語が生まれている。既存の単語についても、ある単語が時間の経過とともに、全く異なる意味で使われる場合も少なくない。例えば、“gay”という単語は元々「陽気な」という意味で用いられていたが、近年では「同性愛」という意味が主に使われるようになった。このような通時的な単語の意味の変化を捉えることができれば、昔の時代の文書への分野適応や、辞書学での単語の意味変化に関する記述への利用などが期待できる。

近年では、通時的に学習した単語分散表現を用いて単語の意味変化を検出する手法が数多く提案されている。Kulkarni ら [1] や Hamilton ら [2] は任意の時期毎に学習した単語分散表現に対して、線形変換によって対応付けを行う手法を提案した。また、Yao ら [3] によって各時期の単語分散表現を同時に獲得する手法が提案された。これまでの手法は文脈を考慮していない単語べクトルを用いているため、単語の用法毎の変化を調査できなかったが、BERT [4] などの事前学習済み言語モデルによって文脈を考慮した単語べクトルを生成できるようになった。最近では英語や日本語などの代表的な言語で事前訓練済みのモデルが公開されたこともあり、BERTを用いた研究も行われている $[5,6,7]$ 。

しかし、こうした単語の意味変化を通時的に分析するための手法には、以下のような問題がある。

・単語ベクトル間の関係を線形モデルで表せるという強い仮定をおいている $[1,2]$

・ハイパーパラメータの設定に敏感である [3]

・公開されているモデルの言語に依存する $[5,6,7]$
- 手法間での定量的な比較が行われている研究が少ない

こうした問題に対し、線形モデルで表現可能とい

$\mathbf{M}_{A}, \mathbf{M}_{B} \in \mathbb{R}^{V_{W} \times V_{C}}$

$\mathbf{W}_{A}, \mathbf{W}_{B} \in \mathbb{R}^{V_{W} \times d}$図 1: Word2vec と SVD の等価性を利用した時期ごとの単語ベクトルの獲得 PMI-SVD joint の様子.

う仮定やハイパーパラメータに敏感であるという問題を解決するため、我々は Levy ら [8] により示された Word2vec と特異値分解の等価性を用い、図 1 のように通時的な単語分散表現を同時に獲得する手法を提案し、日本語の文書データに対して戦前と戦後における単語の意味変化を網羅的に分析した [9]。

本研究ではこの手法を拡張し、また実際に意味が変化した単語のリストを用いることで定量的な評価を行い、提案手法と先行研究の手法を比較する。(1)定量的な評価を行った結果、提案手法は既存の手法と同等以上の性能を獲得した。また、(2) 実際に意味の変化した単語に対して定性的な評価を行った結果、事前訓練済みの BERT よりも効果的に意味変化を捉えていることを示した。

## 2 関連研究

Hamilton ら [2] は、学習した各時期の単語分散表現 $\mathbf{W}_{t}, \mathbf{W}_{t+1}$ を回転行列 $\mathbf{R}$ で対応付ける手法を提案した。

$
\mathbf{R}(t)=\underset{\mathbf{R}: \mathbf{R R}^{\top}=1}{\operatorname{argmin}}\left.\|\mathbf{W}_{t} \mathbf{R}-\mathbf{W}_{t+1}\right.\|_{F}^{2}
$

ここで、 $\|\cdot\|_{F}$ はフロベニウスノルムである。

また、Yao ら [3] は各時期で獲得した Positive PMI (PPMI) 行列に対して、以下の目的関数を最小化することで、各時期の単語分散表現 $\mathbf{W}_{t}$ および文脈語の
分散表現 $\mathbf{C}_{t}$ を同時に獲得する手法を提案した。

$
\begin{array}{r}
\frac{1}{2} \sum_{t=1}^{T}\left.\|\mathbf{M}_{t}-\mathbf{W}_{t} \mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\gamma}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}-\mathbf{C}_{t}^{\top}\right.\|_{F}^{2} \\
+\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{W}_{t+1}-\mathbf{W}_{t}\right.\|_{F}^{2} \\
+\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{C}_{t+1}-\mathbf{C}_{t}\right.\|_{F}^{2}
\end{array}
$

ここで、 $\gamma, \lambda, \tau$ はハイパーパラメータである。

近年では、文脈を考慮した単語ベクトルを生成できる事前学習済み言語モデルである BERTを用いた研究が行われている。単語の語義単位の意味変化を扱う研究として、単語の語義ごとに辞書の例文からベクトルを計算するもの [5] や、BERTによって得られる単語ベクトルを語義単位にクラスタリングするもの [7] がある。また、単語の代表的な意味の変化を調べる研究として、BERTによって得られるべクトルを平均することで単語の代表的なべクトルを獲得するもの[6] がある。本研究では、単語の代表的な意味の変化に着目した比較および分析を行う。

## 3 提案手法

## 3.1 準備：PMI-SVD [8]

まず、基盤となる手法である Levy ら [8] の単語分散表現学習手法について説明する。コーパス全体において、単語 $w$ とその周辺に現れる文脈語 $c$ との共起確率を $p(w, c), w$ と $c$ それぞれの出現確率を $p(w), p(c)$ としたとき、単語べクトルの学習は、 Shifted Positive PMI (SPPMI)

$
M[w, c]=\max \left(\log \frac{p(w, c)}{p(w) p(c)}-\log k, 0\right)
$

を要素とする $V_{W} \times V_{C}$ の行列 $\mathbf{M}\left(V_{W}\right.$ は対象語の語彙サイズ、 $V_{C}$ は文脈語の語彙サイズを示す）を、 $\mathbf{M} \simeq \mathbf{W C}$ と $d$ 次元に特異値分解したときの $V_{W} \times d$ の行列 $\mathbf{W}$ の各行に等しい [8]。同様に、文脈語べクトルは $d \times V_{C}$ の行列 $\mathbf{C}$ の各列として獲得できる。 $\mathbf{W}$ の列数（および $\mathbf{C}$ の行数） $d$ は単語ベクトルの次元数を示しており、以下本研究では $d=100$ とした。式 (3) の定数 $k$ は Word $2 \mathrm{vec}$ の負例サンプリングにおける負例数に相当し、以下 $k=1$ とした。

## 3.2 PMI-SVD $_{\text {joint }[9]$}

この方法を拡張すると、時期の違う単語ベクトルを同時に計算することが可能になる。文脈語の分散

$\mathbf{M}_{A}, \mathbf{M}_{B} \in \mathbb{R}^{V_{W} \times V_{C}} \quad \mathbf{W}_{A}, \mathbf{W}_{B} \in \mathbb{R}^{V_{W} \times d}$

図 2: 文脈語の意味変化も考慮する提案手法 PMI-SVD ${ }_{\mathrm{c}}$ の行列分解の模式図.

表現 $\mathbf{C}$ の各列である文脈ベクトルが変化しないと仮定すると、時期 A（たとえば明治時代）における $\mathrm{PMI}$ 行列を $\mathbf{M}_{A}$, 時期 B（たとえば平成時代）における PMI 行列を $\mathbf{M}_{B}$ とすれば、 $\mathbf{M}_{A}$ と $\mathbf{M}_{B}$ を縦に結合した $\mathbf{M}=\left[\mathbf{M}_{A} ; \mathbf{M}_{B}\right]$ も同様に

$
\left[\begin{array}{l}
\mathbf{M}_{A} \\
\mathbf{M}_{B}
\end{array}\right] \simeq\left[\begin{array}{l}
\mathbf{W}_{A} \\
\mathbf{W}_{B}
\end{array}\right][\mathbf{C}]
$

と行列分解することができる（図 1)。このとき $\mathbf{W}_{A}$ および $\mathbf{W}_{B}$ の対応する行が、時期 $\mathrm{A}$ と時期 $\mathrm{B}$ の同じ単語の単語ベクトルとなり、後処理によ了近似的な対応づけは必要としない [9]。式 (4) の計算は、 $\mathbf{M}=\mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^{\top}$ と特異値分解を行った後で、 $\mathbf{W}=\mathbf{U} \boldsymbol{\Sigma}^{1 / 2}, \mathbf{C}=\boldsymbol{\Sigma}^{1 / 2} \mathbf{V}^{\top}$ ととることで行える。

## 3.3 PMI-SVD ${ _{\mathrm{c}}$}

上の手法では、時期が経過しても文脈語は意味が変化しないという仮定を置いていた。この仮定を避けるために、次に文脈語の意味変化も考慮するモデルを提案する。文脈語の意味変化を単純に考慮するのであれば、単語べクトル行列と同じ数の文脈語べクトル行列を作成すれば良い。しかし、各時期の $\mathrm{PMI}$ 行列 $\mathbf{M}_{t}$ を個別に行列分解するだけでは、時期間での対応が取れない。そこで、通常の行列分解 (式 (4)) の目的関数に、隣接する時期間で文脈語べクトルが類似しているという制約項を次式で追加する。

$
\sum_{t=1}^{T}\left.\|\mathbf{M}_{t}-\mathbf{W}_{t} \mathbf{C}_{t}\right.\|_{F}+\tau \sum_{t=1}^{T-1}\left.\|\mathbf{C}_{t+1}-\mathbf{C}_{t}\right.\|_{F}
$

タである。これは Yao ら [3] のモデル（式(2)）と比べて簡略化されており、ハイパーパラメータの探索に必要な試行数を大きく減らしつつ、以下のように実験的にも同等以上の性能を示した。

## 4 実験

擬似的に意味変化を生成したデータおよび、実際に意味が変化した単語のリストを用いた定量的な評価 [1] により提案手法と既存手法の比較を行った。

## 4.1 データ

日本語と英語のデータを用いて、2つの時期における単語の意味変化について実験を行った。日本語では、『日本語歴史コーパス』1)の一部として公開されている近代雑誌コーパスス2)に「昭和・平成書き言葉コーパス」として構築中の雑誌 (『中央公論』『文藝春秋』)データを追加したものを、戦前 (1895-1944 年）と戦後（1945-1997 年）に分けて用いた。英語では、Corpus of Historical American English ${ }^{3)}$ (COHA) の 1900 年代と 1990 年代を用いた。

各時期の文書で 100 回以上出現する名詞・動詞・形容詞・副詞を分析対象の単語とした。また、文脈語には分析対象の単語と同じものを用いた。

## 4.2 比較手法

の既存手法を比較した。

回転行列で対応付けを行う（式 (1)）。

PMI-SVD の代わりに Word2Vec skip-gram negative-sampling を訓練する。

-Dynamic Word Embeddings [3]: 式 (2)を最小化することで各時期の単語分散表現を獲得する。
- BERT [4]: 各時期の各単語を代表するべクトルは平均によって獲得した [6]。本実験では、 huggingface ${ }^{4)}$ で公開されている事前訓練された BERTを使用した。

## 4.3 評価

最初に、各モデルで語彙中の全ての単語について 2 つの時期間の余弦類似度が低い順にランキングを行い、リストを作成した。次に、このリストの上位 $k$ 単語と、実際に意味の変化した単語のリストとの一致率を計算して評価した（Recall@k）。


図 3: 日本語のデータで擬似的に意味の変化する単語を生成し、Recall@kで評価した結果.

表 1: 日本語のデータにおける平均再現率.

## 4.4 擬似的に生成した意味の変化する単語 を用いた比較

まず、簡単な問題として、2つの時期間で意味が完全に変化する単語を擬似的に生成し [10]、その単語を用いて定量的な比較を行った。擬似的に意味の変化する単語は、各時期における余弦類似度の絶対值がいずれも 0.01 よりも小さい、なるべく無関係な単語ペアの集合の中から無作為に 50 ペアを抽出し、後の時期のコーパスの単語（たとえば「虫」）を全て前の時期の単語（たとえば「中隊」）に置き換えることで、2つの時期間で完全に意味が変化する単語を設定した。

日本語のデータにおいて、各手法について上位 1,000 単語までの範囲で Recall@ $\mathrm{k}$ を評価した結果を図 3 に示す (英語でも同等の結果を確認した)。図 3

## 4.5 実際に意味の変化した単語を用いた 比較

次に、実際に意味が変化した単語を用いて定量的な比較を行った。日本語では間淵らが作成した単語リスト [11]を、英語では Kulkarni らが作成した単語リスト [1]を用いて Recall@kで評価した。日本語のデータにおける結果を図 4 に示す。付録 $\mathrm{A}$ に示したように、英語でも同様の結果となった。図 4 及び表 1 の平均再現率より、提案手法である PMI- SVD $_{\text {joint }}$ は簡単な手法でありながら既存の手法を上回り、事前学習済みの BERT に迫る性能を示した。
表 2: 日本語において意味変化した可能性が高いと予測された上位 10 単語 (1 文字の単語は除く).

図 4: 日本語のデータで実際に意味の変化した単語を用いて Recall@kを評価した結果.

## 5 議論

ここでは、4節で優れた結果を獲得していたBERT

性的な評価 [2]を行った。

まず、日本語について、それぞれのモデルにおいて意味変化した可能性が高いと予測された上位 10 単語を比較した (表 2)。この時、1 文字の単語は除外した。表 2 より、BERT は意味的な変化を捉え、

えていることがわかる。これは、BERT は与えられた文全体を考慮して単語ベクトルを計算しているの

表 3: 「了解」「要領」という単語と意味の近い各時期の周辺 5 単語 ( 1 文字の単語は除く).

了解 (理解 $\rightarrow$ 承知)

要領（要点 $\rightarrow$ 処理手段）

ベクトルを獲得しているためだと考える。

次に、実際に意味が変化した単語について、それぞれの手法で学習した単語分散表現において対象単語のベクトルに近い 5 単語（1 文字の単語は除く） を比較した。表 3 は「了解」及び「要領」という単

に伴い周辺に「承知」に関する単語が出現し、変化前の「理解」に関する単語と共存する結果になっているが、BERT は意味が変化する前の戦前に「承知」 に関する周辺単語が出現してしまっている。また、「要領」に関しても同様に、BERT は変化前の戦前から「うまく処理する手段」に関する周辺単語が出現していることがわかる。これは、BERT が時期を意識せずに訓練されており、変化後の単語の語義に強く影響されてしまったためだと考える。

## 6 おわりに

本研究では、以前の研究で提案した手法と先行研究について定量的・定性的な比較を行った。意味の変化した単語を用いて定量的な評価を行った結果、提案手法が従来の手法と同等またはそれ以上の結果を獲得することを示した。また、実際に意味の変化した単語に対して提案手法と BERT で定性的な比較を行った結果、提案手法がより効果的に単語の意味変化を捉えていることを示した。

今後は、BERTを分析対象のデータのみで訓練させ、対等な条件で性能の比較を行う予定である。また、比較する時期を 3 つ以上に増やし、単語の意味変化についてさらに詳細な比較・分析を行いたい。謝辞本研究は国立国語研究所の共同研究プロジェクト「現代語の意味の変化に対する計算的・統計力学的アプローチ」、同「通時コーパスの設計と日本語史研究の新展開」および JSPS 科研費 19H00531, 18K11456 の研究成果の一部を報告したものである。

## 参考文献

[1] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. Statistically significant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web, WWW'15, p. 625-635, Republic and Canton of Geneva, CHE, 2015. International World Wide Web Conferences Steering Committee.

[2] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Zijun Yao, Yifan Sun, Weicong Ding, Nikhil Rao, and Hui Xiong. Dynamic word embeddings for evolving semantic discovery. In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, WSDM'18, p. 673-681, New York, NY, USA, 2018. Association for Computing Machinery.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Renfen Hu, Shen Li, and Shichen Liang. Diachronic sense modeling with deep contextualized word embeddings: An ecological view. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Matej Martinc, Petra Kralj Novak, and Senja Pollak. Leveraging contextual embeddings for detecting diachronic semantic shift. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4811-4819, Marseille, France, May 2020. European Language Resources Association.

[7] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online, July 2020. Association for Computational Linguistics.

[8] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 27, pp. 2177-2185. Curran Associates, Inc., 2014.

[9] 相田太一, 小町守, 小木曽智信, 高村大也, 坂田綾香,小山慎介, 持橋大地. 単語分散表現の結合学習による単語の意味の通時的変化の分析. 言語処理学会第 26 回年次大会発表論文集, 2020 .

[10] Philippa Shoemark, Farhana Ferdousi Liza, Dong Nguyen, Scott Hale, and Barbara McGillivray. Room to Glo: A systematic comparison of semantic change detection approaches with word embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 66-76, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] 間淵洋子, 小木曽智信. 近現代日本語の意味変化分析のための単語データセット構築の試み. 言語処理学会第 27 回年次大会発表論文集, 2021.

## A 英語の実験結果

まず、英語データにおける結果を以下に示す。

表 4: 英語において意味変化した可能性が高いと予測された上位 10 単語.

図 5: 英語のデータで擬似的に意味の変化する単語を生成

し、Recall@kで評価した結果.

図 6: 英語のデータで実際に意味の変化した単語を用いて各手法に対して Recall@kで評価した結果.表 5: 英語のデータにおける平均再現率.

表 6: gayという単語について、各時期のベクトルの周辺 10 単語.

表 7: rockという単語について、各時期のベクトルの周辺 10 単語.

 &  &  &  \\

## B日本語の評価に用いた単語リスト

次に、今回 4.5 節で用いた日本語で実際に意味の変化した単語リストを以下に示す。

適当, 故障, 優勝, 非常, 心持ち, 広告, 了解, 結構, 住居, 主婦, 要領, 全然, 風俗, 障害, 婦人, 貴族, 普通, 設備, 教授, 女性, 情報, 普段, 自然, モデル,とても,衣