# 意味変化の統計的法則は 1000 年成り立つ

川崎義史 ${ }^{1}$ 高村大也 ${ }^{2}$ 永田亮 ${ }^{3}$
1 東京大学 2 産業技術総合研究所 3 甲南大学
ykawasaki@g.ecc.u-tokyo.ac.jp takamura.hiroya@aist.go.jp
nagata-nlp2024@ml .hyogo-u.ac.jp.

## 概要

本稿は，ラテン語とロマンス語を対象として，意味変化の統計的法則が 1000 年にわたり成り立つことを示す。単語間の意味のずれは，対応する分散表現の余弦距離で測る。分散表現は聖書をコーパスとして学習した。回帰分析の結果，頻度が高い・多義性の低いラテン語語源ほどロマンス語形との意味のずれが小さくなる傾向が見られた。これは，意味変化の統計的法則が，ラテン語とロマンス語を隔つ長期間にわたり成り立つことを示唆する。

## 1 はじめに

Hamilton らは分散表現を用いて複数の言語の通時的意味変化を分析した [1]。意味変化の度合いは，対応する単語間の分散表現の余弦距離で測った。そして，下記の意味変化の統計的法則を発見した：

$\cdot$高頻度語ほど意味変化の度合いが小さい

・多義語ほど意味変化の度合いが大きい

しかし，分析の射程は直近 200 年程度であり，この法則が長期にわたり成り立つかは自明ではない。

そこで本稿では，ラテン語とロマンス語を対象として，この法則を再訪する。ロマンス語とは，フランス語（仏)，イタリア語（伊），スペイン語（西）, ポルトガル語 (葡)，ルーマニア語（羅）など，ラテン語から派生した姉妹言語の総称である $[2,3,4]^{1)}$ 。母体であるラテン語まで最大 2000 年程度遡ることができる，ラテン語のデータが比較的豊富に存在する，複数の姉妹言語間で比較ができる点で，ロマン入語は長期の通時的変化の分析に適している。本稿で扱うロマンス語は仏伊西葡羅の 5 つとする。ラテン語語源とそのロマンス語形の単語ペアの


例を表 1 に示す 2$)$ 。例えば，ラテン語 HABERE「持つ」 は，仏 avoir，伊 avere，西 haber，葡 haver，羅 avea に対応する。仏伊羅では元来の「持つ」という意味を保持している一方，西葡ではこの意味は失われ，存在表現や完了時制を作る助動詞として使用される。 このように，ロマンス語形ではラテン語語源の意味や用法から乘離することがある。

ラテン語語源とロマンス語形の意味のずれは，対応する分散表現の余弦距離で測る $[1,5]$ 。各言語の分散表現は，聖書をコーパスとして学習する3)。次いで，全言語の分散表現のアラインメントを取る。 その後，余弦距離を従属変数，ラテン語語源の頻度と多義性を説明変数として回帰分析を行い，変数間の統計的関係を分析する。そして，ラテン語とロマンス語を隔つ 1000 年以上の長期にわたり意味変化の統計的法則が成り立つことを示す。

## 2 関連研究

Hamilton らは，分散表現を用いて複数の言語の通時的意味変化を分析し，高頻度語ほど意味変化の度合いが小さく，多義語ほど意味変化の度合いが大きくなるという統計的法則を発見した [1]。しかし，分析の射程は 1800 年から 2000 年代までの約 200 年であり，この法則がより長期にわたり成り立つかは自明ではない。ロマンス語の意味変化を扱った研究は複数存在する $[6,7,8,9]$ 。Uban らは，ラテン語語源とロマンス語形との意味のずれを分析した [7]。 しかし，ラテン語の分散表現は Wikipedia のラテン語記事で学習したため，典型的なラテン語を反映し

2）ラテン語はスモールキャピタルで表す。

3）旧約聖書と新約聖書をまとめて聖書と呼ぶことにする。

ているとは言えない。Kawasaki らは，ラテン語語源の頻度や多義性に基づいてロマンス語同源語間（例えば，仏 avoir と西 haber）の意味のずれを分析し，上記の法則がおよそ成り立つことを示した [9]。しかし，ラテン語語源とロマンス語形との意味のずれを直接測ったわけではない。そこで本稿では, 両者の意味のずれを適切な手法で測り，意味変化の統計的法則が長期にわたり成り立つか調査する。

## 3 データ

本稿では，多言語の分散表現のアラインメントを取る必要がある。学習コーパスの違いが，対応する単語間の分散表現のずれを誘発しないように，各言語の分散表現を内容が均質なコーパスで学習することが理想的である。そこで，聖書をコーパスとして用いた。聖書はトークン数は少ないものの，言語に依らず同一内容のため本稿の目的に適している。

聖書のテキストは Christodouloupoulos \& Steedman $[10]^{4}$ から入手した。使用した聖書の翻訳年，トークン数，語彙サイズを表 2 に示す5)。ロマンス語聖書の翻訳時期は合わせることが理想的だが，本稿では利用可能性なこれらの版を用いる。ラテン語とロマンス語の聖書には 1100 年以上の年代差があるため，長期の通時的分析が可能になる。

## 4 手法

まず，テキストデータの基本形化と品詞タグ付けを行った。ラテン語には lamonpy6)を，ロマンス語には spaCy 3.7.27)の各言語の core_news_lg モデルを使用した。両タガーの品詞タグ統一のために, spaCy の出力の AUX を VERB に, CCONJ と SCONJ を CONJ に，DET をADJ に，PART と SYM を OTHERS に変換した。両タガーは固有名詞の認識が苦手だったため，後述のシード語ぺアのみ主格


と斜格の全変化形を列挙し，人手でタグ付けした。 その後, gensim の Word2Vec $[11]^{8}$ で各言語の分散表現の学習を行った。聖書のトークン数が少ないのを補うために epochs=100とした。それ以外は，デフォルトのハイパーパラメータを用いた。分散表現の次元数は 100 である。

次いで，ラテン語語源とロマンス語形の意味のずれを測るために，各ロマンス語の分散表現をラテン語のべクトル空間に写像した。関連研究 $[12,9]$ と同様に，プロクラステス解析 [13] により言語間のアラインメントを取った。シード語として, 人名 (「アブラハム」，「イエス」等）や地名（「エルサレム」，「エジプト」等）のような固有名詞に加えて，数詞，人称代名詞 (「私」，「君」等)，接続詞 (「そして」，「もしくは」等)，文末記号など高頻度の約 230 ペアを用いた。これは, 語彙サイズの 1 - $2 \%$ に相当する。聖書は同一内容のため, シード語の分散表現は言語間でほぼ一致すると仮定した。シード語の例を表 3 に示す。シード語は必ずしも同源語とは限らず，言語によりペア数は若干変動する。

後述の回帰分析の対象とする単語ペアは，ラテン語聖書において頻度が 200 以上の内容語（動詞, 名詞，形容詞）と，そのロマンス語形とした。ロマンス語形の同定は, Wikitionary ${ }^{9}$ や辞典 ${ }^{10)}$ の語源欄を参照して行った。すべてのラテン語語源がロマンス語に継承されているわけではない。表 4 に示すように，単語ペア数は言語により変動する。特にルーマニア語は単語ペア数が少ない。これは，スラブ語との接触や地理的隔絶のために, 多数のラテン語語源が継承されなかったためである $[2,3,4]$ 。

ラテン語語源とロマンス語形の意味のずれは,対応する分散表現間の余弦距離 $d\left(w_{l a}, w_{r o}\right)_{c o s}=$ $1-\cos \left(w_{l a}, w_{r o}\right)$ で測った。ここで, $w_{l a}$ はラテン語語源， $w_{r o}$ はロマンス語形を表す。この余弦距離を従属変数, ラテン語語源の頻度 $f r_{l a}$ と多義性 poly la $_{l a}$

表 4 回帰分析の対象としたラテン語語源とロマンス語形の単語ペア数

を説明変数として回帰分析を行い，変数間の統計的関係を分析する。ラテン語語源の頻度は聖書での生起回数，多義性は辞典 [14] 掲載の語義数とした。用いる変数やモデルは Hamilton ら [1] に従った。ただし, Hamilton ら [1] が定義する多義性は頻度と高い相関を示す [15] ため，本稿では採用しなかった。全変数を対数変換後，平均が 0 ，分散が 1 になるように標準化した上で回帰分析を行った。回帰モデルを式（1）に示す：

$\log d\left(w_{l a}, w_{r o}\right)_{c o s}=\beta_{0}+\beta_{1} \log f r_{l a}+\beta_{2} \log$ poly $_{l a}+\epsilon$

ただし， $\left.\{\beta_{0}, \beta_{1}, \beta_{2}\right.\}$ は推定すべきパラメータ， $\epsilon \sim$ $\mathcal{N}\left(0, \sigma^{2}\right)$ は誤差とする。パラメータは statsmodels $0.14 .1[16]^{11)}$ で求めた。

## 5 実験

以下の説明ではスペイン語を例として示すが，他の言語でもほぼ同様の結果が得られた。

## 5.1 多言語分散表現

ラテン語とスペイン語のシード語ペア 227 対の余弦距離の平均 (標準偏差) は 0.15 (0.06), 両言語から 1 語ずつ無作為に選んだ同数のランダム単語ぺアでは 0.87 (0.09) となった。シード語ぺアの距離は小さく, ランダム単語ペアの距離は大きいことから，最低限のアラインメントは取れている。

図 1 は，回帰分析の従属変数となるラテン語語源とロマンス語形の余弦距離の分布を示している。余弦距離はおおよそ正規分布に従っている。表 5 は，言語別の余弦距離の平均と標準偏差（カッコ内）を示している。いずれの言語でも全体平均は約 0.64 となった。この値は, Kawasaki ら [9] のロマンス語同源語間の余弦距離の平均の約 0.4 に比べ大きい。本稿では, シード語ぺアの大半が固有名詞という特殊な単語群のため，アラインメントが不十分な可能性がある。また，学習コーパスが小さいため，そもそ

11) https://www.statsmodels.org/stable/index.html

図 1 ラテン語語源とロマンス語形の余弦距離の分布

も分散表現の学習が不十分な可能性もある。あるいは，ラテン語とロマンス語には，この程度のずれが内在しているのかもしれない。

表 6 に, 余弦距離が最小・最大となるラテン語語源とスペイン語形のペア 5 対を示す。余弦距離が最大になるのは CAPUT「頭」と cabo「先端」のペアである。確かにスペイン語では cabo を「頭」の意味で使うことはない。一方で, CAPUT の最近隣語が cabeza「頭」（0.60）となるのは適切と言える。他の言語でも，CAPUT の最近隣語は，「頭」を表す伊 testa（0.59），葡 cabeça（0.55）, 羅 cap（0.57）となり直感に合う。ただし，仏では aigu「鋭い」（0.58） が最近隣語となり, tête「頭」(0.66) はやや離れる。

## 5.2 回帰分析

ラテン語語源とスペイン語形の余弦距離を従属変数とした回帰分析の結果を表 7 に示す。その他の言語の回帰分析の結果は付録 A に示す。

## 6 考察

## 6.1 回帰係数

回帰係数の値は, 頻度が-0.37, 多義性が 0.37 で, どちらも有意だった ${ }^{12)}$ 。この結果は，意味変化の統計的法則が，ラテン語とスペイン語を隔つ 1000 年以上にわたり成り立つことを示唆する。値の大小はあるものの，他の言語でも同様の傾向が見られた。 つまり，上記の法則はロマンス語全般に成り立つといえる。回帰係数の絶対値はスペイン語ではほぼ等しいが，他の言語では頻度の方が多義性よりも大きくなった。これは，頻度の方が多義性よりも意味変化に大きな影響を与えることを示唆する。

12）本稿では有意水準を $5 \%$ とする。
表 5 ラテン語語源とロマンス語形の余弦距離の平均と標準偏差（カッコ内）

表 6 ラテン語語源とスペイン語形の余弦距離が最小・最大となる単語ペア：id. (idem) はラテン語語源と同義であることを表す

表 7 ラテン語語源とスペイン語形の余弦距離を従属変数とした回帰分析の結果 $(N=147, A d j . R 2=0.18)$

## 6.2 決定係数

自由度調整済み決定係数（以下，決定係数）の値 0.18 は，ラテン語語源の頻度と多義性が全分散の約 20\%を説明することを意味する。これは，頻度と多義性の影響は限定的で，意味変化に寄与する言語内外の要因が他にも存在することを示唆する [15]。決定係数は仏 $(0.13)<$ 葡 $(0.16)<$ 西 $(0.18)<$ 伊 $(0.21)$ <羅 (0.25) の順で大きくなった。ロマンス語聖書の翻訳年には最大 350 年の開きがあるが，翻訳年と決定係数には有意な順位相関は見られなかった $(\rho=0.10 ; \quad p=0.87)$ 。つまり，ラテン語聖書との年代差が大きいからといって，説明変数以外の要因の影響が大きくなるわけではないようである。

## 6.3 品詞の影響

余弦距離は，全言語で名詞<動詞<形容詞の順で大きくなった（表 5)。品詞の区別の有効性を吟味するため，線形混合効果モデル [17] で分析を行った。品詞のランダム効果を表すために，品詞ごとに異な
る切片を設けた。パラメータはR $9 ~ l m e 4 ~[18]^{13)}$ で求めた。後述の尤度比検定のために最尤法で推定を行った [17]。回帰モデルを式（2）に示す。

$
\begin{aligned}
& \log d\left(w_{l a}, w_{r o}\right)_{c o s}= \\
& \beta_{0}+\beta_{\text {pos }}+\beta_{1} \log f r_{l a}+\beta_{2} \log \text { poly }_{l a}+\epsilon
\end{aligned}
$

ここで $\beta_{p o s}$ は品詞ごとのランダム切片を表す。

ランダム切片は名詞<動詞<形容詞の順で大きな値となった。しかし, 尤度比検定の結果, 品詞のランダム効果は有意ではなかった。つまり，ラテン語語源の頻度と多義性の固定効果のみで十分であり, 品詞の区別は有効ではないことが示唆された。 また，品詞ごとに傾きが異なる可能性があるため, ランダム傾きを含むモデルも検討した。しかし，ランダム効果の分散が極めて小さいため，モデル推定は不首尾に終わった。ただし，これはデータ量が少ないことに起因する可能性もあり，今後データを増やした上で改めて分析する必要がある。

## 7 おわりに

本稿は，ラテン語とロマンス語を対象として，意味変化の統計的法則が長期にわたり成り立つか調査した。単語間の意味のずれは，対応する分散表現の余弦距離で測った。分散表現は聖書をコーパスとして学習した。回帰分析の結果，頻度が高い・多義性の低いラテン語語源ほどロマンス語形との意味のずれが小さくなる傾向が見られた。これは，意味変化の統計的法則が，ラテン語とロマンス語を隔つ 1000 年にわたり成り立つことを示唆する。

今後の課題として，以下の 3 点が挙げられる。まず，ロマンス語形の同定を進め，データ数を増やす必要がある。第二に，ラテン語文献のロマンス語訳などを用いて，本稿の結果が，聖書以外のコーパスで分散表現を学習した場合にも成り立つか確認する必要がある。第三に，文脈付き単語埋め込みを活用した手法 [19] や言語間のアラインメントを必要としない手法 [20] も検討したい。

13) https://cran.r-project.org/web/packages/lme4/ index.html

## 謝辞

本研究は JSPS 科研費 JP23K12152 の助成を受けたものです。

## 参考文献

[1] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1489-1501, Berlin, aug 2016. Association for Computational Linguistics.

[2] Ti Alkire and Carol Rosen. Romance Languages: A Historical Introduction. Cambridge University Press, New York, 2010.

[3] Adam Ledgeway and Martin Maiden, editors. The Oxford Guide to the Romance Languages. Oxford University Press, 2016.

[4] Adam Ledgeway and Martin Maiden, editors. The Cambridge Handbook of Romance Linguistics. Cambridge University Press, Cambridge, 2022.

[5] Andrey Kutuzov, Lilja Øvrelid, Terrence Szymanski, and Erik Velldal. Diachronic Word Embeddings and Semantic Shifts: A Survey. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1384-1397, Santa Fe, New Mexico, aug 2018. International Committee on Computational Linguistics.

[6] Ana Sabina Uban, Alina Maria Ciobanu, and Liviu P. Dinu. Studying Laws of Semantic Divergence across Languages using Cognate Sets. In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, pp. 161-166, Florence, aug 2019. Association for Computational Linguistics.

[7] Ana-Sabina Uban, Alina Maria Ciobanu, and Liviu P Dinu. Crosslingual Laws of Semantic Change. In Nina Tahmasebi, Lars Borin, Adam Jatowot, Yang Xu, and Simon Hengchen, editors, Computational Approaches to Semantic Change, chapter 7, pp. 219-260. Language Science Press, Berlin, 2021.

[8] Ana Sabina Uban, Alina Maria Cristea, Anca Dinu, Liviu P Dinu, Simona Georgescu, and Laurentiu Zoicas. Tracking Semantic Change in Cognate Sets for English and Romance Languages. In Proceedings of the 2nd International Workshop on Computational Approaches to Historical Language Change 2021, pp. 64-74, Online, aug 2021. Association for Computational Linguistics.

[9] Yoshifumi Kawasaki, Maëlys Salingre, Marzena Karpinska, Hiroya Takamura, and Ryo Nagata. Revisiting Statistical Laws of Semantic Shift in Romance Cognates. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 141-151, Gyeongju, Republic of Korea, oct 2022. International Committee on Computational Linguistics.

[10] Christos Christodouloupoulos and Mark Steedman. A Massively Parallel Corpus: the Bible in 100 Languages. Language Resources and Evaluation, Vol. 49, No. 2, pp. 375-395, 2015 .

[11] Radim Řehůřek and Petr Sojka. Software Framework for Topic Modelling with Large Corpora. In Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, pp. 45-50, Valletta, 2010. European Language Resources Association.

[12] Hiroya Takamura, Ryo Nagata, and Yoshifumi Kawasaki. Analyzing Semantic Changes in Japanese Loanwords. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, Vol. 1, pp. 1195-1204, Valencia, apr 2017. Association for Computational Linguistics.

[13] J C Gower. Generalized Procrustes Analysis. Psychometrika, Vol. 40, No. 1, pp. 33-51, 1975.

[14] P.G.W. Glare, editor. Oxford Latin Dictionary. Oxford University Press, Oxford, 2nd edition, 2012.
[15] Haim Dubossarsky, Eitan Grossman, and Daphna Weinshall. Outta Control: Laws of Semantic Change and Inherent Biases in Word Representation Models. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1136-1145, Copenhagen, sep 2017. Association for Computational Linguistics.

[16] Skipper Seabold and Josef Perktold. Statsmodels: Econometric and statistical modeling with python. In 9th Python in Science Conference, 2010.

[17] Bodo Winter. Statistics for Linguists: An Introduction Using R. Routledge, New York and London, 2019

[18] Douglas Bates, Martin Mächler, Ben Bolker, and Steve Walker. Fitting Linear Mixed-Effects Models Using lme4. Journal of Statistical Software, Vol. 67, No. 1, pp. 1-48, 2015.

[19] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing Lexical Semantic Change with Contextualised Word Representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 39603973, Online, jul 2020. Association for Computational Linguistics.

[20] Ryo Nagata, Hiroya Takamura, Naoki Otani, and Yoshifumi Kawasaki. Variance Matters: Detecting Semantic Differences without Corpus/Word Alignment. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 15609-15622, Singapore, dec 2023. Association for Computational Linguistics.

## A 回帰分析の結果

スペイン語以外のロマンス語の回帰分析の結果を下表に示す：

表 8 ラテン語語源とフランス語形の余弦距離を従属変数とした回帰分析の結果 $(N=123, A d j . R 2=0.13)$

表 9 ラテン語語源とイタリア語形の余弦距離を従属変数とした回帰分析の結果 $(N=149, A d j . R 2=0.21)$

表 10 ラテン語語源とポルトガル語形の余弦距離を従属変数とした回帰分析の結果 $(N=143, A d j . R 2=0.16)$

表 11 ラテン語語源とルーマニア語形の余弦距離を従属変数とした回帰分析の結果 $(N=81, A d j . R 2=0.25)$