言語処理学会 第26回年次大会 発表論文集 (2020年3月)

単語分散表現の結合学習による単語の意味の通時的変化の分析
相田太一 1 小町守 2 小木曽智信 3 高村大也 4 坂田綾香 5 小山慎介 5 持橋大地 5
長岡技術科学大学 1 首都大学東京 2 国立国語研究所 3
産業技術総合研究所/東京工業大学 4 統計数理研究所 5

aida@jnlp.org, komachi@tmu.ac.jp, togiso@ninjal.ac.jp,
takamura.hiroya@aist.go.jp, {ayaka,skoyama,daichi}@ism.ac.jp

1

はじめに行列を用いた単語分散表現学習手法を拡張して、線形言語は時代とともに変化するものであり、現代社会においても、日々新しい単語が生まれている。既存の単語についても、ある単語が時間の経過とともに、全く異なる意味で使われる場合も少なくない。Hamilton
ら [2] は、1800 年代から 2000 年代までの書籍を集めたコーパスである Google Books Ngram1 を任意の時変換による対応付けを用いることなしに各時期の単語分散表現を同時に学習させた。次に、学習した分散表
現を用いて単語ベクトルの通時的な変化を算出し、ベクトルの変化が大きい単語を中心に意味が変化したとされる単語を、言語学の側面から網羅的に分析した。
本論文における貢献を以下に示す。

• 従来の共起行列を用いた単語分散表現の学習手法を拡張することで、線形変換による各時期の分散表現の対応付け、及びそのために時期間で意味が変化しない単語を選ぶことなく、単語の意味の変化を調べることができる。

期で区切り、word2vec [4] を用いて単語分散表現を学習させた。意味が変化した代表的な単語である ‘gay’や ‘broadcast’ と 類似度の高い周辺語の変化から実際の変遷の時期を調査し、1. 頻度が高い単語ほど意味の変化が起こりにくい
2. 多義語は意味が変化する可能性が高いという 2 つの法則が英語、フランス語、ドイツ語、中国語において成り立つことを示した。昨年、単語の意味の変遷を計算言語学的に調べる Historical Language

Change (LChange) 2 というワークショップが開かれ、単語の意味の変遷について通時的に調査する手法が数多く提案された [6, 7, 8] こともあり、言語学だけでなく様々な分野から注目を集めている。
しかし、これらの研究で扱われている言語は英語や中国語が多く、日本語について調査した研究はほとんど見受けられない。また、手法の多くは、幅広い年代のコーパスを任意の時期で分けた後、分割した時期ごとに独立して単語分散表現を学習させ、線形変換を用いて各時期間の単語分散表現の対応を近似的にとるものである [1]。この際には、事前に時期間で意味が変化しない単語をいくつか挙げておき、その単語の分散表現を時期間で近づけるように訓練させた線形回帰モデ
ルを用いる。意味の変遷を調べる対象語についても、意味の変化が自明な単語が例に挙がることが多く、網羅的な分析は行われていない。
そこで、我々はまず従来の Levy ら [3] による共起
1 https://books.google.com/ngrams2 https://languagechange.org/events/2019-acl-lcworkshop/

2

先行研究

Kulkarni ら [1] は、時期毎に単語ベクトルを学習し⃗ ′ を用いて、た後で、ある単語 w の近傍ベクトル w∑⃗ ′ − w||
Λ(w, t′ → t) = argmin w′ ||Λw
⃗ 2(1)
Λで求められる行列 Λ(w, t′ → t) で単語ごとの局所的な線形回帰で単語ベクトルを対応づけ、検定により単語ベクトルの変化点を検出する方法を提案した。その後

Hamilton ら [2] は、時期 t での単語ベクトルを並べた
行列 Wt をR(t) = argmin ||Wt R − Wt+1 ||2F(2)

R: RRT=1(|| ||F は行列のフロベニウスノルム) で求められる回
転行列 R で時期ごとに大域的にアラインした。各単語ベクトルの変化量について単語の頻度と、共起から計算される意味の数について回帰モデルを推定することで、意味の変化について冒頭に示した法則を得ている。
さらに Yao ら [5] は、単語ベクトルを後の式 (1) の観測値 M について、近似的なカルマンフィルタの形で
∑T
1 ∑T
λT 2
t=1 ||Mt − Wt Wt ||F + 2
t=1 ||Wt ||F2
τ ∑T+||Wt+1 − Wt ||2F (3)2 t=1― 485 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1: 行列分解としての単語ベクトルの学習. 観測値から得られる SPPMI 行列 M の特異値分解により、左特異行列 X の各行として得られる単語ベクトルは、Word2vec や GloVe で計算される単語ベクトルと数学的に等価である [3].

図 2: 提案法による時期毎の単語ベクトルの計算。X1と X2 の同じ行が、異なる時期での同じ単語の単語ベを最小にするように Wt を学習させる方法を示した。
これらのいずれも、単語ベクトル間の対応が線形モデクトルに相当し、これらは同時に最適化される。

イパーパラメータ λ, τ の設定に依存する [5] といったと M2 を縦に結合した M = [M1 ; M2 ] も同様に[] [ ][ ]M1X1 Y≃(6)
M2
X2問題がある。と行列分解することができる (図 2)。このとき X1 おルで表されるという強い仮定を置いている [1][2]、単語ベクトルの変化が一様だと仮定している [2][5]、ハ

よび X2 の対応する行が、時期 1 と時期 2 の同じ単提案手法

3語の単語ベクトルとなり、後処理による近似的な対応

これに対し、本研究では、意味の変化しない語の指づけは必要としない。式 (4) および式 (6) の計算は、定や、それによる学習後の単語ベクトルの近似的な対M = UΣVT と SVD で分解した後で、X = UΣ1/2 と応づけを必要としない手法を提案する。Levy ら [3] は、とることで行うことができる。

Word2vec [4] や GloVe [9] といった単語ベクトルの学習が、PMI(自己相互情報量) を要素とする共起行列の主成分分析と等価であることを示した。

4実験

4.1

コーパス

単語 w とその周辺に現れる文脈語 c との共起回数幅広い年代にわたるコーパスとして、国立国語研究を n(w, c), w と c それぞれの出現回数を n(w), n(c)所の『日本語歴史コーパス』[12] の一部として公開さとしたとき、単語ベクトルの学習は、Shifted Positiveれている近代雑誌コーパス3 に、「昭和・平成書き言葉PMIコーパス」として構築中の雑誌（『中央公論』『文藝春)(n(w, c)− log k, 0
M [w, c] = max logn(w)n(c)(4)

は明治 6 年 (1895 年) から平成 9 年 (1997 年) までにを要素とする (単語 × 文脈語) の行列 M を、M ≃ XY秋』）データを追加したものを用いた。コーパス全体刊行された雑誌から成るが、これを 1945 年を挟んだ(5)

戦前と戦後に二分割して調査を行った。使用したコーと特異値分解したときの X の各行に等しい (図 1)[3]。

パスの統計量を表 1 に示す。

X の列数 (および Y の行数) が単語ベクトルの次元 K4.2であり、以下本研究では K = 100 とした。式 (4) の定数 k は Word2vec の負例サンプリングにおける負例数に相当し、以下 k = 10 とした。

実験方法

まず、共起行列を作成する対象となる単語を選定するために、我々は以下の 3 つの条件を設定した。

この方法を拡張すると、時期の違う単語ベクトルを同時に計算することが可能になる。Y の各列である

表 1: 実験に用いた通時コーパスの統計量.

文脈ベクトルが変化しないとすると、時期 1 (たとえ戦前 (1895–1945)

戦後 (1945–1997)

ば明治時代) における共起行列を M1 , 時期 2 (たとえ文数

1,731,3351,828,240ば平成時代) における共起行列を M2 とすると、M1

語数

18,596,776

18,773,979

3 https://pj.ninjal.ac.jp/corpus center/cmj/woman-mag/― 486 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 意味の変化した単語と類似度. 上の段から名詞、動詞、形容詞、副詞の順.
単語余弦類似度−0.143−0.078−0.041
0.063
0.070
0.091
0.113
0.118
0.1210.127
0.140
0.140
0.162
0.224
0.241
−0.010
0.050
0.083
0.085
0.108
0.227
0.324
0.394
0.058
0.233
0.249
0.285
0.312
0.178
0.243
0.249
0.252

投入
手合い
物言い
陽性
温床
競り
奮発
生みの親
点滴
圧縮
団塊
管制
突貫
蒸発
中絶
潤う
天下る
押し上げる
色褪せる
取り組む
打ち出す
編み出す
孕む
心許ない
軟らかい
ぎこちない
味気無い
重々しい
幾許
どろどろ
遮二無二
強か

意味の変化
物理的に投げ入れる→手法、労力を導入する
勝負→連中
議論、口論→物を言う
電気的な陽性→病院の診断
苗床→悪いものが生じる原因
競うこと→競り売り
奮い立たせる→思い切ってお金を使う
子供の実親→製品の開発者
水の滴→病院での治療
物理的に小さくする→財源などの規模を小さくする
地学関係→「団塊の世代」
軍事関係→航空関係
突撃すること→「突貫工事」
水が蒸発すること→人、物が姿を消すこと
物事が途中で途絶えること→人工妊娠中絶
物理的→金銭的
天候→官僚用語
物理的→勢いがつく、官僚用語色が薄くなる→年月が経って古くなる相撲の取り組み→プロジェクトに取り組む
銃で弾を撃つ→意見を提案する
編み物→意見を提案する
子供を孕む→何かを含む
心配、落ち着かない→頼りない
物理的→人の言動
機械的→人の動作
魅力がない→儚い、哀愁漂う
物理的→人の言動量が多いさま→余命を表す
物理的に混ざり合う→思考などが混ざり合う
猛烈に→無理に量が多いさま→とても強いさま

表 3: 変化はしているが余弦類似度が高い単語：上の段から名詞、動詞、形容詞の順
単語

余弦類似度

遊撃
免許
軌道
障害
通信
教授
抱える
噛み付く
曇る
築く
乗る
固い冷たい

0.540
0.688
0.813
0.830
0.859
0.898
0.687
0.737
0.742
0.752
0.878
0.693
0.787

意味の変化
軍事用語→軍事用語、野球の守備位置
許諾、横綱免許→運転免許、ライセンス
惑星軌道、物理的→物理的、プロジェクトなど
障害物、肉体的な不自由→障害物、肉体・精神的な不自由
軍事用語→一般的な電波通信
教えること、大学教授→大学教授
物理的→厄介なもの
物理的→物理的、議論
天候→天候、表情
建築→建築、時代、体制
乗り物に乗る→乗り物、流れ、軌道に乗る
物理的→物理的、結束、義理
物理的→物理的、態度• 戦前・戦後それぞれに 20 回以上出現すること• 2 文字以下の平仮名、カタカナは除外する• 品詞が 名詞｜動詞｜形容詞 ｜副詞 のいずれかで4あること
4 ただし、形状詞 (形容動詞) は対象外とした。

上記の条件を満たした単語で共起行列を作成し、単語ベクトルを獲得した。今回、文脈語は対象語と同じ単語集合を用いた。コーパス内の各単語は MeCab に― 487 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

よって UniDic 単位で区切られており、調査対象の単の変化は比喩的拡張に当てはまり、「固い」、「冷たい」語には見出し語（語彙素）を用いた。また、共起の窓といった単語は対象の感覚上の類似性によって起こる

幅は前後 10 単語とし、学習した単語分散表現の後処共感覚による意味の変化に当てはまる [13] が、本来の理として、 All-but-the-top [11] を用いた。この理由

使われ方が今も多く用いられているため、ベクトルととして、以下の 2 つが挙げられる。

しての変化に表れなかったのだと考えられる。

• ベクトルの平均が 0 でない• 偏った方向を向いている
今回は予備実験からの考察に基づき、後処理を行う主6成分の数を 5 とした。次に、得られた単語分散表現をさせ、時期間の余弦類似度が低い単語を抽出することもとに、戦前・戦後において同じ単語の余弦類似度をで、線形変換の訓練に必要な時期間で意味の変化しな計算し、 余弦類似度の低い単語、つまり戦前から戦い単語、および意味の変遷を調べる対象語を事前に指後にかけてベクトルに変化があった単語を調査した。

定せずに単語の変遷を調査した。調査の結果より、対5おわりに本研究では、時期ごとの単語分散表現を同時に学習

象が変化する単語と対象が抽象化する単語の二種類が結果および考察よく見られ、後者の抽象化は複合動詞に起こりやすい得られた結果を表 2 に示す。表 2 は 4 つの行に分かことがわかった。

れており、それぞれ上から順に名詞、動詞、形容詞、副詞となっている。この結果より、主に 2 種類の変化

今後はこれらの情報を用いて、単語の意味の変遷における規則性を調査していきたいと考えている。

が見られていることがわかる。

• 特定の対象に用いられていた語が、別の特定の対象にも用いられるようになる• 具体的な対象に用いられていた語が、抽象的な対象にも用いられるようになる

1 つ目の変化については、表 2 における「陽性」、「温床」、「奮発」、「管制」、「突貫」、「潤う」、「天下る」、「色褪せる」、「取り組む」などがこれに当てはまると考えられる。この変化は意味の転移と呼ばれており、その単語における元々の対象と別の対象との間に役割や形状といった何らかの類似性が見られる際にこうした変化が起こる [13]。2 つ目の変化については、「投入」、「生みの親」、「蒸発」、「孕む」、「軟らかい」、「ぎこちない」、「味気無い」、「重々しい」などがこれに当てはまると考えられる。この変化は意味の抽象化や比喩的拡張と呼ばれており [13]、「打ち出す」や「編み出す」をはじめとする複合動詞に特によく見られた。
以上の結果より、時期間の余弦類似度が低い単語を抽出することで、事前に対象語を指定することなく変遷を調査することができることがわかる。
次に、意味の変化は見られたが余弦類似度が高く出ていた単語を表 3 に示す。表 3 は 3 つの行に分かれており、それぞれ上から順に名詞、動詞、形容詞となっている。得られた結果から、以下の特徴がわかる。

• 従来の意味に加え、新たな使われ方が追加された• 従来の意味は現在も変わらず用いられている
表 3 の「軌道」、「築く」、「乗る」といった単語の意味

謝辞 本研究は国立国語研究所の共同研究プロジェクト「現代語の意味の変化に対する計算的・統計力学的アプローチ」、同「通時コーパスの設計と日本語史研究の新展開」およびJSPS 科研費 19H00531，18K11456 の研究成果の一部を報告したものである。

参考文献[1] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven
Skiena. Statistically significant detection of linguistic change.
In Proc. of TheWebConf, pp. 625–635, 2015.
[2] William L. Hamilton, Jure Leskovec, Dan Jurafsky. Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change. In Proc. of ACL, pp. 1489–1501, 2016.
[3] Omer Levy and Yoav Goldberg. Neural Word Embedding asImplicit Matrix Factorization. In Advances in Neural Information Processing Systems 27, pages 2177–2185, 2014.
[4] Tomas Mikolov, Kai Chen, Greg Corrado and Jeﬀrey Dean.
Eﬃcient estimation of word representations in vector space.
In Proc. of ICLR, 2013.
[5] Zijun Yao, Yifan Sun, Weicong Ding, Nikhil Rao, Hui Xiong.
Dynamic Word Embeddings for Evolving Semantic Discovery. In Proc. of WSDM, 2018.
[6] Yang Xu and Jiasheng Zhang. Treat the Word As a Whole orLook Inside? Subword Embeddings Model Language Changeand Typology. In Proc. of LChange, pp. 136-–145, 2019.
[7] Melvin Wevers. Using Word Embeddings to Examine Gender
Bias in Dutch Newspapers, 1950-1990. In Proc. of LChange,
pp. 92—97, 2019.
[8] Richard Zimmermann. Studying Semantic Chain Shifts with
Word2Vec: FOOD>MEAT>FLESH. In Proc. of LChange,
pp. 23—28, 2019.
[9] Jeﬀrey Pennington, Richard Socher and Christopher D. Manning. GloVe: Global Vectors for Word Representation. InProc. of EMNLP, pp. 1532–1543, 2014.
[10] William L. Hamilton, Jure Leskovec and Dan Jurafsky. Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change. In Proc. of EMNLP,
pp. 2116–2121, 2016.
[11] Jiaqi Mu and Pramod Viswanath. All-but-the-Top: Simple
and Eﬀective Postprocessing for Word Representations. In
Proc. of ICLR, 2018.
[12] 国 立 国 語 研 究 所（2019）『 日 本 語 歴 史 コ ー パ ス 』ver.2019.3
https://pj.ninjal.ac.jp/corpus center/chj/[13] 沖森卓也, 木村一, 鈴木功眞, 吉田光浩. 日本語ライブラリー 語と語彙.
朝倉書店. pp. 100–105, 2012.

― 488 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.