# 「言語統計力学」= 言語学・自然言語処理・物理学

2022 年 3 月 9 日, 言語処理学会年次大会の少し前に, TKP 東京駅セントラルカンファレン スセンターと Zoom のハイブリッドで，「現代語の意味の変化に対する計算的・統計力学的アプ ローチ」シンポジウムを開催しました。

このシンポジウムは同名の研究プロジェクトのまとめとして開催したもので, 184 人の参加登録と, 現地からの講演に加え, オンラインでは $100 \sim 120$ 名の多数のご参加をいただきました.関連した招待講演も含め, シンポジウムのページで現在も発表資料を公開しています1. 本稿で はこの研究プロジェクトの由来と, 研究を通して得られた知見について, 言語処理学会の皆様 に紹介したいと思います。
## 1 プロジェクトの始まり

この共同研究は，国立国語研究所の公募する「新領域創出型共同研究プロジェクト」に採択されたものですが，当初は予算のサポートのある研究ではなく，まったくインフォーマルに始まったものでした。代表者の持橋が 2018 年ごろ，知り合いの SNS での会話をきっかけに，言葉の意味の変化はそれぞれの言語使用者が周りに合わせて使い方を確率的に変えることで，物理学でいうイジングモデル (MacKay 2003, 31 章) のようなことが起きており，一種の相転移として意味の変化をとらえられるのではないか，と考えたのが始まりでした.

統数研は定員が少ないため，特に研究テーマを振れる学生もいないことから，Twitterでこうした研究をしたい人はいませんかと募集したところ，すぐに何人かの方から応募がありました. そこで，都立大の修士の竹中さんおよび，これまで関連のある研究 (Takamura et al. 2005) をしてきた東工大／産総研の高村氏と国語研の小木曽氏，竹中さんの指導教員である小町氏などで研究を始めました，何回か集まって検討するうち，小木曽氏から国語研究所の「新領域創出型共同研究」に出してみてはどうかという提案があり，意外にも高倍率でしたが，幸いなことに採択していただけて，3年間の研究プロジェクトを続けることができました.

竹中氏は会社の仕事が忙しくなったこともあり, 学生は当時長岡技科大の学部 4 年生だった
^{1}$ https://www.ism.ac.jp/ daichi/workshop/2022-lchange/
}
相田さんと, その後で小町研に入学した修士 1 年の井上さんに引き継がれて現在に至っています. 現在も研究は続けていますので，興味のある方は持橋までご連絡ください，また，この話題は統計力学と非常に関係が深いことから, 申請にあたり自然言語処理だけでなく, 統計力学を専門とする統数研の坂田綾香氏，および小山慎介氏にも加わっていただいたことが特徴です。 こうして，主に統計力学チームとデー夕解析チームに分かれて研究を進め，ときおり全体ミ一ティングを行って進渉を共有していきました.

## 2 統計力学と自然言語処理

検討を始めて最初に気がついたのは，こうした，言語変化を抽象的に扱う理論的な研究は，言語学でも自然言語処理でもなく, 物理学で行われているということでした. Physical Reviewのような物理のジャーナルに興味染い研究が多数あり, 言語学で知られていた「言語変化は $\mathrm{S}$ 字カーブで進行する」という事実 (横山, 真田 2007) は, Bass モデルという形の微分方程式によって, すでに理論的な説明が得られていました (Ghanbarnejad et al. 2014). こうした研究を主に筆者が追い，統計力学チームと共有する中で，近似マスター方程式を使った解析や分岐過程による感染のモデル化の論文 (Keating et al. 2022, Physical Review E) にまでたどり着き，言語変化の理論的な側面について，ほぼ最前線に近いところに達したと判断することができました。

ここで実験が行えるとよかったのですが，残念なことに，これまでの物理学や言語学での言語変化のモデル化は, 綴りの変化や動詞の活用の変化といった, 客観的に変化がすぐ見えるデー 夕を対象にしていました，しかし，「意味」の変化は直接それ自体が目に見えるものではありません，そこで，まずは統計的分析により，意味の変化をコーパスから統計的に取り出さなければなりません，そんなわけで，後半から現在に至り，データ解析としての研究をプロジェクトでは主に進める結果になりました。

とはいえ，言語変化について，微分方程式を使ったモデル化でここまで数理モデルができていること，そしてそれが，言語学者にも自然言語処理の研究者にもほとんど知られていないことは驚きで，かつ，サイエンスとしての可能性を感じた出来事でした。こうした研究には，当然ながら深層学習のツールキットが使えるだけでは無理で，物理的な知識がどうしても必要になります，現在の自然言語処理にはそうした分析が相当に欠けており，今後，物理出身の方゙を中心に，よりNLP が深まるとよいのではと筆者は考えています.


## 3 言語変化の研究

言語変化については多くの研究がありますが，言語学の視点からみて最も欠けていると思えたのは,「どんな単語が意味変化するのか」という網羅的な研究が少なく, 自然言語処理でも apple や gay といった代表的な単語の例たけで説明されていることでした. 単語べクトルを使って網羅的に意味変化した単語を求めるには, 違った時期の単語べクトルを対応づける必要があります. Hamilton (2016) はこの対応を線形変換で求めていたため, 制約が大きいと考えられました. そこで，単語べクトルは共起関係の PMI （自己相互情報量）行列の行列分解と数学的に等価だという研究 (Levy and Goldberg 2014) を踏まえ, 二つの時期の共起行列の行列分解を同時に行うことで対応づけを不要にする方法を相田さんを中心に研究し, この研究は言語処理学会での発表 (相田他 2021)を経て, PACLIC 2021 に採択されました (Aida et al. 2021).

国語研の小木曽氏を通じて日本語学の研究集会でも発表を行う中で, 言語学の立場からは,単に意味変化の大小だけでなく, 単語の意味がどう変わったのか, 何が変わったのかを知りたいという要望が大きいことがわかりました. このためにはニューラル手法よりも，異なる「語義」を潜在変数として明示的にモデル化するトピックモデルのような統計モデルが適しています. 動的なトピックモデルによって, 単語の変化する意味を追跡する SCAN というモデルが存在していましたが (Frermann and Lapata 2016), これは事前にトピック数, すなわち語義の数を指定する必要があるものでした．語義の数はほとんどの場合，事前にはわかりません．また指定する語義の数によって，語義が重複したり，本来は別の語義が同じトピックにまとめられてしまう可能性があります。そこで，ノンパラメトリックベイズ法によって，SCAN で変化する語義の数もデータから自動的に推定する統計モデル, Infinite SCANを開発しました（図 1）. SCAN はガウス分布のマルコフ確率場でモデル化されているため, この上で無限次元を表現できるロジスティック棒折り過程 (Ren et al. 2011)を利用しているのが特徴です. 複雑な計算が必要ですが, 担当した井上さんの頑張りによりモデルは完成し, 言語処理学会での発表 (井上他 2022)を経て, 現在は国際会議での発表を準備しています.

これらの研究には, 英語については COHA (Corpus of Historical American English)という 1820-2019 年の 4.7 億語のコーパスを用いています. 日本語にはこうした通時コーパスがこれまでなかったため, 研究には国立国語研究所で作成している近現代雑誌通時コーパス (近藤他 2022)を使っています.これは，1874-2013年の間の『太陽』『中央公論』『文藝春秋』といった雑誌の記事を約 8 年おきに収録したもので，約 4 千万語のコーパスとなっています. プロジェクトではこの国語研通時コーパスを用いた他の研究も行っており, 今後は日本語学や, 国語辞典の編纂を統計的にサポートするなどの応用が期待できます.

言語変化の研究は NLP の中でも注目度が高く, 競争が激しい領域ですが, その中で技術的に着実な成果を上げられたと考えています。現在は単語べクトルの空間の中で, どのような特徴

(a) "coach"

(b) "power"

図 1 Infinite SCAN (上段) およびSCAN（下段）による COHAコーパスからの意味変化の推定結果.各トピックが 1 つの語義を表しており，語義数を事前に固定する必要のあるSCAN に比べて，提案法ではそれぞれの単語の（変化する）語義の数が自動的に学習されています. 図の下部は各トピックの上位語で，SCAN では一部のトピックのみを表示しています。

をもつ単語が意味変化しやすいのかについて検討しています。また統計力学的分析のためには，時系列に即した網羅的なデータ化が必要で，潜在空間においてカルマンフィルタを考えることを次に予定しています。

## 4 まとめ

「言語統計力学」の国語研共同研究プロジェクトは, 自然言語処理, 言語学・国語学, 統計物理学の共同研究プロジェクトでした，研究はまだ終わっていませんが，言葉の変化の問題は言語学において普遍的な問題です。かつ，意味的な変化は表立って見えるものではないため，自然言語処理の技術が必ず必要になる研究であるといえるでしょう．言語学者が言語処理学会に来なくなった，と言われて久しくなりますが，言語学の若手には自然言語処理を学習しようとする動きが大きくあるようで，自然言語処理の側でも，そうした方々と協力して次の時代の言語学を作っていく必要があるのではないかと筆者は考えています.

## 謝 辞

この研究は, 国立国語研究所の新領域創出型共同研究「現代語の意味の変化に対する計算的・統計力学的アプローチ」として行われました.メンバーの皆様, およびシンポジウムに参加いただいた皆様に感謝申し上げます.

## 参考文献

Aida, T., Komachi, M., Ogiso, T., Takamura, H., and Mochihashi, D. (2021). "A Comprehensive Analysis of PMI-based Models for Measuring Semantic Differences." In PACLIC 2021, pp. 21-31.

相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地 (2021). 通時的な単語の意味変化を捉える単語分散表現の同時学習. 言語処理学会第 27 回年次大会発表論文集, pp. 712-717. [T. Aida et al. (2021). Tsujiteki na Tango no Imihenka wo Toraeru Tango Bunsan Hyogen no Doji Gakushu. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 712-717.].

Frermann, L. and Lapata, M. (2016). "A Bayesian Model of Diachronic Meaning Change." Transactions of the Association for Computational Linguistics, 4, p. 31-45.

Ghanbarnejad, F., Gerlach, M., Miotto, J. M., and Altmann, E. G. (2014). "Extracting Information from S-curves of Language Change." Journal of the Royal Society Interface, 11.

井上誠一, 小町守, 小木曽智信, 高村大也, 持橋大地 (2022). ガウス確率場による単語の意味変化と語義数の同時推定. 言語処理学会第 28 回年次大会発表論文集, pp. 1787-1792. [S. Inoue et al. (2022). Gausu Kakuritsuba niyoru Tango no Imi Henka to Gogisu no Doji Suitei. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1787-1792.].

Keating, L. A., Gleeson, J. P., and O’Sullivan, D. J. P. (2022). "Multitype Branching Process Method for Modeling Complex Contagion on Clustered Networks." Physical Review E, 105 (3) 034306.

近藤明日子, 相田太一, 小木曽智信 (2022). 近現代雑誌通時コーパスの語彙統計情報の公開. 言語処理学会第 28 回年次大会発表論文集, pp. 1695-1698. [A. Kondo et al. (2022). Kingendai Zasshi Tsuji Kopasu no Goi Tokei Joho no Kokai. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1695-1698.].

Levy, O. and Goldberg, Y. (2014). "Neural Word Embedding as Implicit Matrix Factorization." In Advances in Neural Information Processing Systems 27, pp. 2177-2185.

MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.

Ren, L., Du, L., Carin, L., and Dunson, D. B. (2011). "Logistic Stick-Breaking Process." Journal of Machine Learning Research, 12, pp. 203-239.

Takamura, H., Inui, T., and Okumura, M. (2005). "Extracting Semantic Orientations of Words using Spin Model." In Proceedings of ACL 2005, pp. 133-140.

横山詔一, 真田治子 (2007). 多変量 S 字カーブによる言語変化の解析. 計量国語学, 26 (3), pp. 79-93. [S. Yokoyama and H. Sanada (2007). Multiple Logistic Regression Analysis for Formulating a Change in Language. Mathematical Linguistics, 26(3), pp. 79-83.].

## 略歴

持橋大地：1998 年東京大学教養学部基礎科学科第二卒業. 2005 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (理学). ATR 音声言語コミュニケーション研究所研修研究員／専任研究員, NTTコミュニケーション科学基礎研究所リサーチアソシエイト／リサーチスペシャリスト各研究員を経て，2011 年より情報・システム研究機構統計数理研究所准教授. 専門は自然言語処理および機械学習。 2015 年より, 日本学術振興会学術情報分析センター分析研究員を兼務.

小木曽智信：1995 年東京大学文学部日本語日本文学 (国語学) 専修課程卒. 1997 年同大学院人文社会系研究科日本文化研究専攻修士課程修了. 2001 年同博士課程中途退学. 2014 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学). 明海大学講師, 独立行政法人国立国語研究所研究員等を経て, 2016 年より人間文化研究機構国立国語研究所教授.コーパスと自然言語処理技術を応用した日本語の歴史研究に関心がある。

高村大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学にて研究) .2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学）. 2003 年から 2010 年まで東京工業大学精密工学研究所助教。2006 年にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授。2017 年から 2021 年 3 月まで同教授. 2017 年より産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長. 計算言語学、自然言語処理を専門とし、特に機械学習の応用に興味を持つ.

小町守: 2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年奈良先端科学技術大
学院大学情報科学研究科修了. 博士 (工学). 同年より同研究科助教を経て, 2013 年より首都大学東京 (現東京都立大学) システムデザイン学部准教授. 2022 年より同教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある。