言語処理学会 第30回年次大会 発表論文集（2024年3月）

動詞派生前置詞の文法化の定量化
永田亮 1 川崎義史 2 大谷直輝 3 高村大也 41 甲南大学 2 東京大学 3 東京外語国語大学 4 産業総合技術研究所
nagata-dprep @ ml.hyogo-u.ac.jp.

概要
動詞派生前置詞とは，動詞から派生し，前置詞のように振る舞う語句（例：following）を指す．動詞
派生前置詞が，動詞の性質を失い，前置詞の機能を果たすようになる文法化現象について様々な仮説が言語学で知られている．しかしながら，仮説検証の規模について改善が必要なことが指摘されている．
本稿では，動詞派生前置詞の文法化度を自動的に定量化する手法を提案し，大規模なコーパスを対象にして，文法化に関する三つの仮説の検証を行った．
その結果，提案手法は全ての仮説を支持する結果となった．

1

はじめに

本稿では，動詞派生前置詞の文法化に関する仮説を計算言語学的なアプローチで検証することを試みる．動詞派生前置詞とは，動詞から派生し，前置詞のように振る舞う語句を指す（例： considering，according to）．また，文法化とは，内容語が文法的な機能を果たすようになる変化のことを指す [1]．
2 節で詳細を述べるように，言語学では，動詞派生前置詞の文法化に関する様々な仮説が提案されている．主な仮説は次の 3 点に要約される：
1. 動詞派生前置詞は完全には文法化しておらず，動詞と前置詞の中間カテゴリに位置する [2, 3]
2. 文法化の度合いは連続的であり，動詞派生前置詞により異なる [2, 3, 4]
3. 文法化の度合いは，前置詞性と動詞性という二つの極性に基づいて判定可能である [3, 4]
言語学において動詞派生前置詞に関する豊富な知見があるものの，Hayashi [3] が指摘するように，分析対象の種類と事例数という点で従来研究には改善の余地がある．より頑健な理論の構築のためには，多様な事例に対して仮説の検証を行うことが重要であるが，従来研究は事例分析や内省に基づくため，分析の規模を大きくすることは容易でない．関連して，従来の文法化度の判定には一部矛盾するところもある．例えば，文献 [2] と文献 [3] では，followingに対して正反対の結論を下している．
本稿では，より頑健な理論の構築を目指して，動詞派生前置詞の文法化度を定量化する計算言語学的な手法を提案する．まず，複数の手法を吟味し，言語学の知見と最も整合する手法を明らかにする．その手法を用いて，上述の三つの仮説の検証を行う．
更に，従来研究にみられる文法化度の不一致の解消を試みる．最後に，文法化度の可視化を行い通時的変化について分析を行う．

2

関連研究

言 語 学 で は，動 詞 派 生 前 置 詞 の 文 法 化 に 関
す る 研 究 が 盛 ん に 行 わ れ て い る（例 え ば，文献 [2, 3, 4, 5, 6, 7, 8] など）．多くの研究では，質問紙法またはコーパス中の事例に対する言語学的なテストにより文法化度を定量化する．両アプローチとも，動詞派生前置詞が at や on などの典型的な前置詞の特性を満たすかどうかの判定に基づき文法化度を決定する（一部の研究では動詞の特性も考慮する）．例えば，Kortmann ら [2] は，言語学的なテストを用いて，19 種類の動詞派生前置詞を 5 段階の文法化度で分類している．また，Hayashi [3] は，前置詞の特性を満たすかどうかを問う二種類の質問紙法を用いて，37 種類の動詞派生前置詞に文法化度（0〜10 の連続値）を割り当てている．参考として，両研究における文法化度の判定結果を付録 A に示す．
このような研究により，1 節で述べた三つの仮説の提案と検証が進められているが，依然，十分でないことを Hayashi [3] が指摘している．特に，分析の規模（動詞派生前置詞の種類と事例数）を大きくすることが求められている．理想的には，大規模なコーパス中の多様な事例に対して検証を行うことが望ましい．本稿は，計算言語学的なアプローチを用いることで，そのような検証を実現する．

― 1628 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

（例：consider）は含めない最頻 200 件とする)．平均

文法化度の定量化手法

3は，同様に，200 の動詞における原型および変化形

本稿では，文脈なし単語ベクトル（具体的には，全ての単語ベクトルを考慮したものとする．

word2vec [9]）に基づいた手法と文脈付き単語ベクト

平均前置詞＆平均動詞：上述二つの指標の平均をル（BERT [10] の最終層のベクトル）に基づいた手文法化度とする．この指標は，「動詞派生前置詞は法を提案する．両手法に共通する手順として，動詞動詞性を失い，前置詞性を獲得しつつある」という派生前置詞の認識がある．構文解析器（spaCy1））を

文献 [3, 4] の考え方を反映したものになっている．

用いて，次の二つの条件を満たす単語を動詞派生前置詞とした： (1) 表層形が付録 A の表 3 または表 4

3.2

文脈付き単語ベクトルに基づいた手法に示す動詞派生前置詞と一致（大文字小文字の違い基礎となる考えは，「機能語の文脈は多様であるは無視する）；(2) 依存構造ラベルが，prep (前置詞)ため，その文脈付き単語ベクトルの方向も多様であまたは advcl (副詞節)．以降の処理用に，入力コーパ

り，もし動詞派生前置詞が文法化しているのであれ

ス中で，この条件を満たす語句にタグを付与する．

ば，同様な傾向を示すはずである」というものであ

文脈なし単語ベクトルに基づいた手法

る．この考えに基づき，文脈付き単語ベクトルの方向のばらつきを文法化度とする．

2 節で述べたように，従来研究では，対象の動詞幸いなことに，ベクトル の方向のばらつきは，3.1

派生前置詞が，前置詞の特性を持つかどうかの判定

von Mises-Fisher 分布 [11] を通じて定量化が可能でにより文法化度を決定する．本節の手法もこの考え方を踏襲するが，より直接的に定量化を行う．具体ある. この分布は，𝑑 次元の単位ベクトル x に対し()て， 𝑓 (x; 𝝁, 𝜅) ∝ exp 𝜅 𝝁T x と定義される．ここで，的には，動詞派生前置詞と前置詞との間の類似度を𝝁 (∥ 𝝁∥ = 1) と 𝜅 (𝜅 ≥ 0) は，それぞれ平均方向と集中文法化度とする．更に，Hayashi [3] に従い，動詞と度と呼ばれるパラメータである．
本 稿 で 重 要 と な る の は，集 中 度 𝜅 で あ る．vonの類似度も考慮する．
ここで，類似度をどのように定義するかが問題とMises-Fisher 分布では，単位ベクトル x は平均方向なる．本稿では，単語ベクトル間の余弦類似度を利を中心に集中度 𝜅 で等方的に分布すると考える．言

用した，次の 3 種類を提案する．

い換えれば，𝜅 は，ベクトルの方向の集中度を表し

平均前置詞：前置詞の単語ベクトルの平均を利用する．本稿では，付録 B に示す前置詞 52 種類につており，上述の考えに合致する．集中度 𝜅 の最尤推定は，近似的に，いての平均ベクトルを用いる．この前置詞の平均ベクトルと動詞派生前置詞の単語ベクトル間の余弦類似度を文法化度とする．したがって，対象とする動詞派生前置詞が平均的な前置詞にどれぐらい類似しているかで文法化度を定量化することになる．なお，複数の語からなる動詞派生前置詞については，見かけ上一単語となるように事前処理（例：according to であれば according to とする）を行う（以降の類似度でも同様である）．
平均動詞：平均前置詞のように，動詞の平均ベクトルと動詞派生前置詞の単語ベクトル間の余弦類似度を文法化度とする．ただし， 動詞との類似性は動詞性に対応するため，余弦類似度の符号を反転した値を文法化度とする．平均は，最頻 200 の動詞を対象とする．入力コーパス中に出現する動詞の原型と変化形について合算した頻度で最頻 200 の動詞を決定する（ただし，動詞派生前置詞の派生元の動詞
1） spaCy 3.5.1 (https://spacy.io/)𝜅≈𝑙 (𝑑 − 𝑙 2 ),1 − 𝑙2(1)になることが知られている [11]．ここで，𝑙 は，観測データの平均ベクトルのノルムである（𝑑 は上述の通り，ベクトルの次元である）．ただし，文脈が多様なほど文法化が進んでいると考えるので，集中度の逆数 1/𝜅 を文法化度とする．なお，文脈付き単語ベクトルは単位ベクトルとは限らないため，ノルムが 1 となるように事前に正規化しておく．

評価実験

4

文献 [2, 3] に記載された文法化度を用いて各手法の評価を行う．それぞれ，付録の表 3 と表 4 に記した動詞派生前置詞のうち，下記コーパス中で頻度が30 以上となる 16 種類と 32 種類を評価対象とした．
評価尺度はスピアマンの順位相関係数とした．
単語ベクトル取得のためのコーパスとしてCCOHA [12] を用いた．CCOHA は，1820〜2019 年― 1629 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 人手による文法化度と提案手法による文法化度との間のスピアマンの順相関係数：カッコ内の数値は 𝑝 値．

手法

Hayashi

平均前置詞

0.37 (0.03)

0.22 (0.42)

平均動詞

0.09 (0.64)-0.15 (0.58)

平均前置詞＆平均動詞

0.69 (0.1×10−6 )0.23 (0.39)

文脈付き単語ベクトル

0.14 (0.43)-0.07 (0.81)—

0.19 (0.47)

Hayashi

Kortmannの文書を収録した歴史コーパスである．本評価実験
では，2000 年代の文書を用いた（残りのコーパスは5 節での通時的考察で利用する）．
文 脈 な し 単 語 ベ ク ト ル の 取 得 に は，Gensim のword2vec2）を用いた．文脈付き単語ベクトルについ図1

Hayashi [3] および提案手法の文法化度の関係．

ることがわかる．特に，人の判定で文法化度が低いては，bert-large-uncased3）を用いた．最終層の出力動詞派生前置詞（例：facing）においてこの傾向がベクトルを単語ベクトルとした．ハイパパラメータ顕著である．文法化度が低い動詞派生前置詞は，動を含む実験設定の詳細は付録 C に示す．

詞の特性を比較的強く持っており，そのことが単語表 1 に結果を示す．参考として，人の判定同士ベクトルに反映される．そのため，平均動詞ベクト（Kortomann ら [2] と Hayashi [3]）の順位相関係数もルとの類似度を引くことで文法化度のスコアが下が示している．表 1 より，前置詞の情報に基づいた手法がより高い相関を示すことがわかる．このことる．一方で，文法化度が高い動詞派生前置詞は，動詞との類似度は低いため，文法化度のスコアは相対は，前置詞性に基づいて動詞派生前置詞の文法化が的に高いままである．

定量化できるという言語学の仮説 [2, 3] を支持する．

文脈付き単語ベクトルに基づいた手法について

ただし，Kortmann との比較においては，相関係数のは，人の判定との相関は低い．この理由として，動値が全体的に小さい．これは，Kortmann の文法化度

詞派生前置詞は完全に文法化されておらず，機能語は五段階しかなく，同順位となる動詞派生前置詞がほど文脈の多様性が高くないためということが考え多数あるためである．このことは，人同士の比較においてもみられる．同順位となるものがなくなるよられる．適切に文法化度を推定するためには，文脈うに，各カテゴリからランダムに一つの動詞派生前情報など他の情報が必要となる可能性が高い．ただ置詞を選んだ場合，平均前置詞＆平均動詞の相関係し，この手法では，前置詞や動詞など他の単語の情数は 0.7（𝑝 = 0.19）となった（Hayashi に対しては報は直接使っていないため，更なる改良を加えるこ

0.9（𝑝 = 0.04））．とで，他の単語にも適用可能な文法化度の一般的なまた，動詞の情報のみは有効ではないが，前置詞なし単語ベクトルに基づいた手法のように前置詞の尺度となる可能性もある．と組み合わせると相関が高まることも確認できる．
これは，文献 [3, 4] の「動詞派生前置詞の文法化度考察

5は，前置詞性と動詞性の両方を考慮して測られるべ

前節の評価実験により，文脈なし単語ベクトルにきである」という主張と整合する．このことをより基づいた手法が人の分析に基づいた文法化度に対し明確にするために，図 1 に，Hayashi の文法化度と平て一定の相関を示すことをみた．特に，前置詞，動均前置詞および平均前置詞＆平均動詞の文法化度を詞，それぞれの平均ベクトルを用いることが効果的散布図として表す．この図より，前置詞の情報のみであることを確認した．この手法により，動詞派生でも，ある程度の相関を示すが，動詞の情報を考慮前置詞とその事例に対して，更に幅広い文法化の分することでより適切に文法化度の調整が行われてい析が行えることが期待される．本節では，平均前置

2） Gensim 4.3.1: https://radimrehurek.com/gensim/models/word2vec.html
3） Hugging Face transformers: https://huggingface.co/docs/
transformers/model doc/bert

詞＆平均動詞（以降，本節では提案手法と省略）を用いて，三つの分析事例を示す．
まず，従来の言語学に見られる動詞派生前置詞の― 1630 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 Kortmann [2] と Hayashi [3] で文法化度の判定が異なる動詞派生前置詞と提案手法の定量化結果．

Kortmann

Hayashi

提案手法

following

26.4

5.4 ×10−2

according to

35.4

3.2 ×10−2

pending4

3.7

0.8 ×10−2

concerning4

3.7

0.2 ×10−2

except4

3.6-0.2 ×10−2

文法化度の不一致について解消を試みる．具体的には，表 2 に示した 5 種類を吟味する．同表により，

図 2 前置詞と動詞派生前置詞の文法化度の分布．

following について，Kortman ら [2] と Hayashi [3] で大きく判断が異なることがわかる．前者では文法化度が二番目に低いカテゴリに分類されている．一Predicted score

方，後者の文法化度 6.4 は，37 種類の動詞派生前置詞のうち，past，during に次いで三番目に高い値であり，最も文法化度が高い部類に属する．提案手法においても，この三種類の動詞派生前置詞についてHayashi と同一の順位付けとなった．その他の動詞派生前置詞についても，表 2 の第四カラムに示すよ
うに，提案手法は全て Hayashi の結果を支持する．
次に，1 で述べた仮説 1「動詞派生前置詞は完全には文法化しておらず，動詞と前置詞の中間カテゴリに位置する」，2「一部の動詞派生前置詞は他の動詞派生前置詞より文法化が進んでおり，文化の度合いDecadeは連続的である」の吟味を行う．そのため，前置詞の文法化度を動詞派生前置詞と共にヒストグラムと図 3 動詞派生前置詞の文法化度の通時的変化．

． 対象としたのは付録 B に示したして表す（図 2）

速されているという可能性がある．その他について52 の前置詞である．ただし，文法化度の算出の際には，当該前置詞を除いた他の前置詞についての平均は，大域的には平坦な線となっている．いずれの場合も，文法化度が（大域的に）減少することはみらベクトル（と動詞の平均ベクトル）を用いた. 図 2れない．利用可能な情報からは断定はできないが，より，動詞派生前置詞の文法化度は，前置詞に比べ文法化の一方向性 [13] に対応する可能性もある．時て低いレンジに分布することが分かる．ただし，中間的により幅広いコーパス（例：Early English Booksには前置詞と同程度以上の文法化度を示すものも存

Online4））を用いた分析など更なる調査が待たれる．

在し，文法化度が連続的であることもわかる．この
結果は，上の二つの仮説を支持する．

おわりに

6

最後に，通時的な分析の例を示す．CCOHA の文

本稿では，動詞派生前置詞の文法化度を定量化す

書を 10 年ごとに分割し，文法化度を算出した（全る手法を提案し，三つの仮説の検証を行った．評価てのサブコーパスで頻度が 30 以上となる 31 種類

実験の結果，前置詞と動詞それぞれの平均ベクトルの動詞派生前置詞を対象とした)．図 3 に， その結に基づいて定量化した文法化度は人による判定と果を年代と文法化度の関係を表すグラフとして示す（可読性のため，Hayashi の文法化度の高い順に一定の相関を示すことを確認した．更に，提案手法は，言語学で知られる三つの仮説を全て支持するこ4 グループに分割している）．図 3 から，第一のグとを報告した．最後に，提案手法を用いた文法化のループ（上部の四つの線）は，緩やかに上昇しているように見える．これら既に文法化度が高い動詞派

通時的変化に関する分析の可能性についても報告

生前置詞は，文法化の最終段階にあり，文法化が加した．
4） https://quod.lib.umich.edu/e/eebogroup/― 1631 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究の一部は JSPS 科研費 JP23K12152 により実[13] Paul J. Hopper and Elizabeth Closs Traugott. Grammaticization. Cambridge University Press, New York, secondedition, 2003.

施した．

参考文献
[1] Paul Hopper. On some Principles of Grammaticalization, pp. 17–35. John Benjamins Publishing Company,1991.
[2] Bernd Kortmann and Ekkehard König. Categorial reanalysis: The case of deverbal prepositions. Linguistics,Vol. 30, pp. 671–698, 1992.
[3] Tomoaki Hayashi. Prepositionalities of deverbal prepositions: Diﬀerences in degree of grammaticalization. Papers in Linguistic Science, Vol. 21, pp. 129–151, 2015.
[4] Teruhiko Fukaya. The Emergence of -ing Prepositions in English: A Corpus-Based Study, pp. 285–300.
Taishukan, Tokyo, 1997.
[5] Arne Olofsson. A participle caught in the act. on theprepositional use of following. Studia Neophilologica,Vol. 62, No. 1, pp. 23–35, 1990.
[6] Tomohiro Kawabata. On the development of considering: The prepositional conjunctive and adverbial usages.
Studies in Modern English (The Twentieth Anniversary Publication of the Modern English Association),pp. 138–152, 2003.
[7] Matti Rissanen. Despite or notwithstanding? On thedevelopment of concessive prepositions in English,
pp. 191–203. Gunter Narr Verlag, Germany, 2002.
[8] Jacqueline Visconti. Conditionals and subjectiﬁcation: Implications for a theory of semantic change,
pp. 169–192. John Benjamins Publishing Company, Amsterdam/Philadelphia, 2004.
[9] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado,and Jeﬀrey Dean. Distributed representations of words
and phrases and their compositionality. In Advances in
Neural Information Processing Systems 26, pp. 3111–3119, 2013.
[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-lis, Minnesota, June 2019. Association for ComputationalLinguistics.
[11] Arindam Banerjee, Inderjit S. Dhillon, Joydeep Ghosh,and Suvrit Sra. Clustering on the unit hypersphere using von Mises-Fisher distributions. Journal of Machine
Learning Research, Vol. 6, No. 46, pp. 1345–1382,2005.
[12] Reem Alatrash, Dominik Schlechtweg, Jonas Kuhn, andSabine Schulte im Walde. CCOHA: Clean corpus of historical American English. In Proc. of the 12th Language Resources and Evaluation Conference, pp.
6958–6966, 2020.

― 1632 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

付録

A

動詞派生前置詞カテゴリ
言語学で提案されている動詞派生前置詞カテゴリを示す．表 3 は，Kortmann ら [2] によるもの，表 4 は，Hayashi [3] によるものである．
表3

Kortmann ら [2] による動詞派生前置詞の文法化度：値が大きいほど文法化が進んでいる．

Level of Prepositionality

Instances1

facing, lining, preceding, succeeding

2

considering, failing, barring, following

3

according to, allowing for, owning to, notwithstanding

4during, pending, except, concerning

5past, ago, bar

表 4 Hayashi [3] による動詞派生前置詞の文法化度：値が大きいほど文法化が進んでいる．

Instance (prepositional score)
past (7.8), during (7.4), following (6.4), starting (6.0), regarding (5.8), according to (5.4),
preceding (5.3), succeeding (5.2), including (5.1), pertaining to (5.0), depending on (4.9),
owing to (4.4), related to (3.9), given (3.9), respecting (3.9), excluding (3.8), concerning (3.7),
pending (3.7), except (3.6), allowing for (3.5), lacking (3.4), barring (3.3), granting (3.3),
save (3.3), touching (3.3), confronting (3.2), notwithstanding (3.1), considering (2.8),
failing (2.7), covering (2.5), granted (2.3), wanting (2.3), saving (2.1), bar (1.9),
facing (1.5), excepting (1.4), bating (1.3)

B

対象とした前置詞
文脈なし単語ベクトルに基づいた手法で対象とした前置詞は次の通りである：aboard, about, above, across,after, against, along, amid, among, around, as, at, before, behind, below, beneath, beside, besides, between, beyond, by,despite, down, for, from, in, inside, into, like, near, of, oﬀ, on, opposite, outside, over, round, since, through, to, toward,
towards, under, underneath, unlike, until, up, upon, via, with, within, without．

C

評価実験の詳細設定
分析対象コーパス CCOHA に次のような前処理を行った．ノイズと思われる文書は除外した．具体的には，「@@年.txt」（例：@@1525.txt）のように年とファイル名と思われる文字列を含む文書は分析対象外とする．また，文書中のタグ（<P></P> など）は除去した．更に，伏字が含まれている文（CCOHA では，著作権の制限により，一定の割合で文章の一部が伏字になっている）も除外した．
文脈なし単語ベクトルの取得には，Gensim の word2vec5）を用いた．ハイパパラメータは次の通りである：；それ以外はデフォルトの値を使用．
最小頻度 5；ベクトルサイズ 200；窓幅 106）5） Gensim 4.3.1: https://radimrehurek.com/gensim/models/word2vec.html
6） この他，5 と 20 も試したところ，結論の概要は変わらなかったため本稿では 10 の結果を報告する．

― 1633 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).