言語処理学会 第30回年次大会 発表論文集（2024年3月）

小規模言語モデルによる統語パラメータの獲得
山田裕真

染谷大河 大関洋平
東京大学{mercury50620, taiga98-0809, oseki}@g.ecc.u-tokyo.ac.jp

概要
本研究では、言語モデルが統語パラメータを獲得できるか検証することを目的とする。統語パラメー
タとは、CoLA/BLiMP 等のベンチマークで評価される様な統語現象毎の統語能力では無く、統語現象間の相関・クラスター効果に関する統語能力であり、理論言語学において生得的に賦与されると仮定されている。具体的には、人間の言語獲得を量・質共に近似した小規模言語モデルである BabyBERTa が、冠詞の有無と 2 種類の移動の可否の間の相関・クラスター効果を説明する NP/DP パラメータを獲得できるか検証する。結果として、BabyBERTa が NP/DPパラメータを部分的に獲得できることが示され、統語パラメータが生得的に賦与される必要は無く、経験的に獲得される可能性が示唆された。

1

はじめに近年、OpenAI の GPT [1] に代表される大規模言語モデルの発展が著しく、特に Transformer [2] に基づく言語モデルは多くの下流タスクで高い性能を実現している。このように、言語を理解している様に見える言語モデルだが、内部がブラックボックスであるため、言語モデルがどれほど主述の一致などの統語能力を獲得しているのか検証する研究が活発になりつつある [3, 4]。また、様々な統語現象を包括的にまとめた CoLA (Corpus of Linguistic Acceptability) [5]や BLiMP （Benchmark of Linguistic Minimal Pairs forEnglish) [6] 等のベンチマークが構築され、言語モデルの統語能力を評価する研究が進展した。
しかしながら、これらの研究は統語現象毎の統語能力を評価しているため、記述的な評価に終始してしまっているという問題がある。例えば、ある言語モデルが統語現象 A と B に正解し、統語現象 C と・・
D に正解しない場合、なぜその様な結果になっているのか説明が得られない。従って、統語現象毎の統語能力だけでは無く、統語現象間の相関・クラスター効果に関する統語能力も評価する必要がある。
この統語現象間の相関・クラスター効果は、理論言語学において統語パラメータと呼ばれ、主に ON とOFF の 2 値を取る「スイッチ」の様なものであり、統語現象間の相関・クラスター効果を説明するものとして提案されている。これまで、統語パラメータが生得的に賦与されると仮定した上で、統語パラ・メータの値が学習できるか検証する研究は存在した・・
が [7, 8]、統語パラメータ自 体が言語モデルによって獲得できるか検証する研究は存在しない。
そこで、本研究では、言語モデルが統語パラメータを獲得できるか検証することを目的とする。具体的には、人間の言語獲得を量・質共に近似した小規模言語モデルである BabyBERTa [9] が、冠詞の有無と 2 種類の移動の可否の間の相関・クラスター効果を説明する NP/DP パラメータ [10] を獲得できるか検証する。特に、NP/DP パラメータによって説明される統語現象と、NP/DP パラメータによって説明されない一般的な統語現象（Zorro [9] に含まれる統語現象）を、言語モデルによる統語獲得が収束するタイミングに関して比較する。

2

統語パラメータ

2.1

NP/DP パラメータ

NP/DP パラメータによって説明される統語現象
は、(i) 冠詞の有無、(ii) 名詞句からの付加詞移動、(iii) 名詞句からの左枝移動の 3 つである。冠詞は、NP 言語には見られず、DP 言語には見られる。名詞句からの付加詞移動とは、名詞を後ろから修飾する前置詞などの付加詞が前方に移動する現象で、NP言語の一部で見られるが、DP 言語では認められない現象である。名詞句からの左枝移動は、名詞を修飾する前方から修飾する形容詞などが前方に移動する現象で、これも NP 言語の一部で見られるが、DP 言語では認められない現象である。これら 3 つの統語現象に対して、2,000 の正文と対応する非文― 2841 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

を作成しペアにすることで、それぞれ 2,000 ミニマルペア（4,000 文）を生成した。その際、適切なミニマルペアを自動的に生成するため、各統語現象に対するテンプレートを (1-3) の様に作成した。これ

3

実験

3.1

言語モデルと学習データ

らのテンプレートは変数を含んでおり、形態的、統本研究では、RoBERTa [12] のパラメータ数を縮小語的、意味的な制約を満たす語彙1）を挿入した。ました BabyBERTa [9] を採用した。ハイパーパラメー

た、これらのテンプレートの変数に挿入する語彙タは先行研究 [9] を踏襲し、unmasking の割合は 0、は、BabyBERTa の学習に利用するコーパスである

学習は 2,600,000 ステップまで進めた。RoBERTa とCHILDES [11] から抽出した。以上の手順で生成さBabyBERTa の比較については付録 A に示す。

れたミニマルペアの例は表 1 に示す。

学習データは、CHILDES [11] から米国英語話者の子供に向けられた発話を抽出したコーパスであ(1) 冠詞の有無
a. *{PN(NOM) or NAME} broke window .

る AO-CHILDES (Age-Ordered CHILDES) [13] を採用

b. {PN(NOM) or NAME} broke {DET} window .

した。このコーパスは、子供が 6 歳までに経験する(2) 名詞句からの付加詞移動
a. *from which {PLACE} did {PN(NOM) or NAME}{VB not with For} {NN pl} ?
b. in which {PLACE} did {PN(NOM) or NAME}{VB not with For} {NN pl} ?

(3) 名詞句からの左枝移動

3.2

評価尺度

3.2.1

正答率

言語モデルの統語能力を評価するため、文の長さ

a. *{JJ} {PN} {VBD} {NN pl} ?

や単語の頻度に影響を受ける単純な尤度では無く、

b. {PN} {VBD} {JJ} {NN pl} ?

SLOR [14] を正答率の計算に使用した。SLOR は、

表 1 NP/DP パラメータのミニマルペアの例
現象

学習データを量・質共に近似している。

文の長さや単語の頻度による影響を統制すること例文が可能なため、統語能力の評価尺度に適している。

定冠詞の有無She broke that window.
*She broke window.

SLOR は以下の様に定義される。

名詞句からの付加詞移動

In which library did thomas need keys?
*From which library did thomas need keys?

SLOR =名詞句からの左枝移動

They saw white dogs.
*White they saw dogs.

2.2

log 𝑝 𝑚 (𝜁) − log 𝑝 𝑢 (𝜁)|𝜁 |

ここで、𝑝 𝑚 (𝜁) は BabyBERTa によって推定される∏文の尤度、𝑝 𝑢 (𝜁) = 𝑤 ∈ 𝜁 𝑝 𝑢 (𝑤) はユニグラム言語モデルによって推定される文の尤度、|𝜁 | は文の長さ一般的な統語現象を表す。そして、正文の SLOR が非文の SLOR より

一 般 的 な 統 語 現 象 は、BLiMP [6] を BabyBERTaの 検 証 の た め に 改 変 し た Zorro [9] を 利 用 す る。

高い場合は正解、そうでない場合は不正解として、各統語現象の正答率を計算する。

Zorro は主述の一致や否定極性項目など言語モデ
ルの統語能力を評価するためのベンチマークであ

3.2.2

収束点

り、BabyBERTa の学習に利用するコーパスである

また、言語モデルによる統語獲得の収束点を使用

CHILDES [11] にある語彙のみを用いている。これした。言語モデルによる意味獲得を検証した先行研らの統語現象は NP/DP パラメータによって説明さ

究 [15] を踏襲し、収束点は「そのステップにおいてれない一般的な統語現象であり、NP/DP パラメータ正答率が任意の閾値を超え、且つそれ以降の正答率によって説明される統語現象と、3.2.2 節で定義するの平均が閾値を超えるようなステップ数」として定統語獲得の収束点に関して比較する。

義する。本研究では閾値を 65%に設定した。2）
そして、NP/DP パラメータによって説明される統

1） PN(NOM) は主格代名詞、NAME は人物を表す固有名詞、DET は指示代名詞を含む冠詞、PLACE は場所を表す名詞、VB not with For は ‘for’ と共起しない動詞（‘for’ 句が動詞補部ではなく付加詞であることを保証する）、NN pl は複数名詞、JJ は形容詞、VBD は過去動詞を意味する。

語現象 A の収束点が、NP/DP パラメータによって説明されない一般的な統語現象 B の収束点と比べて、
2） 閾値は最終ステップの正答率の平均を参考に設定した。

― 2842 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

NP/DP パラメータによって説明される別の統語現象関する正答率が、比較的「近い」収束点を持っていC の収束点に近いということを示すため、ウェルチるという結果は、モデルが学習において NP/DP パの 𝑡 検定を利用した。この統計分析のため、言語モラメータで説明される現象間のクラスター効果を示

デルは 10 個のシードで学習・評価した。

したといえる。この結果は、その背後にある NP/DP4

パラメータ自体とその値を獲得したということを示

結果唆する。さらにこの示唆からは、こうした統語パラ

NP/DP パラメータによって説明される統語現象おメータが生得的でないという示唆を与える。

よび一般的な統語現象 (Zorro) の学習曲線を、それ一方、名詞句からの付加詞移動が「収束」しなぞれ図 1 および図 2 に示す。横の破線は閾値、縦のかった原因としては、NP/DP パラメータが獲得され破線は収束点をそれぞれ表す。まず、正答率に関しなかった可能性だけでなく、モデルにおいて NP/DPては、平均が 70%を超え、NP/DP パラメータによっパラメータは獲得されたが動詞とコロケーションをて説明される統語現象 2 つおよび一般的な統語現象

作る／作らない前置詞の知識が欠落していた可能性

14 つ、計 16 現象が閾値である 65%を超えた。特に、も考えられる。

NP/DP パラメータによって説明される統語現象に関しては、名詞句からの左枝移動は正答率が約 80%とまた、名詞句からの左枝移動についても学習が安定しているわけではない。これも、NP/DP パラメーなり、先行研究 [16] と一貫する結果が得られた。まタではない要素（これらの 2 現象についていえば、た、冠詞の有無は正答率が約 100%となった一方で、理論言語学において、反局所性やフェーズ不可侵条名詞句からの付加詞移動はほとんど学習が進まな件 [10, 17] といった性質が知られている）が獲得さかった。

れなかったことで、名詞句からの左枝抽出が適切にまた、収束点に関しては、正答率と同様、NP/DP学習されなかった可能性がある。

パラメータによって説明される統語現象 2 つおよび冠詞の有無および名詞句からの左枝移動に関する一般的な統語現象 14 つ、計 16 現象が 3.2.2 節の定正答率が比較的早い段階で「収束」している点は、義で収束した。特に、NP/DP パラメータによって説ヒトの言語獲得の傾向と一致しない。ヒトの言語獲明される現象に関しては、名詞句からの付加詞移動得においては、冠詞の獲得は 4 歳前後であると言わは収束しなかった一方で、冠詞の有無および名詞句れており、これは言語獲得の時期としては比較的からの左枝移動は収束し、冠詞の有無と名詞句から遅めである [18, 19]。ただし、この結果自体がモデの左枝移動の収束点の差は統計的に有意では無かっ

ルがヒトの言語獲得の順序に従っていないことはた （𝑡 = 1.80, 𝑝 = 0.10）。一方、一般的な統語現象に関しては、冠詞の有無の収束点との差および名詞句

NP/DP パラメータの獲得の反証にはならない。

からの左枝移動の収束点との差の両方が統計的に有名詞句からの左枝移動などのいくつかの現象において、正答率が途中で一度大きく落ちている点は、意（𝑝 < 0.05）であったものは、収束した 14 つの統明確な説明が得られなかった。これらの現象につい語現象のうち 10 現象であった。ては、理論言語学の観点から新たな共通性の提案が従って、NP/DP パラメータによって説明される統待たれる。

語現象のうち、収束した 2 つの統語現象は収束点がこれらの考察から、BabyBERTa が学習において比較的「近い」一方で、これら 2 つの統語現象と一NP/DP パラメータによるクラスター効果を見せたこ

般的な統語現象は収束点が比較的「遠い」と結論とから、NP/DP パラメータを部分的に学習できるこ付けることが出来る。統計分析の詳細は付録 B にとが示された。したがってヒトにおいては統語パラ示す。

メータが生得的に賦与される必要は無く、経験的に5獲得される可能性が示唆された。一方、明確な結論考察を導くためには、更なる検証が必要である。

以上の結果から、言語モデルが NP/DP パラメータおわりにを部分的に獲得できることが示された。一方、この6示唆を必ずしも支持しない結果や、言語獲得のモデルとして子供の言語獲得との差分がみられた。

本研究では、言語モデルが統語パラメータを獲得できるか検証することを目的とした。具体的には、

まず、冠詞の有無および名詞句からの左枝移動に人間の言語獲得を量・質共に近似した小規模言語モ― 2843 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1 NP/DP パラメータによって説明される統語現象の学習曲線

図 2 一般的な統語現象の学習曲線

デルである BabyBERTa [9] が、冠詞の有無と 2 種類対象として実験を行ったが、日本語のような NP 言の移動の可否の間の相関・クラスター効果を説明す語についても訓練データとして利用することで、本る NP/DP パラメータ [10] を獲得できるか検証した。

研究のより深い検証が可能だと考えられる。また、

特に、NP/DP パラメータによって説明される統語現モデルについても、本研究で利用した BabyBERTa

象と、NP/DP パラメータによって説明されない一般のような小規模言語モデルだけでなく、近年特に人的な統語現象（Zorro [9] に含まれる統語現象）を、間並みの性能を発揮している GPT [1] をはじめとす言語モデルによる統語獲得が収束するタイミングにる大規模言語モデルによる検証を行うことで、言語関して比較した。結果として、BabyBERTa が NP/DP

モデルの言語理解に関して更なる洞察が得られるとパラメータを部分的に獲得できることが示され、統考えられる。こうした方向性については、今後の研語パラメータが生得的に賦与される必要は無く、経験的に獲得される可能性が示唆された。

究の課題としたい。

本研究では、AO-CHILDES のような特定のコーパスが利用可能であった、DP 言語である英語のみを― 2844 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

参考文献
[1]

Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya
Sutskever, et al. Improving language understanding bygenerative pre-training. 2018.
[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, JakobUszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser,and Illia Polosukhin. Attention Is All You Need. June
2017. arXiv: 1706.03762.
[3] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521–535, 2016.
[4] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Ellen Riloﬀ, David Chiang,
Julia Hockenmaier, and Jun’ichi Tsujii, editors, Proceed-[14] Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cognitive Science,Vol. 41, No. 5, pp. 1202–1241, 2017.
[15] Shane Steinert-Threlkeld and Jakub Szymanik. Learnability and semantic universals. Semantics and Pragmatics,Vol. 12, pp. 4:1–39, November 2019.
[16] Ethan Gotlieb Wilcox, Richard Futrell, and Roger Levy.
Using Computational Models to Test Syntactic Learnability. Linguistic Inquiry, pp. 1–44, 04 2023.
[17] Željko Bošković. On NPs and clauses. Discourse andgrammar: From sentence types to lexical categories,
Vol. 179, p. 245, 2012.
[18] Don Nilsen and Roger Brown. A ﬁrst language: The earlystages. The Modern Language Journal, Vol. 58, p. 268,
09 1974.
[19] David A. Warden. The inﬂuence of context on children’s
use of identifying expressions and references. British
Journal of Psychology, Vol. 67, No. 1, pp. 101–112,1976.

ings of the 2018 Conference on Empirical Methods in
Natural Language Processing, pp. 1192–1202, Brus-sels, Belgium, October-November 2018. Association for
Computational Linguistics.
[5] Alex Warstadt, Amanpreet Singh, and Samuel R. Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625–641, 2019.

[6]

[7]
[8]

[9]

[10]
[11]

[12]

[13]

Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: The Benchmark of Linguistic Minimal Pairsfor English. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377–392, 07 2020.
Charles D Yang. Knowledge and learning in naturallanguage. Oxford University Press, USA, 2002.
William Gregory Sakas and Janet Dean Fodor. Disambiguating syntactic triggers. Language Acquisition,
Vol. 19, No. 2, pp. 83–143, 2012.
Philip A Huebner, Elior Sulem, Cynthia Fisher, and Dan
Roth. BabyBERTa: Learning More Grammar With SmallScale Child-Directed Language. Technical report, 2021.
Željko Bošković. What will you have, dp or np? In
Proceedings-Nels, Vol. 37, p. 101, 2008.
Brian MacWhinney. The CHILDES Project: Tools foranalyzing talk. transcription format and programs,Vol. 1. Psychology Press, 2000.
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach, July 2019.
arXiv:1907.11692 [cs].
Philip A. Huebner and Jon A. Willits. Using lexical context to discover the noun category: Younger children
have it easier, pp. 279–331. Psychology of Learning andMotivation - Advances in Research and Theory. AcademicPress Inc., United States, January 2021. Publisher Copyright: © 2021 Elsevier Inc.

― 2845 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

RoBERTa [12] と BabyBERTa の比較 [9]RoBERTa-base BabyBERTa
parameters

125M

5M

data size

160GB

0.02GBwords in data

30B
8K

5M

batch size
max sequence

512

16
128

epochs>40

10max step

500

260

hardware1024x V100

1x GTX1080

24hours2hours81.0

80.5

training timeaccuracyB

ウェルチの 𝑡 検定による統計分析の詳細

表 2 冠詞の有無と、その他の現象の収束点の統計的比
較。p 値が 0.05 以下になっているものは、その現象と冠詞の有無に関しての収束点の差分が有意であることを示す。
現象
agreement subject verb in question with aux
agreement subject verb in simple question
agreement determiner noun between neighbors
agreement determiner noun across 1 adjectiveﬁller gap wh question object
island eﬀects coordinate structure constraint
island eﬀects adjunct island
quantiﬁers superlative
npi licensing only npi licensor
npi licensing matrix question
argument structure swapped arguments
irregular verb
binding principle acase subjective pronoun
local attractor in question with auxleft branch extraction out of a nominal phrase

t値

p値-8.1667-16.2285-9.7809-26.2794-1.9950-3.1347nan1
9.5192-0.8718-2.0990
19.6946-6.9337-32.0163
20.1129-9.4240-1.8008

7.49e-05 **2.02e-08 **1.76e-06 **9.36e-1 1**
0.07700.0118 *nan1
2.08e-08 **0.42300.08055.42e-12 **5.80e-05 **0.0006 **1.37e-11 **1.20e-05 **0.1045

表 3 名詞句からの左枝移動と、その他の現象の収束点の統計的比較。p 値が 0.05 以下になっているものは、その現象と名詞句からの左枝移動に関しての収束点の差分が有意であることを示す。
現象
agreement subject verb in question with aux
agreement subject verb in simple question
agreement determiner noun between neighbors
agreement determiner noun across 1 adjectiveﬁller gap wh question object
island eﬀects coordinate structure constraint
island eﬀects adjunct island
quantiﬁers superlative
npi licensing only npi licensor
npi licensing matrix question
argument structure swapped arguments
irregular verb
binding principle acase subjective pronoun
local attractor in question with aux
deﬁnite article deﬁnite article

t値

p値-5.5660-5.6857-2.2318-8.3275-1.1007-1.2947nan1
3.1479-0.1497-1.3882
4.2225-3.0424-13.4845
4.2066-6.31231.80088.13e-05 **7.26e-05 **0.0453 *2.86e-06 **0.29200.2124nan1
0.0115 *0.88550.20510.0022 **0.0072 **3.74e-08 **0.0023 **1.15e-05 **0.10451） 1 つのシードのみが収束したため、ウェルチの 𝑡 検定の計算に必要な自由度が計算できない。

― 2846 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).