概要

1　はじめに
ニューラル言語モデルは，系列データを処理するための汎用的な道具立てとなり，様々な言語，プログラム，画像チャンク，さらには自然言語らしくない性質をもつデータ[1]までも学習できてしまう.一方言語学では，自然言語をたらしめる特徴に関心があり，自然言語のみを受理（学習）できる必要十分な計算モデル（形式文法など）が探求されてきた。このような言語学的立場から見れば，いかなる系列データも学習できてしまうニューラル言語モデルは，自然言語そのもののモデルではないと批判される[2].しかし実際のところ,ニューラル言語モデルがどの程度，自然言語らしくない不可能言語を学習できてしまうのか，また何か工夫を施すことで可能言語のみをうまく学習する言語モデルが構築できるのかといった知見は乏しい.政1言語モデリングのしやすさによって，自然言語に存在する可能語順と存在しない不可能語順を（柔らかく）区別できるのか調査する．具体的には，類型的に高頻度な自然言語らしい語順ほど言語モデリングがしやすいことを期待する.様々な言語モデルを分析し,どの言語モデルがこの観点で望まれる性質をもつかが焦点となる.本研究では，自然言語の語順普遍に着目し，どのような言語モデルが語順普遍から逸脱したデータの学習の難しさを創発するのか探求し，構成論的な方法で語順普遍の根源に迫る．具体的には，自然言語に存在する可能語順をもつ人工言語コーパスや，そうでないコーパスをそれぞれ作成し，可能語順でのみ低いパープレキシティを示す言語モデルを探す.認知的に動機づけられている言語モデルも含め，20種類の言語モデルの学習（帰納）バイアスについて体系的に調査する.実験結果から，おおよそ全ての言語モデルにおいて，可能語順は学習しやすい傾向にあることがわかった. これは次の単語を予測しやすいという特性が自然言語の語順を形付けている可能性を示唆し,言語モデリングという枠組みが自然言語に特有な一側面を説明できることを支持している．また通常の言語モデルと認知的に動機づけられた言語モデルでは，自然言語の語順分布について異なる側面を創発することがわかった.例えば通常のTransformer言語モデルは，句横断的に主要部が左か右いずれかに偏るという調和的な語順を選好することが観察された．一方で認知的に動機づけられた言語モデルの語順選好は，語順の頻度分布全体とより相関しやすい傾向にあった．後者の知見については，自然言語の語順の設計に人間の認知的なバイアスが反映されていることの概念実証と見ることができ，計算心理言語学と言語類型論の繋がりを示唆している.
2 実験設定
2.1 自然言語における語順の偏り
本研究では,まず語順に関する6つのパラメータ（表1）を導入し，世界の言語を分類する.各パラメータは特定の種類の句における語順（枝分かれ方向）を示しておりり，例えば5は主語が述語に先行するのかを決定する.以降これらのパラメータの組み合わせをL/Rからなる6文字の系列で表し, [s S , s V , s i  , s i  , s i  , s i  , c ase]の順に語順設定を表す.例えばLRLLLRは,  VPとCaseのみ右枝分かれで,他の旬では左枝分かれとなる語順設定である．日本語の語順は完全な左枝分かれ型でありLLLLLLと表される. 図2に，自然言語における64 = 26通りの語順の類度分布を示す.  The World Atlas of Language Structures (WALS) [3]中1,616言語の情報に基づいて推定したものである．なお6つの語順パラメータ全てについて情報が付与されている言語は限られていたため，語順の頻度について単純な平滑化をしている（付録）.特定の語順，特にLLLLLLやLRRRRLといったＬとＲどちらかが支配的な調和的語順の頻度が高いことがわかる[4]. このような偏りは人間の認知バイアスに紐づくという見方もある[5].
2.2 言語モデルの語順選好
次に言語モデルの語順選好を定量化する.既存研究で作成された人工言語コーパスの集合[6]を用いる. このデータは64の人工言語コーパスlkからなり,いずれも人工的に設計した確率文脈自由文法（PCFG）で作成されており，互いに語順設定のみが異なる. 64コーパスのそれぞれはは，§2.1で定義したそれぞれの語順設定（LRLLLRなど）に対応している.それぞれのコーパスで言語モデルを訓練し，どの設定でパープレキシティ(PPL)が低くなるのかを観察する. このPPL分布をp = [PPL(LLLLLL), PPL(LLLLLR), . . , PPL(RRRRRR)]とし，自然言語における語順分布と比較する.なお，全てのコーパスは対応する文法のもとで同じ生成確率をもつため、PPLの違いはモデルの帰納バイアスによってのみ生じる.
2.3評価尺度
複数の指標を用いて，PPL分布が可能語順と不可能語順を（柔らかく）区別できているのか多角的に評価する.全体相関 PPL分布pと,各語順の類度分布f = [freq(LLLLLL), freq(LLLLLR), · · , freq(RRRRRR)]の近さを報告する.具体的には，両者の負のピアソン相関–Corr(p,f)を報告する.このスコアが高いほど語順選好の言語類型論的な妥当性が高い.以降Corrはピアソン相関を表す.部分相関部分的な相関として,  SOV (LL...), SVO (LR. . ), OVS (RL. . ), VOS (RR. . )それぞれの部分集合における相関の平均も報告する：
ここでPxYおよびfxyは, s = xかつsVP = yを満たす言語に限ったPPLおよび頻度分布である.可能語順峻別度　不可能な語順設定に対して，可能な語順設定をどれだけ選好できるのかが本研究の重要な論点である．今回用いた64語順設定の内， WALSにおいて語順設定の完全一致する言語が存在するものを可能語順Lpとし²)，それらに対して相対的に良いPPLが割り振られているのかを報告する．具体的には，可能語順の検索問題とみなし， PPLの低い順に64語順を並べ，可能語順の平均逆順位を求めた：
調和性　自然言語ではＬまたはＲのどちらかが支配的な調和的語順が好まれることを踏まえ[4]，言語モデルがそのような語順をモデリングしやすいのかを報告する：
(5)ここで， #L( )または#R( )は各語順設定におけるLまたはRの数であり，両値の最大値は枝分けれ方向がどれだけ揃っているのかを示す.例えば#L(LLLLLL)は6となる．自然言語における語順分布では，この値は0.37である.左枝分かれ選好度　モデルがどちらかの枝分かれ方向（LまたはR）を好む傾向にあるのかも合わせて報告する．具体的には以下の値を報告し，値が高いほど左枝分かれ構造が好まれることを表す：
自然言語における語順分布では0.11となり，どちらかの枝分かれ方向に対する強い選好は存在しない.
2.4 モデル
20種類の言語モデルを調査する．いずれも単方向言語モデルであり，BPEをコーパスに適用し，サプワード単位で学習されている.具体的には,まず通常の言語モデルとして，Transformer [ 7 ],  LSTM [ 8 ],単純再帰型ニューラルネットワーク(SRN) [9], N–グラム言語モデルを対象とする.代表的な大規模言語モデルとして， LLaMA2 (7B) [10]のfew-shot learningによるPPLも報告する. さらに, （1）逐次的統語的処理[11, 12] , （2）逐次統語解析戦略[13, 14] , （3）短期記憶の制限[15, 16]という３つの観点で認知的に動機づけられた言語モデルも分析対象に加える. (1）と（2）の観点から，トップダウン型（TD）と左隅型（LC)³³の再帰的ニューラルネットワーク文法（RNNGs）を用いる[19]. 4）その理論的な性質により[13],左隅型のモデルが妥当なバイアスを持つことを期待する. （3）の観点ではRNNGの（双方向） LSTMを単純再帰型ニューラルネットワークに置き換えたSRNNG，さらにボトムアップ型（BU）を含む異なる解析戦略（TD, BU, LC）の元で作成した逐次統語解析操作系列上でN–グラム言語モデル(統語N–グラム）を訓練し，短期記憶の制限された統語言語モデルとして対象に加える.なお，統語言語モデルの学習に必要な統語構造情報は，PCFGから文をサンプルする際に同時に手に入る.
3 実験設定
異なるシードを用いて5回実験を行い，各指標の平均値及び標準偏差を報告する.各試行では, 20,000文からなるコーパスを作成し，学習・開発・評価セットを8:1:1に分割して実験する．可読性のため値を100倍して報告する.結果を表2に示す.
実験結果・考察
4
言語モデリングのしやすさは語順可能性を創発する　まず，全体相関，部分相関，峻別度，調和性において，おおむね全ての言語モデルがチャンスレートよりも自然言語の分布に近い値を示している. このことは自然言語の語順が次単語予測をしやすいように設計されていることを示唆しており，言語の効率性の観点と接続できる[21 , 22] .異なる言語モデルは語順可能性の異なる側面を創発する　一方，特定の言語モデルがすべての指標で特筆した選好を示しているわけでないこともわかる．全体として， Transformerなどの通常の言語モデルは岐別度・調和性の観点で高いスコアを示し，一方認知的に動機づけられた言語モデルは語順分布との相関が全体・部分的に高いという傾向が見られる。 Transformerが最も自然言語に近い調和性スコアを示していることは，工学的な動機で設計されたモデルが言語類型論的にも尤もらしい選好を創発して
いる点で興味深い.一方全体・部分相関では，統語N–グラムが自然言語に近い語順選好を示しており，通常のN–グラム言語モデルよりも相関が向上している点から、短期記憶の削約と共に統語構造を明示的に考慮する言語モデルの優位性を示唆している.言い換えれば，可能語順は限られた短期記憶で逐次統語解析しやすいと解釈できる．短期記憶制限の優位性は，RNNGに対するSRNNGの優位性，SRNの全体・部分相関がTransformerやLSTMよりも良いことにも現れている（ただし峻別度などの観点では一部結果が逆転している).なお，統語解析戦略の違いに関して，特に統語N–グラムモデルにおいては明確な差が観察されなかった．また，RNNGに関しても解析戦略に関わらず右枝分かれ言語を好むなど，必ずしも用いた戦略の理論的な性質[13]がモデルの振る舞いに現れないことも確認された. Transformer による調和的語順の創発 Trans- formerの調和的語順への選好と，文脈内学習の成功との接続可能性について議論する．既存研究[23]では，Transformerが，同じ関数（関係）が異なる要素に繰り返し適用される文法（例えば，日本東京中国北京UAEアブダビのような国–首都関係）の推定に長けており，それが文脈内学習成功の鍵であるとしている.  Transformerがこのような文法を推定できるのであれば，LLLLLやRRRRRといった，修飾語–被修飾語あるいは被修飾語–修飾語といった同じ関係のペアが一貫した順序で繰り返し出現する傾向にある調和的な語順（食べる急いでご飯たくさん人隣のなど）の単純さに気づき，うまく言語モデリングできるのかもしれない. {S, O, V}語順分布の創発の難しさ 全体相関の値が部分相関に大きく劣ることから，言語モデルは主語・目的語・動詞の並び（s'sとsvPの設定）の自然言語らしさを創発できていない．今回用いた人工言語では，主語と目的語は同様の名詞句集合からサンプルされており，一方自然言語では情報の新旧や旬の長さなど両者に様々な非対称性が存在する[24, 25, 26]. この限界の原因がモデルにあるのか人工言語データにあるのかは，人工言語をより自然言語に近づけていくことで切り分ける必要がある.
5　おわりに
本研究では，言語学的な動機から，自然言語らしくないデータを学習できない言語モデルについて探求した．特に自然言語における語順設定の偏りに焦点を当て，自然言語で頻発する語順設定の言語をモデリングしやすい言語モデルの探索を通して，語順の偏りが生じる要因について構成論的な検証を試みた．より自然言語に近いデータを用い，自然言語の理解へ知見を還元していくことを展望としたい.謝辞本研究は、JSTさきがけJPMJPR21C2の支援を受けたものです。 [1]  Jeff Mitchell and Jeffrey Bowers.  Priorless recurrent networks learn curiously.  In Donia Scott, Nuria Bel, and Chengqing Zong, editors, Proceedings of the 28th International Conference on Computational Linguistics , pp. 5147–5158, Barcelona, Spain (Online), December 2020. International Committee on Computa- tional Linguistics. [2] N Chomsky, I Roberts, and J Watumull. Noam chomsky: The false promise of ChatGPT. NY Times , 2023. Matthew S. Dryer and Martin Haspelmath, editors. WALS Online [3] (v2020.3). Zenodo, 2013. [4] Joseph H Greenberg, et al. Some universals of grammar with par- ticular reference to the order of meaningful elements. Universals of language, Vol. 2, pp. 73–113, 1963. Jennifer Culbertson, Paul Smolensky, and Géraldine Legendre. [5] Learning biases predict a word order universal.  Cognition , Vol. 122, No. 3, pp. 306–329, March 2012. Jennifer C. White and Ryan Cotterell. Examining the inductive [6] bias of neural language models with artificial languages. In Pro- ceedings of ACL-IJCNLP 2021 , pp. 454–463, August 2021. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, [7] Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. NIPS , pp. 5998–6008, 2017. Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Mem- [8] ory.  Journal of Neural Computation, Vol. 9, No. 8, pp. 1735– 1780, 1997. Jeffrey L Elman. Finding structure in time. Cogn. Sci., Vol. 14, [9] No. 2, pp. 179–211, March 1990. [10] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Es- iobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cyn- thia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Vik- tor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, An- drew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subrama- nian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2:  Open foundation and Fine-Tuned chat models.  arXiv preprint, July 2023. [11] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A Smith. Recurrent neural network grammars. In Proceedings of NAACL 2016, pp. 199–209, June 2016. John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan R. Bren- [12] nan.  Finding Syntax in Human Encephalography with Beam Search. In Proceedings of ACL 2018 , pp. 2727–2736, 2018. [13] Philip Resnik. Left-Corner parsing and psychological plausibility. In Proceedings of COLING 1992, 1992. Hiroshi Noji and Yusuke Miyao. Left-corner transitions on depen- [14] dency parsing. In Proceedings of COLING 2014 , pp. 2140–2150, 2014. Richard Futrell, Edward Gibson, and Roger P. Levy. Lossy-Context [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] Surprisal:  An Information-Theoretic Model of Memory Effects in Sentence Processing. Journal of Cognitive Science, 2020. Tatsuki Kuribayashi, Yohei Oseki, Ana Brassard, and Kentaro Inui. Context limitations make neural language models more human- like.  In Proceedings of EMNLP 2022 , pp. 10421–10436, De- cember 2022. Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom.  LSTMs can learn Syntax- Sensitive dependencies well, but modeling structure makes them better. In Proceedings of ACL 2018 , pp. 1426–1436, July 2018. Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars.  In Proceedings of EMNLP 2021 , pp. 2964–2973, November 2021. Hiroshi Noji and Yohei Oseki.  Effective batching for recurrent neural network grammars.  In Findings of ACL-IJCNLP 2021, pp. 4340–4352, August 2021. Mitchell Stern, Daniel Fried, and Dan Klein.  Effective inference for generative neural parsing. In Proceedings of EMNLP 2017, pp. 1695–1700, September 2017. Edward Gibson, Richard Futrell, Steven P Piantadosi, Isabelle Dautriche, Kyle Mahowald, Leon Bergen, and Roger Levy. How efficiency shapes human language.  Trends Cogn. Sci., Vol. 23, No. 5, pp. 389–407, May 2019. Michael Hahn, Dan Jurafsky, and Richard Futrell.  Universals of word order reflect optimization of grammars for efficient commu- nication.  Proc. Natl. Acad. Sci. U. S. A., Vol. 117, No. 5, pp. 2347–2353, February 2020. Michael Hahn and Navin Goyal. A theory of emergent In-Context learning as implicit structure induction.  arXiv e-prints , March 2023. John A Hawkins.  A performance theory of order and con- stituency. No. 73. Cambridge University Press, 1994. Jeanette K Gundel. Universals of topic-comment structure. Stud- ies in syntactic typology , Vol. 17, No. 1, pp. 209–239, 1988. Elisabeth Verhoeven. Thematic asymmetries do matter! a corpus study of german word order. Journal of Germanic Linguistics , Vol. 27, No. 1, pp. 45–104, 2015. Matthew S. Dryer.  Order of subject and verb (v2020.3).  In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013. Matthew S. Dryer.  Order of object and verb (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013. Matthew S. Dryer. Order of adposition and noun phrase (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013. Matthew S. Dryer.  Order of adjective and noun (v2020.3).  In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013. Matthew S. Dryer.  Order of relative clause and noun (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013. Matthew S. Dryer. Position of case affixes (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Lan- guage Structures Online. Zenodo, 2013.
表3に語順分布の推定に用いたWALSデータの詳細を示す. 収録されている2,679言語のうち，少なくとも1つの関連する語順パラメータが記録されている1,616言語の統計を用いた．特定の語順パラメータの情報が欠落している場合は，記録されている他の語順情報と互換性のある語順設定候補全てに対して，1票を分割して投票した．例えば， LXLLXR (Xが欠損値)の場合，LLLLLR, LLLLRR, LRLLLR, and LRLLRRに1/4票投票した.表4に，人工言語コーパス生成時に用いた文法を記す.平均文長は11.8単語であり,統語構造の平均的な深さは9.1であった．語彙には，既存研究で作成された擬似単語を使っており，合計で1,314種類の単語が用意されている.
TVerb Past P CCI TVerb_Pres_P CC Dict T Verb ,