# どのような言語モデルが不可能な言語を学習してしまうのか？一語順普遍を例に一

栗林樹生 $\lambda$ 上田亮爪 吉田遼爪 大関洋平介
Ted Briscoe ${ }^{\lambda}$ Timothy Baldwin ${ }^{\lambda}, \lambda$
${ }^{\wedge}$ MBZUAI $介$ 東京大学 ^メルボルン大学
\{tatsuki.kuribayashi, ted.briscoe, timothy . baldwin\}@mbzuai.ac.ae
\{ueda-ryo796, yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

ニューラル言語モデルは，自然言語の範囲を超元，プログラムなど系列データ一般を処理するための基盤的な道具立てとなった。一方言語学では, 自然言語のみを受理 (学習) し, 可能言語と不可能言語を区別する計算モデル（形式言語など）が探求されており，両分野の向かう方向は異なる. そこで本研究では, 両視点から, 自然言語らしくないデータをモデリングできない言語モデルを探求することで, 自然言語の性質に迫る.今回は特に語順に焦点を当て，どのような言語モデルが，自然言語における語順普遍から逸脱した不可能語順をもつデータを学習してしまうのか調查する. 認知的に動機づけられた言語モデルが相対的に可能語順のみを学習しやすい傾向にあることなどがわかった。

## 1 はじめに

ニューラル言語モデルは，系列データを処理するための汎用的な道具立てとなり，様々な言語，プログラム, 画像チャンク, さらには自然言語らしくない性質をもつデータ [1] までも学習できてしまう。一方言語学では, 自然言語をたらしめる特徴に関心があり, 自然言語のみを受理（学習）できる必要十分な計算モデル（形式文法など）が探求されてきた.このような言語学的立場から見れば，いかなる系列データも学習できてしまうニューラル言語モデルは, 自然言語そのもののモデルではないと批判される [2]. しかし実際のところ, ニューラル言語モデルがどの程度, 自然言語らしくない不可能言語を学習できてしまうのか，また何か工夫を施すことで可能言語のみをうまく学習する言語モデルが構築できるのかといった知見は乏しい。

図 1 言語モデリングのしやすさによって, 自然言語に存在する可能語順と存在しない不可能語順を（柔らかく）区別できるのか調査する，具体的には，類型的に高頻度な自然言語らしい語順ほど言語モデリングがしやすいことを期待する。様々な言語モデルを分析し，どの言語モデルがこの観点で望まれる性質をもつかが焦点となる。

本研究では，自然言語の語順普遍に着目し，どのような言語モデルが語順普遍から逸脱したデータの学習の難しさを創発するのか探求し，構成論的な方法で語順普遍の根源に迫る，具体的には，自然言語に存在する可能語順をもつ人工言語コーパスや，そうでないコーパスをそれぞれ作成し，可能語順でのみ低いパープレキシティを示す言語モデルを探す。認知的に動機づけられている言語モデルも含め, 20 種類の言語モデルの学習 (帰納) バイアスについて体系的に調査する.

実験結果から，おおよそ全ての言語モデルにおいて, 可能語順は学習しやすい傾向にあることがわかった。これは次の単語を予測しやすいという特性が自然言語の語順を形付けている可能性を示唆し，言語モデリングという枠組みが自然言語に特有な一側面を説明できることを支持している。また通常の言語モデルと認知的に動機づけられた言語モデルで
表 1 語順パラメータと語順の例

 &  &  \\

語順設定（頻度順）

図 2 自然言語における語順設定の頻度分布

は，自然言語の語順分布について異なる側面を創発することがわかった. 例えば通常の Transformer 言語モデルは, 句横断的に主要部が左か右いずれかに偏るという調和的な語順を選好することが観察された. 一方で認知的に動機づけられた言語モデルの語順選好は，語順の頻度分布全体とより相関しやすい傾向にあった。後者の知見については，自然言語の語順の設計に人間の認知的なバイアスが反映されていることの概念実証と見ることができ，計算心理言語学と言語類型論の繋がりを示唆している.

## 2 実験設定

## 2.1 自然言語における語順の偏り

本研究では，まず語順に関する 6 つのパラメー タ（表 1）を導入し，世界の言語を分類する．各パラメータは特定の種類の句における語順（枝分かれ方向）を示しており ${ }^{1)}$, 例えば $s$ S主語が述語に先行するのかを決定する. 以降これらのパラメータの組み合わせを $\mathrm{L} / \mathrm{R}$ からなる 6 文字の系列で表し， $\left[s_{i}^{\mathbf{S}}, s_{i}^{\mathbf{V P}}, s_{i}^{\mathbf{P P}}, s_{i}^{\mathbf{N P}}, s_{i}^{\mathbf{R e l}}, s_{i}^{\text {Case }}\right]$ の順に語順設定を表す.例えばLRLLLR は，VP と Case のみ右枝分かれで，他の句では左枝分かれとなる語順設定である. 日本語の語順は完全な左枝分かれ型であり LLLLLL と表される. 図 2 に，自然言語における $64=2^{6}$ 通りの

1）主要部に対して従属部が右/左に現れる場合をR/Lとする。語順の頻度分布を示す. The World Atlas of Language Structures (WALS) [3] 中 1,616 言語の情報に基づいて推定したものである。なお 6 つ語順パラメータ全てについて情報が付与されている言語は限られていたため, 語順の頻度について単純な平滑化をしている (付録). 特定の語順, 特に LLLLLL や LRRRRL といったLとRどちらかが支配的な調和的語順の頻度が高いことがわかる [4]. このような偏りは人間の認知バイアスに紐づくという見方もある [5].

## 2.2 言語モデルの語順選好

次に言語モデルの語順選好を定量化する. 既存研究で作成された人工言語コーパスの集合 [6] を用いる。このデータは 64 の人工言語コーパス $l_{k}$ からなり，いずれも人工的に設計した確率文脈自由文法（PCFG）で作成されており，互いに語順設定のみが異なる. 64 コーパスのそれぞれは，\$2.1で定義したそれぞれの語順設定（LRLLLR など）に対応している。それぞれのコーパスで言語モデルを訓練し，どの設定でパープレキシティ （PPL）が低くなるのかを観察する。この PPL 分布を $\boldsymbol{p}=[$ PPL(LLLLLL), PPL(LLLLLR), $\cdots$, PPL(RRRRRR)] とし，自然言語における語順分布と比較する。なお，全てのコーパスは対応する文法のもとで同じ生成確率をもつため, PPL の違いはモデルの帰納バイアスによってのみ生じる.

## 2.3 評価尺度

複数の指標を用いて，PPL 分布が可能語順と不可能語順を（柔らかく）区別できているのか多角的に評価する。

全体相関 PPL 分布 $\boldsymbol{p}$ と, 各語順の頻度分布 $f=[$ freq(LLLLLL), freq(LLLLLR), $\cdots$, freq(RRRRRR) $]$ の近さを報告する．具体的には，両者の負のピアソン相関 $-\operatorname{Corr}(\boldsymbol{p}, \boldsymbol{f})$ を報告する.このスコアが高いほど語順選好の言語類型論的な妥当性が高い. 以降 Corr はピアソン相関を表す。

部分相関部分的な相関として，SOV (LL...), $\mathrm{SVO}(\mathrm{LR} \ldots), \mathrm{OVS}(\mathrm{RL} \ldots), \operatorname{VOS}(\mathrm{RR} \ldots$. それぞれの部分集合における相関の平均も報告する：

$
\begin{aligned}
& -\frac{1}{4}\left(\operatorname{Corr}\left(\boldsymbol{p}_{\mathrm{LL}}, \boldsymbol{f}_{\mathrm{LL}}\right)+\operatorname{Corr}\left(\boldsymbol{p}_{\mathrm{LR}}, \boldsymbol{f}_{\mathrm{LR}}\right)\right. \\
+ & \left.\operatorname{Corr}\left(\boldsymbol{p}_{\mathrm{RL}}, \boldsymbol{f}_{\mathrm{RL}}\right)+\operatorname{Corr}\left(\boldsymbol{p}_{\mathrm{RR}}, \boldsymbol{f}_{\mathrm{RR}}\right)\right)
\end{aligned}
$

ここで $\boldsymbol{p}_{\mathrm{XY}}$ および $\boldsymbol{f}_{\mathrm{XY}}$ は,$s^{\mathrm{S}}=\mathrm{X}$ かつ $s^{\mathbf{V P}}=\mathrm{Y}$ を満たす言語に限った PPL および頻度分布である.
可能語順峻別度不可能な語順設定に対して，可能な語順設定をどれだけ選好できるのかが本研究の重要な論点である. 今回用いた 64 語順設定の内， WALS において語順設定の完全一致する言語が存在するものを可能語順 $\mathscr{L}_{p}$ とし ${ }^{2)}$, それらに対して相対的に良い PPL が割り振られているのかを報告する. 具体的には, 可能語順の検索問題とみなし, PPL の低い順に 64 語順を並べ，可能語順の平均逆順位を求めた：

$
\frac{1}{\left|\mathscr{L}_{p}\right|} \sum_{l_{k} \in \mathscr{L}_{p}} \frac{1}{\operatorname{rank}\left(l_{k}\right)} .
$

調和性自然言語では $L$ まはRのどちらかが支配的な調和的語順が好まれることを踏まえ [4], 言語モデルがそのような語順をモデリングしやすいのかを報告する：

$
\begin{aligned}
& -\operatorname{Corr}(\boldsymbol{p}, \boldsymbol{c}), \\
& \boldsymbol{c}:=[\max (\# \mathrm{~L}(l), \# \mathrm{R}(l)) \text { for } l \text { in } L] .
\end{aligned}
$

ここで，\#L($\cdot$) または \#R($\cdot$) は各語順設定における Lまたは R の数であり，両値の最大值は枝分けれ方向がどれだけ揃っているのかを示す. 例えば \#L(LLLLLL) は 6 となる. 自然言語における語順分布では，この值は 0.37 である.

左枝分かれ選好度モデルがどちらかの枝分かれ方向（LまたはR）を好む傾向にあるのかも合わせて報告する．具体的には以下の値を報告し，値が高いほど左枝分かれ構造が好まれることを表す：

$
\begin{aligned}
& -\operatorname{Corr}(\boldsymbol{p}, \boldsymbol{b}), \\
& \boldsymbol{b}:=[\# \mathrm{H}(l) \text { for } l \text { in } L] .
\end{aligned}
$

自然言語における語順分布では 0.11 となり，どちらかの枝分かれ方向に対する強い選好は存在しない.

## 2.4 モデル

20 種類の言語モデルを調査する.いずれも単方向言語モデルであり，BPEをコーパスに適用し，サブワード単位で学習されている。具体的には，まず通常の言語モデルとして, Transformer [7], LSTM [8],単純再帰型ニューラルネットワーク (SRN) [9], N-グラム言語モデルを対象とする. 代表的な大規模言語モデルとして，LLaMA2 (7B) [10] の few-shot learning による PPL も報告する. さらに，(1) 逐次的統語

2） WALS における報告バイアスを懸念し，対応する個別言語が 1 つなどの可能性境界付近の語順を除き，対応する個別言語が 3 言語以上存在する 8 語順を可能言語とした.的処理 [11,12],（2）逐次統語解析戦略 [13,14], (3)短期記憶の制限 $[15,16]$ という 3 つの観点で認知的に動機づけられた言語モデルも分析対象に加える. （1）と（2）の観点から，トップダウン型（TD）と左隅型 $(\mathrm{LC})^{3)}$ の再帰的ニューラルネットワーク文法（RNNGs）を用いる [19]. ${ }^{4}$ その理論的な性質により [13], 左隅型のモデルが妥当なバイアスを持つことを期待する。（3）の観点では RNNG の（双方向） LSTM を単純再帰型ニューラルネットワークに置き換えたSRNNG，さらにボトムアップ型（BU）を含む異なる解析戦略（TD，BU，LC）の元で作成した逐次統語解析操作系列上で $\mathrm{N}-$ グラム言語モデル （統語 $\mathrm{N}-$ グラム）を訓練し，短期記憶の制限された統語言語モデルとして対象に加える。なお，統語言語モデルの学習に必要な統語構造情報は, PCFG から文をサンプルする際に同時に手に入る.

## 3 実験設定

異なるシードを用いて 5 回実験を行い，各指標の平均値及び標準偏差を報告する. 各試行では, 20,000 文からなるコーパスを作成し，学習・開発・評価セットを 8:1:1 亿分割して実験する。可読性のため値を 100 倍して報告する．結果を表 2 に示す。

## 4 実験結果・考察

## 言語モデリングのしやすさは語順可能性を創発す

るまず，全体相関，部分相関，峻別度, 調和性において，おおむね全ての言語モデルがチャンスレー トよりも自然言語の分布に近い値を示している.このことは自然言語の語順が次単語予測をしやすいように設計されていることを示唆しており，言語の効率性の観点と接続できる [21, 22].

## 異なる言語モデルは語順可能性の異なる側面を創発する一方，特定の言語モデルがすべての指標で 特筆した選好を示しているわけでないこともわか る. 全体として, Transformer などの通常の言語モデ ルは峻別度・調和性の観点で高いスコアを示し，一方認知的に動機づけられた言語モデルは語順分布 との相関が全体・部分的に高いという傾向が見られ る. Transformer が最も自然言語に近い調和性スコア を示していることは，工学的な動機で設計されたモ デルが言語類型論的にも尤もらしい選好を創発して

表 2 各言語モデルの語順選好. 全体相関，部分相関，峻別度における上位 3 スコアと，自然言語に最も近い 3 スコアを太字にしている。また各モデルで最も PPLが低くなった 3 語順設定も併記する。

いる点で興味深い。一方全体・部分相関では，統語 N-グラムが自然言語に近い語順選好を示しており，通常の N-グラム言語モデルよりも相関が向上している点から，短期記憶の制約と共に統語構造を明示的に考慮する言語モデルの優位性を示唆している。言い換えれば，可能語順は限られた短期記憶で逐次統語解析しやすいと解釈できる. 短期記憶制限の優位性は，RNNG に対する SRNNG の優位性，SRN の全体・部分相関が Transformer や LSTM よりも良いことにも現れている（ただし峻別度などの観点では一部結果が逆転している)。なお, 統語解析戦略の違いに関して，特に統語 $\mathrm{N}-$ グラムモデルにおいては明確な差が観察されなかった. また，RNNG に関しても解析戦略に関わらず右枝分かれ言語を好むなど，必ずしも用いた戦略の理論的な性質 [13] がモデルの振る舞いに現れないことも確認された.

Transformer による調和的語順の創発 Transformer の調和的語順への選好と, 文脈内学習の成功との接続可能性について議論する. 既存研究 [23] では, Transformer が, 同じ関数 (関係) が異なる要素に繰り返し適用される文法（例えば，日本東京中国北京UAE アブダビのような国-首都関係）の推定に長けており，それが文脈内学習成功の鍵であるとしている. Transformerがこのような文法を推定できるのであれば，LLLLLL やRRRRRR といった，修飾語-被修飾語あるいは被修飾語-修飾語といった同じ関係のペアが一貫した順序で繰り返し出現する傾向にある調和的な語順（食べる急いでご飯たくさん人隣のなど）の単純さに気づき，うまく言語モデリングできるのかもしれない.

$\{\mathbf{S}, \mathbf{O}, \mathbf{V}\}$ 語順分布の創発の難しさ全体相関の値が部分相関に大きく劣ることから，言語モデルは主語・目的語・動詞の並び $\left(s \mathbf{S}\right.$ と $s^{\mathbf{V P}}$ の設定）の自然言語らしさを創発できていない，今回用いた人工言語では，主語と目的語は同様の名詞句集合からサンプルされており，一方自然言語では情報の新旧や句の長さなど両者に様々な非対称性が存在する $[24,25,26]$. この限界の原因がモデルにあるのか人工言語データにあるのかは，人工言語をより自然言語に近づけていくことで切り分ける必要がある.

## 5 おわりに

本研究では，言語学的な動機から，自然言語らしくないデータを学習できない言語モデルについて探求した. 特に自然言語における語順設定の偏りに焦点を当て，自然言語で頻発する語順設定の言語をモデリングしやすい言語モデルの探索を通して，語順の偏りが生じる要因について構成論的な検証を試みた.より自然言語に近いデータを用い，自然言語の理解へ知見を還元していくことを展望としたい.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Jeff Mitchell and Jeffrey Bowers. Priorless recurrent networks learn curiously. In Donia Scott, Nuria Bel, and Chengqing Zong, editors, Proceedings of the 28th International Conference on Computational Linguistics, pp. 5147-5158, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[2] N Chomsky, I Roberts, and J Watumull. Noam chomsky: The false promise of ChatGPT. NY Times, 2023.

[3] Matthew S. Dryer and Martin Haspelmath, editors. WALS Online (v2020.3). Zenodo, 2013.

[4] Joseph H Greenberg, et al. Some universals of grammar with particular reference to the order of meaningful elements. Universals of language, Vol. 2, pp. 73-113, 1963.

[5] Jennifer Culbertson, Paul Smolensky, and Géraldine Legendre. Learning biases predict a word order universal. Cognition, Vol. 122, No. 3, pp. 306-329, March 2012

[6] Jennifer C. White and Ryan Cotterell. Examining the inductive bias of neural language models with artificial languages. In Proceedings of ACL-IJCNLP 2021, pp. 454-463, August 2021.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. NIPS, pp. 5998-6008, 2017.

[8] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Journal of Neural Computation, Vol. 9, No. 8, pp. 17351780, 1997.

[9] Jeffrey L Elman. Finding structure in time. Cogn. Sci., Vol. 14, No. 2, pp. 179-211, March 1990.

[10] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and Fine-Tuned chat models. arXiv preprint, July 2023.

[11] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A Smith. Recurrent neural network grammars. In Proceedings of NAACL 2016, pp. 199-209, June 2016

[12] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan R. Brennan. Finding Syntax in Human Encephalography with Beam Search. In Proceedings of ACL 2018, pp. 2727-2736, 2018

[13] Philip Resnik. Left-Corner parsing and psychological plausibility. In Proceedings of COLING 1992, 1992

[14] Hiroshi Noji and Yusuke Miyao. Left-corner transitions on dependency parsing. In Proceedings of COLING 2014, pp. 2140-2150, 2014.

[15] Richard Futrell, Edward Gibson, and Roger P. Levy. Lossy-Context
Surprisal: An Information-Theoretic Model of Memory Effects in Sentence Processing. Journal of Cognitive Science, 2020.

[16] Tatsuki Kuribayashi, Yohei Oseki, Ana Brassard, and Kentaro Inui. Context limitations make neural language models more humanlike. In Proceedings of EMNLP 2022, pp. 10421-10436, December 2022.

[17] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn SyntaxSensitive dependencies well, but modeling structure makes them better. In Proceedings of ACL 2018, pp. 1426-1436, July 2018.

[18] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars. In Proceedings of EMNLP 2021, pp. 2964-2973, November 2021.

[19] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of ACL-IJCNLP 2021, pp. 4340-4352, August 2021

[20] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of EMNLP 2017, pp. 1695-1700, September 2017.

[21] Edward Gibson, Richard Futrell, Steven P Piantadosi, Isabelle Dautriche, Kyle Mahowald, Leon Bergen, and Roger Levy. How efficiency shapes human language. Trends Cogn. Sci., Vol. 23, No. 5, pp. 389-407, May 2019.

[22] Michael Hahn, Dan Jurafsky, and Richard Futrell. Universals of word order reflect optimization of grammars for efficient communication. Proc. Natl. Acad. Sci. U. S. A., Vol. 117, No. 5, pp. 2347-2353, February 2020

[23] Michael Hahn and Navin Goyal. A theory of emergent In-Context learning as implicit structure induction. arXiv e-prints, March 2023.

[24] John A Hawkins. A performance theory of order and constituency. No. 73. Cambridge University Press, 1994.

[25] Jeanette K Gundel. Universals of topic-comment structure. Studies in syntactic typology, Vol. 17, No. 1, pp. 209-239, 1988.

[26] Elisabeth Verhoeven. Thematic asymmetries do matter! a corpus study of german word order. Journal of Germanic Linguistics, Vol. 27, No. 1, pp. 45-104, 2015.

[27] Matthew S. Dryer. Order of subject and verb (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013

[28] Matthew S. Dryer. Order of object and verb (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013.

[29] Matthew S. Dryer. Order of adposition and noun phrase (v2020.3) In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013.

[30] Matthew S. Dryer. Order of adjective and noun (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013

[31] Matthew S. Dryer. Order of relative clause and noun (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013.

[32] Matthew S. Dryer. Position of case affixes (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013.
表 3 MALS データの統計

 \\

## A 語順分布

表 3 に語順分布の推定に用いた WALS データの詳細を示す. 収録されている 2,679 言語のうち，少なくとも 1 つ関連する語順パラメータが記録されている 1,616 言語の統計を用いた. 特定の語順パラメータの情報が欠落している場合は，記録されている他の語順情報と互換性のある語順設定候補全てに対して，1 票を分割して投票した. 例えば， LXLLXR (Xが欠損値) の場合, LLLLLLR, LELLRR, LRLLLER, and LRLLRR に $1 / 4$ 票投票した.

## B 人工言語

表 4 に，人工言語コーパス生成時に用いた文法を記す。平均文長は 11.8 単語であり, 統語構造の平均的な深さは 9.1 であった. 語彙には, 既存研究で作成された擬似単語を使っており，合計で 1,314 種類の単語が用意されている.表 4 人工言語コーパス生成時に用いた文法