約などの様々な言語現象を捉えられること[9]も示近年、自然言語の文を用いて、言語モデルがどのされている。しかしながら、これらの研究では、主ような言語現象を把握できるかが盛んに検証されてにニューラル言語モデルが個別の言語現象に対している。また、形式言語を用いて、言語モデルがチョ汎化できるかが検証されるにとどまり、同種の統語ムスキー階層のどのクラスに属する言語までを認識構造を持つ言語現象を統一的に扱うという観点が欠できるのかも検証されてきている。しかしながら、けていた。そのため、統語構造の複雑さが本質的に自然言語を用いた研究では、同種の統語構造を持っどのように結果に影響しているかが不明瞭だった。た言語現象を抽象化して統一的に扱うという観点がまた、検証には実際の自然言語を用いているため、欠けていたために、語彙の影響と統語構造の影響を語彙の影響を排除できず、言語現象を統語的な複雑切り分けることが十分にできておらず、また形式言性に注目して比較することができないという方法論語を用いた研究では、終端記号の種類数が最低限の的な限界があった。場合しか扱われておらず、自然言語のように多様な一方、先行研究では、ニューラル言語モデルがど終端記号が存在する場合でも同様に認識できるのの程度統語的に複雑な「言語」を認識できるのかかという点は検討されてこなかった。そこで本研究も盛んに議論されてきている[10,11,12,13,14,15,では、自然言語を抽象化し語彙の影響を排除したモ16,17,18,19,20,21,22,23]。これらの先行研究では、デルとして多様な終端記号を持つ形式言語を考え、ニューラル言語モデルがチョムスキー階層のどのクニューラル言語モデルがこのような言語をどの程度ラスに属する形式言語までを認識できるのかが、数認識できるか実験する。理的・実験的に検証されてきており、例えば、RNNやLSTMはいくつかの文脈自由言語を認識できるこ

と[24,25,15]や、Transformerはチョムスキー階層にニューラル言語モデルはどの程度統語的に複雑うまく位置付けられないこと[17,19]などが示唆さな言語現象を捉えられるのだろうか。近年、ニューれている。しかしながら、これらの研究は、最低限ラル言語モデルの成功に伴い、その統語的評価がの数の終端記号を持つ形式言語での検証にとどまっ盛んに行われている[1,2,3,4]。これら統語的評価ており、同クラスに属する言語であっても、自然言に関する先行研究では、実際に自然言語の文を用語のように多様な終端記号を持つ場合に、ニューラいてニューラル言語モデルがどのような言語現象ル言語モデルが認識できるとは限らないという限界を把握できるのかが検証されており、例えば、こがあった。れら研究の先駆けとなったLinzenetal.(2016)[1]でそこで本研究では、自然言語を多様な終端記号をは、再帰的ニューラルネットワーク(RecurrentNeural持つ形式言語に抽象化し、語彙の影響を排除して統Network,RNN;Elman,1990[5])をベースとしたモデ語的な複雑さに注目することで、ニューラル言語ルであるLongShort-TermMemory(LSTM;Hochreiterモデルがどの程度統語的に複雑な言語現象を捉えandSchmidhuber,1997[6])言語モデルが英語におけられるのかを検証する。具体的には、英語における主語と動詞の一致を捉えられることが示されている複合語などの文法現象を𝐴𝑛𝐵𝑛型の形式言語、ドる。また、より近年では、様々なタスクで世界最高イツ語における依存関係などの文法現象をNested性能を達成しているTransformer[7]をベースとしたDependency型の形式言語、SwissGermanにおける依モデルであるGPT-2[8]言語モデルが、LSTM言語存関係などの文法現象をCrossSerialDependency型―2973―.の形式言語に抽象化し、LSTM・GPT-2言語モデルのそれぞれがこれらのうちどの程度複雑なものまで認識できるのかを検証する。検証の結果、LSTM言語モデルは𝐴𝑛𝐵𝑛型の言語現象については認識することができ、高い精度で学習の際よりも長い文字列に汎化することが可能だが、NestedDependency型やCrossSerialDependency型の形式言語はほとんど全く汎化できないことがわかった。一方GPT-2言語モデルは、いずれの言語においても、LSTMが𝐴𝑛𝐵𝑛型に対して達成したほど高い精度での汎化は不可能であった。また、いずれの言語モデル、形式言語においても、終端記号の種類を増やしていくと精度が下がる傾向が見られた。