チョムスキー階層とニューラル言語モデル

約などの様々な言語現象を捉えられること[9]も示近年、自然言語の文を用いて、言語モデルがどのされている。しかしながら、これらの研究では、主ような言語現象を把握できるかが盛んに検証されてにニューラル言語モデルが個別の言語現象に対している。また、形式言語を用いて、言語モデルがチョ汎化できるかが検証されるにとどまり、同種の統語ムスキー階層のどのクラスに属する言語までを認識構造を持つ言語現象を統一的に扱うという観点が欠できるのかも検証されてきている。しかしながら、けていた。そのため、統語構造の複雑さが本質的に自然言語を用いた研究では、同種の統語構造を持っどのように結果に影響しているかが不明瞭だった。た言語現象を抽象化して統一的に扱うという観点がまた、検証には実際の自然言語を用いているため、欠けていたために、語彙の影響と統語構造の影響を語彙の影響を排除できず、言語現象を統語的な複雑切り分けることが十分にできておらず、また形式言性に注目して比較することができないという方法論語を用いた研究では、終端記号の種類数が最低限の的な限界があった。場合しか扱われておらず、自然言語のように多様な一方、先行研究では、ニューラル言語モデルがど終端記号が存在する場合でも同様に認識できるのの程度統語的に複雑な「言語」を認識できるのかかという点は検討されてこなかった。そこで本研究も盛んに議論されてきている[10,11,12,13,14,15,では、自然言語を抽象化し語彙の影響を排除したモ16,17,18,19,20,21,22,23]。これらの先行研究では、デルとして多様な終端記号を持つ形式言語を考え、ニューラル言語モデルがチョムスキー階層のどのクニューラル言語モデルがこのような言語をどの程度ラスに属する形式言語までを認識できるのかが、数認識できるか実験する。理的・実験的に検証されてきており、例えば、RNNやLSTMはいくつかの文脈自由言語を認識できるこ