チョムスキー階層とニューラル言語モデル

と[24,25,15]や、Transformerはチョムスキー階層にニューラル言語モデルはどの程度統語的に複雑うまく位置付けられないこと[17,19]などが示唆さな言語現象を捉えられるのだろうか。近年、ニューれている。しかしながら、これらの研究は、最低限ラル言語モデルの成功に伴い、その統語的評価がの数の終端記号を持つ形式言語での検証にとどまっ盛んに行われている[1,2,3,4]。これら統語的評価ており、同クラスに属する言語であっても、自然言に関する先行研究では、実際に自然言語の文を用語のように多様な終端記号を持つ場合に、ニューラいてニューラル言語モデルがどのような言語現象ル言語モデルが認識できるとは限らないという限界を把握できるのかが検証されており、例えば、こがあった。れら研究の先駆けとなったLinzenetal.(2016)[1]でそこで本研究では、自然言語を多様な終端記号をは、再帰的ニューラルネットワーク(RecurrentNeural持つ形式言語に抽象化し、語彙の影響を排除して統Network,RNN;Elman,1990[5])をベースとしたモデ語的な複雑さに注目することで、ニューラル言語ルであるLongShort-TermMemory(LSTM;Hochreiterモデルがどの程度統語的に複雑な言語現象を捉えandSchmidhuber,1997[6])言語モデルが英語におけられるのかを検証する。具体的には、英語における主語と動詞の一致を捉えられることが示されている複合語などの文法現象を𝐴𝑛𝐵𝑛型の形式言語、ドる。また、より近年では、様々なタスクで世界最高イツ語における依存関係などの文法現象をNested性能を達成しているTransformer[7]をベースとしたDependency型の形式言語、SwissGermanにおける依モデルであるGPT-2[8]言語モデルが、LSTM言語存関係などの文法現象をCrossSerialDependency型―2973―.の形式言語に抽象化し、LSTM・GPT-2言語モデルのそれぞれがこれらのうちどの程度複雑なものまで認識できるのかを検証する。検証の結果、LSTM言語モデルは𝐴𝑛𝐵𝑛型の言語現象については認識することができ、高い精度で学習の際よりも長い文字列に汎化することが可能だが、NestedDependency型やCrossSerialDependency型の形式言語はほとんど全く汎化できないことがわかった。一方GPT-2言語モデルは、いずれの言語においても、LSTMが𝐴𝑛𝐵𝑛型に対して達成したほど高い精度での汎化は不可能であった。また、いずれの言語モデル、形式言語においても、終端記号の種類を増やしていくと精度が下がる傾向が見られた。