統語的構成や自己注意を持つ言語モデルは「人間らしい」のか？

が、人間のオンライン言語処理とも高い一致率を示近年の自然言語処理で用いられる大規模事前学すかどうかは、未だ明らかにされていない。習可能な言語モデルは、アーキテクチャ自体も「人さらに、これらの認知モデリングの先行研究で間らしい」のだろうか。これらの言語モデルは、は、RNNベースのモデルにおける統語的構成の効様々なタスクで人間を超える精度を達成している果と、統語的教示を持たないモデルにおける自己注(e.g.,[1])が、言語獲得のデータ効率の悪さなど、人意の効果が、それぞれ独立に検証されるに留まり、間との乖離もしばしば指摘されている[2]。これに統語的構成・自己注意それぞれの要素が、他方の要対比されるように、「人間らしい」アーキテクチャ素の影響を受けずに、普遍的に認知的妥当性が高いであるとして挙げられる言語モデルの代表が、再かどうか、は統一的に検証されてきていない。帰的ニューラルネットワーク文法(RecurrentNeuralそこで、本研究では、統語的構成と自己注意をNetworkGrammar,RNNG;[3])である。RNNGは、統アーキテクチャに持つ/持たない言語モデルの、人間語的教示が統合された再帰的ニューラルネットワーの眼球運動・脳波のモデリングの精度を評価するこク(RecurrentNeuralNetwork,RNN;[4])であり、そのとで、それぞれの構成要素の「人間らしさ」を統一確率的予測が、人間のオフライン言語処理を反映的に検証する。具体的には、それぞれの構成要素をする容認性判断[5,6,7]や、オンライン言語処理を持つ/持たない4つの統語的言語モデルと、自己注意反映する眼球運動・脳活動データ[8,9,10]と高いを持つ/持たない2つの統語的教示なしベースライ一致を示すことが知られている。ここで、RNNGのン言語モデルを、ﬁrstpassreadingtimeとP600振幅最大の特徴は、句構造を階層的に一つのベクトルで評価する。―674―.統語的教示なし統語的教示あり（ベースライン）統語的構成あり統語的構成なし自己注意なしLSTMActionLSTMRNNG自己注意ありTransformerPLMCAG意を持つ/持たない2つの統語的教示なしベースライン言語モデル。