ではRNNGの性能が損なわれることが知られてい本研究では、統語的構成と自己注意をアーキテクる[6,8]。チャに持つ/持たない言語モデルの、人間の眼球運一方で、近年の自然言語処理では、Transformer[11]動・脳波のモデリングの精度を評価することで、そがRNNを様々なタスクで上回り[12]、過去の情報れぞれの構成要素の「人間らしさ」を統一的に検証に選択的に注意できる自己注意の自己回帰に対するする。具体的には、それぞれの構成要素を持つ/持た優位性が示されている。より近年では、Transformerない4つの統語的言語モデルと、自己注意を持つ/持が、単語毎提示の読み時間や脳波に限ればRNNよたない2つの統語的教示なしベースライン言語モデりも上手く予測できること[13]から、認知モデリンルを、ﬁrstpassreadingtimeとP600振幅で評価する。グの文脈においても自己注意の「人間らしさ」が主結果、統語的構成と自己注意は共に眼球運動はよく張され始めている。これらを受け、先行研究[14]で予測するが、脳波を上手く予測するのは統語的構成は、RNNGの統語的構成とTransformerの自己注意のみであった。これは、統語的構成は間接的な認知を統合したモデルである構成注意文法(Compositionデータの説明力に留まらず人間のオンライン言語処AttentionGrammar,CAG)が提案され、人間のオフラ理における高次処理に対応するが、自己注意は高次イン容認性判断に対してRNNGやTransformerより処理とは乖離している可能性を示唆する。も高い一致率を示すことが明らかにされた。しかし、この統語的構成と自己注意を併せ持つモデル

が、人間のオンライン言語処理とも高い一致率を示近年の自然言語処理で用いられる大規模事前学すかどうかは、未だ明らかにされていない。習可能な言語モデルは、アーキテクチャ自体も「人さらに、これらの認知モデリングの先行研究で間らしい」のだろうか。これらの言語モデルは、は、RNNベースのモデルにおける統語的構成の効様々なタスクで人間を超える精度を達成している果と、統語的教示を持たないモデルにおける自己注(e.g.,[1])が、言語獲得のデータ効率の悪さなど、人意の効果が、それぞれ独立に検証されるに留まり、間との乖離もしばしば指摘されている[2]。これに統語的構成・自己注意それぞれの要素が、他方の要対比されるように、「人間らしい」アーキテクチャ素の影響を受けずに、普遍的に認知的妥当性が高いであるとして挙げられる言語モデルの代表が、再かどうか、は統一的に検証されてきていない。帰的ニューラルネットワーク文法(RecurrentNeuralそこで、本研究では、統語的構成と自己注意をNetworkGrammar,RNNG;[3])である。RNNGは、統アーキテクチャに持つ/持たない言語モデルの、人間語的教示が統合された再帰的ニューラルネットワーの眼球運動・脳波のモデリングの精度を評価するこク(RecurrentNeuralNetwork,RNN;[4])であり、そのとで、それぞれの構成要素の「人間らしさ」を統一確率的予測が、人間のオフライン言語処理を反映的に検証する。具体的には、それぞれの構成要素をする容認性判断[5,6,7]や、オンライン言語処理を持つ/持たない4つの統語的言語モデルと、自己注意反映する眼球運動・脳活動データ[8,9,10]と高いを持つ/持たない2つの統語的教示なしベースライ一致を示すことが知られている。ここで、RNNGのン言語モデルを、ﬁrstpassreadingtimeとP600振幅最大の特徴は、句構造を階層的に一つのベクトルで評価する。―674―.統語的教示なし統語的教示あり（ベースライン）統語的構成あり統語的構成なし自己注意なしLSTMActionLSTMRNNG自己注意ありTransformerPLMCAG意を持つ/持たない2つの統語的教示なしベースライン言語モデル。