統語的構成や自己注意を持つ言語モデルは「人間らしい」のか？

ではRNNGの性能が損なわれることが知られてい本研究では、統語的構成と自己注意をアーキテクる[6,8]。チャに持つ/持たない言語モデルの、人間の眼球運一方で、近年の自然言語処理では、Transformer[11]動・脳波のモデリングの精度を評価することで、そがRNNを様々なタスクで上回り[12]、過去の情報れぞれの構成要素の「人間らしさ」を統一的に検証に選択的に注意できる自己注意の自己回帰に対するする。具体的には、それぞれの構成要素を持つ/持た優位性が示されている。より近年では、Transformerない4つの統語的言語モデルと、自己注意を持つ/持が、単語毎提示の読み時間や脳波に限ればRNNよたない2つの統語的教示なしベースライン言語モデりも上手く予測できること[13]から、認知モデリンルを、ﬁrstpassreadingtimeとP600振幅で評価する。グの文脈においても自己注意の「人間らしさ」が主結果、統語的構成と自己注意は共に眼球運動はよく張され始めている。これらを受け、先行研究[14]で予測するが、脳波を上手く予測するのは統語的構成は、RNNGの統語的構成とTransformerの自己注意のみであった。これは、統語的構成は間接的な認知を統合したモデルである構成注意文法(Compositionデータの説明力に留まらず人間のオンライン言語処AttentionGrammar,CAG)が提案され、人間のオフラ理における高次処理に対応するが、自己注意は高次イン容認性判断に対してRNNGやTransformerより処理とは乖離している可能性を示唆する。も高い一致率を示すことが明らかにされた。しかし、この統語的構成と自己注意を併せ持つモデル