ン重みのエントロピーにより取り出しの困難さ（干近年の計算心理言語学では、アテンションの人間渉度合い）を定量化することが試みられている。の記憶想起のモデルとしての妥当性が検証されてい前述の言語モデルによる予測処理のモデリングる。しかし、Transformerのアテンションが扱う表現の多くがMarrの3つのレベル[8]における計算理・の単位はトークンであるのに対し、伝統的に計算心論のレベル付・近・に位置付けられるのに対し、アテン理言語学では人間の文処理は統語構造の構築を伴ションによる記憶想起のモデリングは、より具体的・うとされてきた。本研究では、統語構造を表現単位な表現とアルゴリズムのレベルに明・確・に位置付けらとして扱うTransformer(TransformerGrammar,TG)のれる。このレベルにおいては、アテンションというアテンションが、人間の記憶想起のモデルとして妥アルゴリズムとそれが操作の対象とする表現（つま当なのかを検証する。結果、TGのアテンションはり、トークン列）は不可分であり、その総体がモデTransformerを上回る読み時間の説明力を達成し、アリングの対象となる[9]。一方、伝統的な（計算）心テンションの記憶想起アルゴリズムとしての妥当性理言語学では、人間の文処理は線形な単語列の処理を裏付けるとともに、統語構造を表現単位として想のみには還元できず、逐次的な統語構造の構築を伴定することの重要性を示した。うことが示されてきた。例えば、予測処理のモデリングでは、統語構造を陽に構築する言語モデルは

RNNやTransformerよりも人間の脳活動の説明力が「自然言語処理で用いられる言語モデルは、人間高いことが示されているし[10,11]、心理言語学に・の文処理モデルとしても妥当であるか」は、計算心おける記憶減・衰のモデリングでも、統語理論に基づ理言語学の一大トピックである。ここ10年ほど、く記憶単位の妥当性が主張されている[12]。この問いは主に「言語モデルの次単語予測は人間のこれらを踏まえると、アテンションが人間の文処予測処理のモデルとして妥当なのか」という側面か理における記憶想起一般のアルゴリズムたりうるのら取り組まれてきた（例：[1]）。具体的には、サプであれば、トークン列を表現単位としたモデルだけライザル[2,3]を橋渡し仮説とした、言語モデルのでなく、統語構造を表現単位としたモデルについて算出確率と人間の読み時間などとの対照である。しの妥当性も期待できるであろう。本研究では、統語かし、より近年、自然言語処理でのTransformer[4]構造を表現単位として扱うTransformer(Transformerの活躍を受け、新たな側面からの検証が活発になGrammar,TG)のアテンションが、人間の記憶想起のり始めている。それは、「アテンションは人間の記モデルとして妥当なのかを検証する。結果、TGの憶想起のモデルたりうるか」という側面からの検アテンションはTransformerを上回る読み時間の説証である[5,6]。ここでは、アテンションのクエ明力を達成し、アテンションの記憶想起アルゴリズリ・キーによる先行トークンの重みづけを、人間のムとしての妥当性が裏付けると共に、統語構造を表「手がかりに基づく記憶からの取り出し(cue-based現単位として想定することの重要性を示した。―1357―.