アテンションが記憶想起の認知モデルたりうるならば、記憶の表現としては何が妥当か？

RNNやTransformerよりも人間の脳活動の説明力が「自然言語処理で用いられる言語モデルは、人間高いことが示されているし[10,11]、心理言語学に・の文処理モデルとしても妥当であるか」は、計算心おける記憶減・衰のモデリングでも、統語理論に基づ理言語学の一大トピックである。ここ10年ほど、く記憶単位の妥当性が主張されている[12]。この問いは主に「言語モデルの次単語予測は人間のこれらを踏まえると、アテンションが人間の文処予測処理のモデルとして妥当なのか」という側面か理における記憶想起一般のアルゴリズムたりうるのら取り組まれてきた（例：[1]）。具体的には、サプであれば、トークン列を表現単位としたモデルだけライザル[2,3]を橋渡し仮説とした、言語モデルのでなく、統語構造を表現単位としたモデルについて算出確率と人間の読み時間などとの対照である。しの妥当性も期待できるであろう。本研究では、統語かし、より近年、自然言語処理でのTransformer[4]構造を表現単位として扱うTransformer(Transformerの活躍を受け、新たな側面からの検証が活発になGrammar,TG)のアテンションが、人間の記憶想起のり始めている。それは、「アテンションは人間の記モデルとして妥当なのかを検証する。結果、TGの憶想起のモデルたりうるか」という側面からの検アテンションはTransformerを上回る読み時間の説証である[5,6]。ここでは、アテンションのクエ明力を達成し、アテンションの記憶想起アルゴリズリ・キーによる先行トークンの重みづけを、人間のムとしての妥当性が裏付けると共に、統語構造を表「手がかりに基づく記憶からの取り出し(cue-based現単位として想定することの重要性を示した。―1357―.