文脈の記憶と想起を行う状態空間モデルによる状態遷移の分析

Attentionは，文章生成時のメモリ消費量が入力トークン数に比例して増加するため，長文の処理や高速な文章生成を困難にする．この課題を解決するため，推論時のメモリサイズが入力長によらず一定である状態空間モデル(SSM)に基づいた言語モデルが提案されている．本研究は，SSMに基づく言語モデルがどのようにして入力文中の情報を記憶しているのかを分析する．分析では，記憶と想起を必要とする質問応答タスクにおいて，正答に必要不可欠なSSMをもつ層を特定して，そのSSMが本文中のどの文脈を参照しているかを観察する．記憶と想起のメカニズムの実現のためにSSMのパラメータが満たすべき条件を示すことは今後の課題とする．