文脈の記憶と想起を行う状態空間モデルによる状態遷移の分析

現在，自然言語処理分野ではTransformerベースの言語モデルが広く活用されているが，Transformerと同程度の性能を達成しつつより効率的に計算できるアーキテクチャの開発や分析も盛んに行われている．Transformerの主要モジュールであるAttention[1]は，文章生成時に過去に入力されたトークンに対応する中間表現を保持する必要があるため，生成時のメモリ消費量が入力トークン数に比例して増加する．この性質は長文の処理や高速な文章生成を困難にする．この課題を解決するため，推論時のメモリ消費量が入力トークン数に依存しないLinearAttentionや状態空間モデル(StateSpaceModel;SSM)などが提案され，改善が続けられている[2,3]．推論時のメモリサイズが入力長によらず一定であるMamba[4]などの言語モデルは，どのようにして入力文中の情報を記憶しているのか？MambaはSSMベースのモデルであり，本研究の主な分析対象である．SSMは，RNNと同様に，文章を1トークンずつ受け取り，記憶に対応する隠れ状態を再帰的に更新することで文脈を捉える．本研究で使用したMambaがもつSSMの隠れ状態の要素数は，SSMへの入力の16倍である．つまり，SSMは文章内の情報を16トークン分に対応する表現に圧縮しなければならない．そのため，SSMが単語間の長距離依存を捉えるためには，重要なトークンを厳選するなどのメモリ効率のよい推論を行う必要がある．本研究では，質問応答タスクを題材として，SSMが回答に必要な本文中の情報を記憶するメカニズムを分析する．本文の内容に関する質問が本文に続けて与えられる場合，SSMはまず本文の要点を記憶し，その後，質問に対応する文脈を想起することが求められる．現時点では，この記憶と想起のメカニズムを実現するためにSSMのパラメータが満たすべき条件の解明には至っていない．この原因は，多層モデルであるMambaにはSSMモジュールが複数存在し，それぞれが多様な推論を行うことで分析対象の成分が複雑化するためである．そこで，まず，記憶と想起を必要とする質問応答タスクにおいて，正答に必要不可欠なSSMをもつ層の特定を行う(§5.1)．その後，特定された層にあるSSMが本文中のどの文脈を参照しているかを観察する(§5.2)．特定された一部のSSMのパラメータの共通性に基づいて，記憶と想起を可能とするメカニズムを具体的に示すことは今後の課題とする．