Mambaの“処理時間”はヒトの読み時間と符合する

本研究は，有力な状態空間モデルであるMambaにおける単語あたりの概念上の処理時間と，ヒトの単語あたりの読み時間との間に対応があることを示す．Mambaでは，各層における再帰的な状態遷移には概念上の時間（離散化ステップΔ𝑡）がかかり，その長さは入力に応じて変化する．この離散化ステップを用いて，文章読解におけるヒトの単語あたりの読み時間を予測したところ，その予測性能はGPT-2サプライザルなどの既知の主要な変数に比肩しかつ独立に有効であった．また，Mambaのアーキテクチャの数学的分析から，異なる時間スケールで動くモジュールや，入力情報やノイズが記憶表象の変化にどう影響するかを検討できる関係式などが見つかり，Mambaがヒトの言語処理の分析に新たな視座をもたらすモデルであることが示唆された．Layer