Mambaの“処理時間”はヒトの読み時間と符合する

人間言語は，本来的に時間軸に沿って産出・理解される．では，流暢に人間言語を操る（単方向の）人工言語モデルの表象には，時間に対応するものが存在するのだろうか．そして，存在するとすれば，ヒトの言語使用における時間の流れとどのような関係にあるのだろうか．この問いに対して，状態空間モデル（SSM）ベースの言語モデルであるMamba[1]は興味深い観点を提供する．SSMは時間を連続的に扱うが，シンボル列を扱うSSM言語モデルはその状態遷移を離散的な時間で取り扱う．特に，通常のSSMは，一定間隔の離散化ステップに従って状態遷移を行う．一方でMambaは，離散化ステップΔ𝑡が入力に応じて動的に決まるという特徴を持つ（図1）．この設計により，Mambaは他のSSM言語モデルよりも文脈の変化に柔軟に対応することができ，複雑で非定常な構造をもつテキストデータに対して経験的に高性能な言語モデリングをおこなうことができる．ℎ(𝑡)を離散化するイメージ図．0.400.3Layer100.20.1200.0★★★★★TokenindexテップΔ𝑡を可視化した．“★”は文頭の位置を示す．本研究は，Mambaの単語単位の離散化ステップとヒトの読み時間の対応関係を示す．2節でMambaと読み時間モデリングについて概説し，Mambaの離散化ステップが単語の処理時間に概念上対応することをみたあと，3節でコーパスに基づく読み時間モデリング実験の結果を報告する．4節ではMambaにおける記憶のメカニズムの数学的検討から，ヒトの言語処理への示唆を論じる．