LongContextへの対応に向けたマルチスケール状態空間モデル

現在の大規模言語モデルの多くに使用されている注意機構は入力の長さに対して2乗に比例する計算量を持つ．これを改善するための有望なアプローチの一つとして，状態空間モデルを基にしたMambaがある．しかしながら，Mambaをはじめとする状態空間モデルを基にしたアーキテクチャには，計算量の優位性を発揮できる長大な文脈に対する性能低下が著しいという欠点がある．それを補うための手法として圧縮と統合を伴うマルチスケール処理を行うTreeMambaを提案する．長大な文脈を特徴とするLongBench-Eベンチマークにおける13個のタスクのうち，いくつかのタスクにおいてTreeMambaによる性能向上が確認できた．