Flashback:深層系列処理モデルのメモリ効率化・高速化のための記憶機構

法が開発されている．これに対し，後者のアプローChatGPT[1]やStableDiﬀusion[2]をきっかけとしチはDNNアーキテクチャに記憶能力を持たせる方て「生成AI」というワードが急速に広まるとと法[10,11,15,16,17,18,19,20,21,22,23,24,25,26]もに，チャット機能[1]や画像生成[2]，プログラ（Memory-CapableNeuralNetworks，MCNN）であり，ミング支援[3]など多岐にわたるアプリケーショ各時刻の入力情報を隠れ層に保持するRecurrentンが普及し始めている．これらの多くは基盤モデNeuralNetworks（RNN）をベースとした手法や，こル[4]をベースとしたシステムで構成されており，れを発展させた，明示的に記憶領域を設ける手法文章[5,6]に限らず動画や音声など複数のモダリ（Memory-AugmentedNeuralNetworks，MANN）に大ティのデータを処理できるものが開発されてい別できる．る[7,8]．特に，ChatGPTのように自然言語を通じこのうちRNNベースの手法は，記憶領域を持つてユーザーの問題を解決する用途では，基盤モデルアーキテクチャをアプリケーションごとに開発するのアーキテクチャとして，Transformersと呼ばれる必要がない．近年では，入力の系列長に制限のないDeepNeuralNerworks（DNN）に基づく深層系列処理Sub-Quadraticな手法が注目されており，Mambaをはモデル[5,6,9]が代表的に用いられる．学習データじめとしたSSM[19,21,22,25]（StateSpaceModels）の増加に応じて処理精度が向上するTransformersのやLinearAttention機構に基づく手法[23,24,26]が目―3389―.覚ましい発展を遂げている．一方，Transformersをベースとして系列長の大きい入力に対して効率的にAttentionを計算する改良[27,28,29,30,31]が提案されている．このようなTransformersやRNNに基づく手法は，大規模なデータセットでの自己教師あり学習に対する高い処理精度のスケーラビリティから，さまざまな用途において基盤モデルのBackboneとして期待されている．しかしながら，携帯端末やロボット上でのLLMの実行，テキストに加え動画や音声を含む大容量のデータを扱うマルチモーダル基盤モデルなど，より高度なアプリケーションを実現するためには，Backboneを構成するDNNモデルの高精度化・高速化・省メモリ化が問題となる．以上を踏まえ本研究では，入力データの系列長に制限のないRNNベース手法の効率化に焦点を当てる．RNNに基づくMCNNの従来研究では，応用面での性能やスケーラビリティを高める上で，総じて次のいずれかの点が課題となる．課題1.記憶の劣化外部記憶を保存するために，一定の時間間隔で記憶領域（隠れ状態やDNN外部に設けたデータ）を必ず更新する．そのため，誤った記憶の改変や継続的な更新による記憶の変化（劣化）を完全に防ぐことは難しい．課題2.不正確な勾配の逆伝搬RNNが過去に指摘された問題と同様，継続的に記憶を更新するアーキテクチャでは，系列長が大きい場合に勾配が比較的多数の時刻の層を伝って逆伝搬されるため，勾配消失や勾配爆発の問題が生じる．課題3.次トークン予測に対する親和性外部記憶の保存が各時刻でなく入力を分割したセグメント単位や一定時間間隔でおこなわれる場合，近年LLMの事前学習で採用されている次トークン予測（Next-TokenPrediction）のアーキテクチャとしてそのまま用いることができない．1.1本研究の概要と貢献本研究では，課題1～2を原理的に回避し“記憶を鮮明に保つ”性質（Flashback特性）を持ちつつ，次トークン予測のアーキテクチャとして改変なしに導入できる記憶機構（Flashback機構）を提案することで，課題1～3を同時に解決することを目指す．Flashback特性では，外部記憶は，保存されて以降の時刻に別の記憶で上書きされるまで，保存時の値の恒等写像として完全に保持される．これにより，ある時刻の記憶領域に対して，後に参照され𝐲!𝑔𝑓𝐡!𝐡!"#𝐱!(a)'!&dim=,-(%)(%)!!!!!!"#(%)!!"#"($!)(%)"$!(b)た時刻の処理結果から，勾配が直接逆伝搬される．域は，RNN同様隠れ状態として表現され，各時刻では，Flashback特性を満たす方法で隠れ状態と入力データを比較し，必要に応じて記憶領域の各要素を置換する．最後に，次トークン予測の言語モデリングが可能な方式で，Flashback機構を従来のTransformersとMambaそれぞれに組み込んだアーキテクチャを提案する．実験では，ThePileデータセット[32]を学習に用いて，言語モデリングのタスクにおいて提案手法を評価した．具体的には，従来手法へのFlashback機構の導入による常識推論精度，処理速度，メモリ使用量の変化を評価することにより，Flashback特性の有効性を検証した．本研究の貢献は，（1）MCNNの従来手法が持つ先述の3つの課題を解決するため，Flashback特性を定義し，（2）Flashback特性を持つアーキテクチャを，次トークン予測に基づくLLMに導入可能なFlashback機構として提案することの2点である．