Flashback:深層系列処理モデルのメモリ効率化・高速化のための記憶機構

不可能であった高度なタスクを解くことが可能と本稿では，従来研究におけるRNNベースの深層なった．系列処理モデルの持つ課題，（1）記憶の劣化，（2）このような生成AIの発展に伴い，新たに得られ不正確な勾配の逆伝搬，（3）次トークン予測に対するユーザーの情報や逐次更新されるデータベースのる親和性，の3点を同時に解決するDNN記憶機構ように，学習データに含まれない入力情報（以降，の実現に取り組む．具体的には，課題1～2に対処外部記憶[10,11]と呼ぶ）をTransformersが一定以するため，記憶領域に保存されて以降，別の時刻上保持できない点が，より高度なアプリケーションの隠れ状態で上書きされるまで，記憶が保存時のを実現する上で問題となる．これは，計算量やメモ値の恒等写像として完全に保持されるFlashback特リ使用量がAttention機構への入力の系列長に応じ性を定義し，その性質を満たすFlashback機構を提て増加するTransformersの設計に由来する[9,12]．案する．また課題3に対して，次トークン予測がこれに対処する方法として，記憶機構をアプリケー可能な方式で，Flashback機構を従来のTransformersション側またはDNNアーキテクチャ内に保持するとMambaそれぞれに組み込んだアーキテクチャを二通りのアプローチが挙げられる．前者はDNNモ提案する．実験では，多様なテキストデータを含むデルを組み込むアプリケーション側で記憶能力を実ThePileデータセットを学習に用いて，従来手法へ現する方法であり，例えば，学習済みの大規模言語のFlashback機構の導入による常識推論精度，処理モデル（LargeLanguageModels，LLM）で構成され速度，メモリ使用量のトレードオフを評価することたエージェントがデータベースを検索する方法[13]で，Flashback特性の有効性を検証した．や，Retrieval-AugmentedGeneration[14]（RAG）のように，データベースから関連する情報を抽出する方