クラスタリングに基づくKVCache残差量子化による大規模言語モデル推論の高速化

大規模言語モデル(LLM)の急速な発展に伴い，長文生成や多数同時リクエストを伴う推論サービスが広く利用されている．一方で，LLMの推論は計算資源およびメモリ資源を大量に消費し，とくにオンライン推論環境においてはスループットが大きな制約となる．本研究では，精度劣化を最小限に抑えたKVCache量子化手法を提案する．提案手法では，事前にサンプルデータから取得したKVCacheをクラスタリングし，代表点との誤差をKeyとValueの統計的特性の違いを考慮した量子化処理を用いて圧縮することで，推論スループットを最大で約3.5倍向上させながら，従来手法と比較して量子化誤差をRMSEで40%以上削減することを確認した．