Attentionスコアの分布類似性を用いた大規模言語モデルの動作効率化および省メモリ化

Transformer-デコーダをベースとした大規模言語モデルは、文脈理解・回答における精度の高さから活用が広がっている。近年では長文入力への需要が高まっているが、自己注意処理(Attention)における計算量が入力長の2乗に比例すること、KVキャッシュのサイズが入力長に比例するという理由により、入力長に対して制限が存在する。本研究ではTransformer内の各レイヤ・各ヘッドについて注意スコアの分布を調査し、同一レイヤにおいてスコアを共有できるヘッドが存在すること、また各レイヤについてスコアが大きなトークンが共通していることを明らかにした。これを元に自己注意処理の効率化とKVキャッシュの削減を行い、削減前と比較してベンチマークにおける精度低下が限定的であることを確認した。