検索ヘッドに基づく大規模言語モデルの長文脈処理の改善

大規模言語モデルには，文脈から情報を取り出す検索ヘッドという機序が存在すると言われている．本研究では，この機序を活用して言語モデルの長文脈処理能力を向上する方法を探究する．具体的には，検索ヘッドを不活性化したモデルの出力と，通常のモデルの出力を用いて選好最適化を行う手法を提案する．実験により，提案手法の有効性が実証され，その効果はモデル内部の検索スコアの分布に依存し，検索機能が特定のヘッドに集中しているモデルにおいて高い効果を示すことが分かった．