大規模言語モデルにおいて数値属性間で共有されるスケーリングベクトルの解析とその応用

近年，大規模言語モデル（LLM）は自然言語処理や文章生成において飛躍的な性能向上を遂げ，その応用範囲は急速に拡大している.しかし，LLMの推論過程や内部表現は依然としてブラックボックスであり，その信頼性や説明可能性に課題が残る.そのため，モデル内部表現の構造や振る舞いを解明する機械論的解釈可能性が注目されている[1,2,3].probingでは，線形分類器等を用いてモデルの内部表現を解析し，その表現が特定の概念をどの程度エンコードしているかを評価する[4].この手法により，LLMが品詞の区別[4]や，特定の名詞か否か[5,6]，さらには時間や空間などの数値的属性[7,8]といった内部表現を獲得していることが報告されている．また，活性化空間内で特定概念を表現する概念ベクトルを取り出し，それを用いてLLMの推論時にモデルの内部に介入して出力を変調できる[9].一方で，LLMの出力の制御手法としては，入力*第一著者から第三著者までの貢献は等しい．1924ScalingVector・・・・・・・・・・・・・・・・・・・・・PLSproperty1・・・property2Property1:BirthdayInwhatyearwasNinaFochborn?Property2:ElevationHowhighistheMalihiniRegion?LatentSpace文字列（プロンプト）の設計によるプロンプトエンジニアリング[10]が広く知られている．しかし，適切なプロンプトは状況に依存し，高度な技術を要する．また，知識の矛盾による混乱[11]や悪意あるプロンプトによる攻撃[12,13]など，LLMのプロンプトに対する頑健性には問題がある．プロンプトエンジニアリングによるLLM制御に課題が残るが，他方でモデルの内部に介入する手法においても，回答の有益性が下がるリスク[9]や，特定の概念への介入操作が他の概念にも影響を与える副作用[8]といった悪影響が観察されている．特に副作用は，LLMが異なる概念間の意味的な関係性を内部表現において捉えていることとの関連が指摘されている[6]が，概念間の交絡がLLMの安定した制御を困難にする懸念がある．本研究では，LLMにおける概念の交絡による副作用を解析するため，異なる数値属性間における表現の転移可能性を体系的に調査する．具体的には，probingによりLLMの活性化空間において異なる属性を跨いだ「数値を変調する方向成分（スケーリングベクトル）」が存在することを実験的に示し，そこで得られた概念ベクトルを用いて他の属性への介入が可能であることを明らかにする(図1)．加えて，プロンプトエンジニアリング技術の一つである.few-shotプロンプティングにおいて，プロンプト内に複数の概念が含まれると概念の交絡による副作用が生じるかを確認する．これらの実験結果は，LLMの内部表現における概念間の構造を解釈するだけでなく，LLMの制御においても概念間の交絡を考慮すべき可能性を取り上げ，プロンプトエンジニアリングに対する実用的な知見を提供する．