大規模言語モデルにおいて数値属性間で共有されるスケーリングベクトルの解析とその応用

・・・大規模言語モデル（LLM）の利活用が進む一方で，その推論過程や内部表現は不透明である．本研究では，LLMの内部表現における数値属性の構造に着目し，部分的最小二乗法（PLS）を用いたprobingを通じて，異なる属性間で共通する「数値を変調する方向成分（スケーリングベクトル）」の存在を明らかにする．さらに，異なる属性間の交絡は，特定属性への介入操作やfew-shotプロンプティングによる出力に副作用を及ぼすことを実験的に示す．この結果は，LLMの内部表現に対する解釈可能性と実用上の制御手法を結び付け，LLMの出力の公平性や頑健性の研究に貢献しうる示唆を提供する．