・・・大規模言語モデル（LLM）の利活用が進む一方で，その推論過程や内部表現は不透明である．本研究では，LLMの内部表現における数値属性の構造に着目し，部分的最小二乗法（PLS）を用いたprobingを通じて，異なる属性間で共通する「数値を変調する方向成分（スケーリングベクトル）」の存在を明らかにする．さらに，異なる属性間の交絡は，特定属性への介入操作やfew-shotプロンプティングによる出力に副作用を及ぼすことを実験的に示す．この結果は，LLMの内部表現に対する解釈可能性と実用上の制御手法を結び付け，LLMの出力の公平性や頑健性の研究に貢献しうる示唆を提供する．

近年，大規模言語モデル（LLM）は自然言語処理や文章生成において飛躍的な性能向上を遂げ，その応用範囲は急速に拡大している.しかし，LLMの推論過程や内部表現は依然としてブラックボックスであり，その信頼性や説明可能性に課題が残る.そのため，モデル内部表現の構造や振る舞いを解明する機械論的解釈可能性が注目されている[1,2,3].probingでは，線形分類器等を用いてモデルの内部表現を解析し，その表現が特定の概念をどの程度エンコードしているかを評価する[4].この手法により，LLMが品詞の区別[4]や，特定の名詞か否か[5,6]，さらには時間や空間などの数値的属性[7,8]といった内部表現を獲得していることが報告されている．また，活性化空間内で特定概念を表現する概念ベクトルを取り出し，それを用いてLLMの推論時にモデルの内部に介入して出力を変調できる[9].一方で，LLMの出力の制御手法としては，入力*第一著者から第三著者までの貢献は等しい．1924ScalingVector・・・・・・・・・・・・・・・・・・・・・PLSproperty1・・・property2Property1:BirthdayInwhatyearwasNinaFochborn?Property2:ElevationHowhighistheMalihiniRegion?LatentSpace文字列（プロンプト）の設計によるプロンプトエンジニアリング[10]が広く知られている．しかし，適切なプロンプトは状況に依存し，高度な技術を要する．また，知識の矛盾による混乱[11]や悪意あるプロンプトによる攻撃[12,13]など，LLMのプロンプトに対する頑健性には問題がある．プロンプトエンジニアリングによるLLM制御に課題が残るが，他方でモデルの内部に介入する手法においても，回答の有益性が下がるリスク[9]や，特定の概念への介入操作が他の概念にも影響を与える副作用[8]といった悪影響が観察されている．特に副作用は，LLMが異なる概念間の意味的な関係性を内部表現において捉えていることとの関連が指摘されている[6]が，概念間の交絡がLLMの安定した制御を困難にする懸念がある．本研究では，LLMにおける概念の交絡による副作用を解析するため，異なる数値属性間における表現の転移可能性を体系的に調査する．具体的には，probingによりLLMの活性化空間において異なる属性を跨いだ「数値を変調する方向成分（スケーリングベクトル）」が存在することを実験的に示し，そこで得られた概念ベクトルを用いて他の属性への介入が可能であることを明らかにする(図1)．加えて，プロンプトエンジニアリング技術の一つである.few-shotプロンプティングにおいて，プロンプト内に複数の概念が含まれると概念の交絡による副作用が生じるかを確認する．これらの実験結果は，LLMの内部表現における概念間の構造を解釈するだけでなく，LLMの制御においても概念間の交絡を考慮すべき可能性を取り上げ，プロンプトエンジニアリングに対する実用的な知見を提供する．