自身の知識に対して誠実な言語モデル(LM)の構築に向けて，入力された知識文が自身が想起できるものか否か，すなわち知識の既知性を判断する仕組みを理解することは重要である．本研究では，LMが入力に対し内部的に想起した単語と実際の入力との整合性を手掛かりに既知性を判断しているという仮説を検証した．知識の想起を操作した介入実験の結果，この予測と入力の整合性がLMの既知性判断に寄与していることが示唆された．この結果は，LMの内省的挙動の理解に向けた知見を提供する．

社会の様々な分野で言語モデル(LM)の応用が進む中で，自身の知識に対して誠実なLMの構築は喫緊の課題である．LMは訓練を通じて，質問と自身が出力した答えの組に対して実際の正解率と相関する確信度を出力できるなど[1,2]，入力された知識が自身が正確に予測できる知識か否か，すなわち知識の既知性を識別できることが示唆されている．入力に対するLMの内部機序の解釈を目指す先行研究では，TransformerのFF層がキーバリュー形式のメモリのような役割を果たしており，主語(subject)の最後のトークン位置で目的語(object)が想起されるなどの知識想起の仕組みが知られている[3,4]．しかしLMが，ある知識を自身が予測可能かどうか判断するメカニズムはまだ解明されていない．このメカニズムの理解は自身の知識に対して誠実なLMの実現へ近づく上で非常に重要である．そこで本研究では，自己回帰型LMが知識文の入力に対して既知性を判断するメカニズムの解明に取り組む．分析は次のような仮説に基づいて行う．(1)ある単語列(𝑤1:𝑡)が入力されると，各層において次単語の予測が形成され，その情報が残差流に蓄積される．(2)実際に次単語(𝑤𝑡+1)が入力された際，LMが想起できる知識YesTopGunRainManTropicThunder一致[KnowledgeaboutTomCruise]LM…TomCruiseappearedin“TropicThunder”\nAnswer:NoLMが想起できない知識TopGunRainManTropicThunder不一致[KnowledgeaboutTomCruise]LM…TomCruiseappearedin“PulpFiction”\nAnswer:は事前に想起したobjectを実際に入力されたobjectと照合し，この情報を手掛かりに関係性を想起できる既知の知識と，そうではない未知の知識を判別することができる．モデルは内部的に予測していた単語と実際の入力との整合性を内部的に比較する．(3)この予測と入力の情報の一致度合いがモデルの既知性の認識に寄与し，結果としてこの情報が最終的な既知性判断出力として表出する，というものである(図1)．本研究ではこの前提として，予測の整合性と既知性判断の因果関係を検証する．具体的には，LM自身が正確に回答できる知識の文を入力し，次単語の想起を残差流への介入により編集することで意図的に単語想起と入力が一致しない状況を作り出す．実験の結果，LMは内部的に想起した単語の情報と，実際に入力された単語の情報との整合性を手掛かりとして，自身の想起可能な関係知識か否かを判断し，それを出力していることが示唆された．この結果はLMの内省的挙動の理解へ向けた知見を提供する．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).LM全体精度既知データ精度未知データ精度ベースラインLlama-3.1-8B75.93%88.07%(2340/2657)63.79%(1695/2657)50.24%Qwen1.5-14B82.68%86.97%(821/944)78.39%(740/944)50.16%gemma-2-9b74.13%88.23%(2902/3289)60.02%(1974/3289)50.05%ける層𝑙の隠れ状態{ℎ(𝑙)𝑠𝑘𝑖}𝑁𝑖=1を抽出する．次に，{(ℎ(𝑙)𝑠𝑘𝑖,𝑜𝑘𝑖)}𝑁𝑖=1を学習データとして，可能な全てのobjectそれぞれについて，「隠れ状態ℎがそのobjectを想起しているものか否か」を判定する線形2値分類器を学習する．2）学習した分類器の重みベクトルにより，特定のobjectを想起している状態と，そうでない状態を分離する方向を抽出できる．介入．学習した分類器の重みベクトルを，その隠れ層の隠れ状態の平均ノルムでスケーリングし，これを介入ベクトル𝑤(𝑙)として用いた．これにより，異なる隠れ層間で介入の影響が比較可能となる．介入の向きは，介入前のモデルの予測ラベルに応じて切り替える．元の予測がYesの場合には，𝛼<0とすることで，入力objectを想起しにくくし，ラベルがNoに反転することを期待する．一方，元の予測がNoの場合には，𝛼>0とし，入力objectの想起を促し，ラベルがYesに反転することを期待する．評価指標．介入によってモデルの既知性判断が反転した事例の割合を計算することで，objectを想起する内部表現が既知性判断にどの程度因果的に寄与しているかを評価する．4実験結果4.1実験設定データセット．3章で定義した既知性の判断能力について分析するためのデータセットを構築した．定義より，真の既知性ラベルはモデル毎に異なるため，データセットはモデル毎に構築した．まず，既知の知識については，Wikidata[15]から有名な俳優が多く出演する映画を抽出し，既知の知識の候補を作成した．次に，この中からモデルが実際に保持している知識を抽出するため，プロンプト{subj}appearedin"を用いてモデルの出力を収集した．モデルの出力から映画名を抽出し，Wikidataの正解と一致したものを既知データ候補とした．さ2）正例と負例の数に大きな偏りが存在するため，学習時にはクラス不均衡を補正する重み付けを行った．分類器の精度については付録Aを参照されたい．らに，後の解析の安定性を高めるため，一タイトルにつき12人以上の俳優が紐づいている映画のみをフィルタリングして残した．未知の知識については，モデルの学習データにないがもっともらしい知識を作成するため，Wikidataに存在しないsubject,objectのペアを用意する．既知データと同じsubjectおよびobjectの集合を用いて，Wikipediaに存在しないペアを作成した．この際，各subjectに対して既知データと同数の未知データを作成し，かつobjectの出現分布も各既知性ラベル間で可能な限り一致するよう調整した．これにより，個別のsubject,objectの有名度などのバイアスによって高い精度が出る可能性を防ぎ，関係性のみで判断しなければ高い精度が得られないようにする．モデル．Llama-3.1-8B[16],Qwen1.5-14B[17],gemma-2-9b[18]のbaseモデルを用いた．4.2Step1:既知性判断能力§3.2の検証結果を表1に示す．ベースラインとして，モデルがobjectごとにラベル分布に基づいて最頻クラスを選んだ場合の精度を示す．全てのモデルにおいてベースラインを上回る精度が確認できた．このことから，今回調査したモデルは既知の知識と未知の知識を識別する能力を一定程度有することが確認された．これ以降の実験はすべてモデルが正解できるサンプルから既知データと未知データをそれぞれ500件ずつ無作為に抽出して用いた．4.3Step2:既知性判断のメカニズムobjectの想起-入力整合性が高い程，既知と判断されている．§3.3.1に従い，Yesと答えたサンプルとNoと答えたサンプルそれぞれのobjectの対数確率の分布を図2に示す．どのモデルにおいても，Yesと答える際のobjectの対数確率がNoのそれよりも高い傾向が見られ，想起-入力整合性と既知性判断の関係が示唆された．先行研究では，内部的知識と文脈的知識を別々に扱うアテンションヘッドがあるという報告もあり[19,20]，想起-入力整合性が既知性判断に因果的に関連していることも示唆される．org/licenses/by/4.0/).YesNo1.00.50.01050object(未知)と答えた時それぞれの入力objectの予測一致度の分布．一致度は，objectを構成するすべてのトークンに対する予測の平均対数確率により算出．1.01.0objectobject0.80.8objectobject0.60.60.40.4YesNo0.20.201020300.001020300.0(a)既知データに対するobject想起を抑制する介入(b)未知データに対するobject想起を促進する介入ンプルに対するそれぞれの隠れ層での介入実験の結果．横軸は介入対象の隠れ層，縦軸は介入によって最終的な既知性判断の出力が反転した割合を示す．想起-入力整合性は，既知性判断に因果的に関連している．図3に，§3.3.2の介入を行った際の既知性判断の反転割合を示す．介入の影響が入力objectの想起に介入したことによるものなのか，単にobjectの想起に介入したことによるものなのかを確かめるため，入力object(対象object)に加え，無関係なobject(ランダムobject)への介入を比較対象としている．結果より，想起を抑制すると「No(未知)」，強化すると「Yes(既知)」へと出力が反転した．これにより，objectの想起が既知性判断の直接的な要因であることが示された．また，対象objectへの介入は，ランダムobjectへの介入よりも出力反転率が高かった．これは，単なる想起の「強さ」の変化ではなく，入力されたobjectと一致するobjectの想起が判断に寄与していることを示唆している．次に，介入強度を0から1まで変化させ，object予測の一致度(トークン系列の平均対数確率)と最終出力の関係を調査した結果を図4に示す．介入の種類に関わらず，入力objectの予測確率が高まるほど1.01.0object0.80.8object0.60.60.40.4YesNoobject0.20.2object0.00.0