言語モデルの大規模化が進むにつれ，再学習無しで知識更新が可能な知識編集の需要が高まっている．しかし知識編集は事前学習で獲得したトークン予測確率を事後学習で変化させるため，トークン予測確率と実際の精度が乖離する可能性がある．本研究ではこの問題が実際に起きているか検証するために，知識編集前後でのトークン予測確率と実際の精度の一致度をconﬁdencecalibrationの観点から計算し比較した．その結果，知識編集によりモデルのconﬁdencecalibrationが変化すること，特に意味理解が必要なタスクでは精度と比べトークン予測確率を相対的に低下させる傾向があることが分かった．

近年の傾向として，パラメータ数が大きく大規模なデータセットで学習された大規模言語モデル(LLM)[1,2,3]が登場している．これらは広範な知識を持ち様々な用途に適用可能な一方，事実に基づかない情報を出力するハルシネーションの発生や，学習に長時間を要する等の課題もある．特に時間経過に伴って事実性が変わる知識に関しては，モデル全体の再学習による知識更新は困難である．これらの課題を解決する手法の一つに知識編集(KnowledgeEditing)がある．知識編集は，言語モデル内部およびプロンプトに対し何らかの操作を加え，出力を意図通りに変化させる手法を指す．これにより，正しい事実への編集によるハルシネーションの低減や，時間経過に伴い事実性が変わる知識の獲得が容易になる．ただし知識編集にも課題があり，特にモデルの信頼性低下がある[4]．生成系の言語モデルではプロンプトが入力された際に，出力語彙に含まれる全トークンに対して各時刻での予測確率を計算し，予測確率が最も高いトークンを出力する．このトークン予測確率と精度が一致するようなモデルは信頼性が高いと見做せる．ここで，予測確率は本来訓練データの事前学習によって獲得される．知識編集では予測確率を事後学習によって変化させるため，予測確率と精度が一致せず，モデルの信頼性を損う可能性がある．そこで本研究では，言語モデルに対し様々な知識編集手法を適用した後にconﬁdencecalibration[5]を計算し，知識編集によるモデルの信頼性への影響について分析した．conﬁdencecalibrationではトークン予測確率と精度の一致度を計算しており，言語モデルの信頼性が実際にどの程度低下しているか検証できる．実験の結果，知識編集後はconﬁdencecalibrationが変化すること，特に意味理解が必要なタスクでは，精度と比較してトークン予測確率が相対的に低くなる傾向があると明らかになった．