言語モデルからの知識削除：頻出実体の知識は副作用が破滅的

言語モデル（LM）は学習によって内部のパラメータに知識を格納できることがわかっており，LM内の知識を分析する研究が注目を集めている[1–3]．課題の一つに，LMは学習データが収集された時点までの知識しか持っておらず，絶えず変化する実世界の知識に対して頑健でないということが挙げられる[4]．また，LMは学習データに含まれる個人情報や機密情報を漏洩してしまう可能性があり，プライバシーに関する課題も存在する[5]．これらの課題に対処するために，LMの知識編集[6–11]や，知識削除[12,13]に関する研究が積極的に行われている．これらの研究では知識の編集や削除に関して一部の成功事例が報告される一方で，失敗事例や課題，困難が存在することが明らかになっている．本研究の目標は，知識の編集や削除が意図通りに機能する条件とその理由を理解することであり，削除される知識の種類に着目することが重要であるという仮説のもと分析を行う．本稿では，特に知識に言語モデル知識グラフ有名人：大谷翔平一般人：山田太郎東北大学ドジャース所属する所属する関係知識：関係知識：(山田太郎，所属する，東北大学)(大谷翔平，所属する，ドジャース)削除対象：一般人に関する知識削除対象：有名人に関する知識副作用：小副作用：大例えば，“山田太郎が東北大学に所属している”という知識は（山田太郎，所属する，東北大学）のように表現される．それぞれの実体は次数(他の実体と関連する数)を持ち，例えば有名人の次数は大きく，一般人の次数は小さいと考えられる．言語モデルは，削除対象の知識に関わる実体の次数が大きいほど副作用が破滅的である．関連する実体の，学習コーパスにおける頻度に着目する(図図1)．この仮説を検証するために，本研究では制御された実験を設計し，知識削除がLMに与える影響を分析する．我々は「知識の種類」という概念を，LMが学習する知識グラフの構造的特性にて形式化する．異なる特性を持つ人工的な知識グラフを作成し，これらのグラフ上でLMを訓練することで学習される知識を正確に操作する．得られたモデルに対して特定の実体に関する知識削除を行い，削除による影響を分析する．その結果，実世界の知識構造を持つLMにおいて，頻出実体に関する知識の削除による副作用は大きいため破滅的であり，低頻度実体に関する知識は副作用が小さいことを明らかにした．また，本研究は，知識構造を制御したモデルで知識削除の分析を行った初めての研究であり，人工知識グラフを用いた知識削除に関する分析の新たな方向性を示した．.