言語モデルにおける知識の連鎖的編集を促すメタ学習手法

大規模言語モデルは，大規模なテキストコーパスを用いた事前学習を通して，多様な世界知識を保持している．しかし，モデルが保持している知識は事前学習時点に依存した静的な情報であり，現実世界で頻繁に変化する知識を反映することはできない．この課題に対し，近年モデルが保持する知識を直接編集する知識編集手法が数多く提案されている[1,2,3]．しかし，知識編集における重要な課題として，編集対象の知識は効率的に追加・修正できるものの，対象知識と論理的に関連する知識までは十分に編集が反映されない点が指摘されている[4,5]．例えば，ある人物の出身国に関する知識を編集した場合でも，その人物の出身国の通貨や首都に関する新知識を用いたマルチホップ推論を要する知識まで編集が十分に伝播しない．このような問題は知識の一貫性や推論能力の低下につながる．この課題を解決するため，既存研究の多くは，新しい知識が与えられた際にどのように関連知識へと情報を伝播させるかに焦点を当ててきた[6,7]．し内部表現を獲得するメタ学習手法を提案する．かし，これらの手法はコストが大きいことや，学習時のデータセットに依存しやすく汎化性が低いことなどの問題を抱えている．本研究では，新しい知識を「どのように関連知識へ伝播させるか」という編集アルゴリズムの設計ではなく，知識編集を適用するモデルに着目する．すなわち，図1に示すように「新たな知識を学習した際に，関連知識まで自動的に伝播して学習するようなパラメータをモデルが持ちうるのではないか」という仮説に基づき，モデルパラメータを事前にチューニングするアプローチを提案する．具体的には，Model-AgnosticMeta-Learning（MAML）[8]に基づくメタ学習により，知識編集に対して適応的なモデルを獲得する．実験では，2ホップ推論を要する質問（第1ホップ：新しい知識，第2ホップ：一般常識）からなるデータセット[6]を用い，事前学習済みモデルのメタ学習を行う．得られたモデルに対し，新しい知識のみを用いた単純な勾配降下による学習が，どの程度関連知識まで伝播するかを検証する．その結果，少なくとも訓練データと同一の推論形式（第1ホップ：新しい知識，第2ホップ：一般常識）において，提案手法は追加的な編集機構を用いずとも，編集された知識が論理的に関連する知識へ伝播しやすい内部表現を誘導できることが確認され，伝播性の向上Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).データセットControlledRippleEdit（CRE）[6]を用いた．CREは，架空のエンティティに関する新しい事実と，その新知識を1ホップ目，モデルが事前に保持していると想定される知識を2ホップ目とした2ホップ推論を要する質問から構成される知識編集データセットである．本研究では，新しい知識を学習させたモデルが2ホップの質問に正しく応答できるかを評価した．CREには，訓練データ4,000件，分布内評価データ500件，分布外評価データ350件が含まれる．分布外評価データは，訓練データに出現しないエンティティやリレーションを含み，正答には編集した新知識とモデルの既存知識の双方を適切に組み合わせた推論が必要となる．具体的なデータセットの例は付録Aに示す．提案手法のメタ学習には訓練データを用い，メタ学習後のモデルの評価には分布内・分布外評価データを用いた．さらに，より広範なマルチホップ推論を含む知識編集データセットであるMQuAKE[5](3,000件)も追加の評価データとして用いた．評価指標先行研究[7]に従い，評価指標には正解率を用いた．各評価質問に対して，新知識学習後のモデルで最大10トークンを生成し，期待される正答が出力に含まれる場合を正解と判定した．4.1学習対象による違い提案手法はメタ学習により「関連知識への伝播」を促すことを目的とするが，その効果は更新対象とするパラメータに依存する可能性がある．そこで本節では，どの層（パラメータ集合）を学習対象とすることが，分布外条件における汎化性能の向上に有効かを検証する．設定事前学習済みモデルとしてLlama3-8B-Instruct[11]を用いた．更新範囲として，全層更新と単層更新を比較する．さらに，各更新範囲について，更新対象モジュールをAttentionのみ，MLPのみ，Attention+MLPの3条件で切り替えた．単層更新では，指定した層以外のパラメータは固定し，当該部分のみを学習対象とした．結果まず，全層更新の結果を表1に示す．MLPを更新対象に含む条件では，分布内評価に対して正解率が向上する傾向が観察された．一方，分布外評価における改善は限定的であった．これは，全層更新では更新が広範囲に及び，訓練データに過度に適合した結果，未出現エンティティや未出現リレーにおける正解率．ただし，括弧内はメタ学習による正解率の上昇を示す．分布内評価（%）分布外評価（%）Attn18.6(+11.8)