主語埋め込みの編集による効率的な未知知識追加手法の検討

大規模言語モデル(LargeLanguageModels,LLM)は多くの分野で人間の専門家に匹敵する能力を発揮している[1,2,3,4]が，ドメイン固有の知識を追加する際にモデルの再学習が要求されるという問題を抱えている．これは，LLMの知識が内部でパラメタとして静的に保持されるためであり，特に学習cuttoﬀ以降に生じた未知の知識を追加すること（知識追加）は困難である．代表的な知識追加アプローチであるFine-Tuning[5]や検索拡張生成[6]は一定の成果を挙げているものの，高い計算リソース要求，追加のストレージコストなど依然として未解決の課題も多い[7,8,9]．LLMが実社会へ浸透している現状において，各組織に固有の知識をモデルに導入したいというニーズは増加しており，効率的な知識追加手法の欠如は大きな問題である[10,11]．そこで本研究では，特定知識のみを正確に編集することで高い計算効率を達成した知識編集[12,13,14]に注目し，モデルにとって未知の知識を効率的に追加する方法を探求する．知識編集の手法間には性能と効率に明確なトレードオフが存在するが，その中でも主語埋め込みの更新に基づくSWEA⊕OS[15]は複数の評価指標において他の手法を上回り，かつ圧倒的に軽量であるという優位性を示した．しかしながら，その検証は，モデルが既に持っている知識を更新すること（知識修正）に焦点が当てられており，知識追加においても同様の性能を発揮するか十分な検証が行われていない．そのため本稿では，SWEA⊕OSの未知知識追加の性能を検証し，他の知識編集手法との比較分析を行う．分析の結果，既存の知識編集手法とSWEA⊕OSを比較し，SWEA⊕OSは性能と各種コストのバランスから，有望な手法であることが示唆された．未知知識の追加という観点で複数の知識編集手法を横断的に分析する試みは先行事例が少なく[16,17]，こうした知見は効率的な知識追加手法の確立に向けて重要な示唆を与えるものと期待される．