主語埋め込みの編集による効率的な未知知識追加手法の検討

大規模言語モデルの知識は学習完了時点で固定され，新たな知識を追加するにはモデルの再学習が要求される．この問題に対してFine-Tuningや検索拡張生成が提案されてきたが，計算コストの高さなど課題は多い．そこで本研究では知識編集技術による効率的な知識追加手法を探求した．特に有望な手法として，主語埋め込みの変更のみで知識編集を実現した軽量な手法であるSWEA⊕OSに注目し，モデルにとって未知の知識を追加するタスクにおける性能を既存の知識編集手法とを比較した．実験の結果，SWEA⊕OSは性能面で既存手法に劣るが，性能と各種コストのバランスに優れ，効率的な知識追加に対する有望な手法の1つであることが示唆された．