敵対的生成ネットワークを用いた記号的知識蒸留

近年，大規模言語モデル（LargeLanguageMode;LLM）が持つ推論能力により，様々な自然言語処理タスクにおける精度向上が報告されている[1,2]．しかしLLMを知識推論システムとして用いようとした場合，それなりの割合で誤りを含む推論結果を出力することも知られており，知識グラフを用いた推論モデルの研究が依然として必要である[3]．知識グラフは，事実や概念などの知識をノード（エンティティ），それらの関係性をエッジとして扱う表現方法であり，豊富な知識を体系的に保存することができる．これを用いた推論モデルでは，多段的な推論が可能であり，LLMによる推論よりも高性能であることが示されている[4]．しかしこうした推論モデルの構築には大規模な知識グラフが必要である．記号的知識蒸留[4]はLLMを用いた知識グラフの自動構築手法である．具体的には，あらかじめ欲しいドメインのデータを用意しておき（ゴールドデータ），それらをfew-shotプロンプティングを用いてLLMに与えることで，同じドメインのデータ（シルバーデータ）をLLMに出力させる．LLMが出力したシルバーデータには意味的・文法的に誤ったデータが多数含まれていることが知られており，シルバーデータの正誤を判定するフィルタを適用する．従来の記号的知識蒸留手法では，シルバーデータの一部に正誤のアノテーションを実施し，教師あり学習によりデータの蒸留を行なっていた．しかしこの方法では，ドメインデータに対してフィルタ学習用のデータを準備する手間が掛かる．そこで本研究では，敵対的生成ネットワーク（GenerativeAdversarialNetwork;GAN）のような敵対的な学習手法により，LLMの推論候補に対する自動的な記号的知識蒸留を行う手法を提案する．実験では，京都大学の黒橋研究室が公開している事態間関係知識のデータセット[5]で実験・検証を行った.