記号的知識蒸留における敵対的学習の利用とその評価

近年，大規模言語モデル（LLM）の登場により，様々なタスクにおける精度向上が報告されている[1,2,3]．しかしLLMをそのまま知識推論システムとして用いるには依然として課題があり，トリプルを用いた学習が注目されている[4]．トリプルとは，二つの知識とその間の関係性のセットであり，知識グラフのエッジと関連ノードに対応する．LLMは事前学習を通して知識間の関係性を暗黙的に学習しているが，トリプルを用いた学習によりそれを明示的に学習することができ，知識推論の性能向上につながる．ここで重要なのは，より大規模で高精度な学習用トリプルの獲得であり，それを実現する手段として記号的知識蒸留[5]が有効である．記号的知識蒸留の全体像を図1に示す．記号的知識蒸留は，LLMが事前学習を通じて獲得した膨大な知識をトリプルとして抽出し，推論モデルの学習に使用する手法である．記号的知識蒸留では既存のトCreatingTrainingDatasetlPartiallyManualAnnotationofPositive/NegativeLabelsGoldDataSupervisedLearningfew-shotpromptingfiltermodelinferencemodelSilverDataLLMリプルデータセット（ゴールドデータ）をLLMに与え，同じドメイン・形式の擬似的なトリプルデータ（シルバーデータ）を出力している．しかしLLMの出力には，意味的・文法的に誤ったデータが多く含まれており，学習データの低品質化に繋がるため，それに対するフィルタモデルが必要である．従来はシルバーデータの一部に正誤のラベル付けを人手で行い，教師あり学習によりフィルタを獲得していたため，アノテーションコストがかかるという問題があった．そこで本研究では，シルバーデータから意味的・文法的に正しいデータを選択するSelectorモデル（フィルタの役割）と，Selectorから選択されたデータを評価するDiscriminatoirモデルを敵対的に学習することにより，シルバーデータに対する自動的なフィルタリングを行う手法を提案する．