疑似グラフデータ学習によるLLMのグラフ理解能力の向上

大規模言語モデル（LLM）が知識に基づいて推論を行う際に求められる能力は，単なる文章理解にとどまらない．対象となる知識がグラフとして与えられることもあり，正確な推論のためにはこれを十分に理解する必要がある．ここでグラフとは，対象を表す点（ノード）と，それらの関係を表す線（エッジ）からなるデータ構造であり，関係性を明示的に表現できる．知識グラフ（KnowledgeGraph,KG）はその一種で，人物，組織，概念などのエンティティをノードとして，それらの関係を意味付きのエッジで表したものである．例えば，図1のようにKGに基づくQAタスク（KnowledgeGraphQuestionAnswering，KGQA）[1,2,3,4,5]では，エンティティ間の関係を辿って答えを導く必要がある．また，グラフ上の到達可能性や経路，集合の包含関係といった構造的な性質は，離散数学やアルゴリズムに関する問題設定[6,7,8,9]としても頻繁に現れる．このように，LLMがグラフを入力として扱い，その構造に基づいて推論する能力は重要である．しかし現状のLLMは，グラフ構造の把握が得意ではない[6,7]．ノードやエッジの局所的な情報はMasayukiSuo1996released̲yearwritten̲byBeyondOutrage正しい解答ShallWeDance?in̲language？？？1996Japanesein̲languageLLMの解答2015whatyearwastheﬁlm[ShallWeDance?]releasedLLMユーザー文章として処理できたとしても，複数ステップの関係追跡では誤りが増えやすい．さらに，単純にエッジを読み取るだけの単一ステップの関係抽出も十分にはこなせない．加えて，部分的なKGが与えられている状況でも，存在しない関係を補完してしまったりすることがある[10]．この課題に対し，LLMのアーキテクチャの改良[11,12]や，LLMとグラフニューラルネットワーク（GNN）[13,14,15]などのモデルと統合することでグラフ推論能力を補う研究が進められてきた．これらは有効である一方，これらの手法を用いてLLMの性能を安定して引き上げるためには，大量の学習用データが必要になることが多い．それに対して，グラフ構造を含むテキストデータを大規模に準備しようとすると，データ収集，整形，アノテーションのコストが高く，必ずしも適用できるとは限らない．そこで本研究では，実世界のKGから学習データを構築するのではなく，疑似的に生成したKGを用いて，LLM自身のグラフ理解能力を効率よく獲得させる低コストな学習手法を提案する．具体的には，疑似KGを生成し，その上でグラフ構造に関する知Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).地名への関係であればlivesinやtravelstoなどを用いた．詳細はAppendixBを参照されたい．