信頼できる知識グラフ推論のための評価リソースの自動構築

知識グラフ（KG）は構造化知識の表現基盤として重要であり，その補完タスクである知識グラフ推論は実世界応用において重要である[1,2]．KGEやGNNなどの既存手法[3,4,5]が高い性能を達成する一方で，近年ではLLMを活用する研究[6,7]が注目を集めている．しかし，LLMを活用した既存手法の多くはクエリ近傍の事実のみを用いた局所的かつ断片的な推論にとどまり，より広い文脈から情報を統合できるLLMの能力を十分には活用できていない．信頼性の高い知識グラフ推論のためには，膨大な候補パスから一貫した論証を合成する能力が不可欠である（図1参照）．しかし，このような高度な知識グラフ推論モデルを開発・評価するためのリソースは現在のところ存在しない．膨大な候補パスの分析に基づく高品質な論証の手動での作成はコストの観点から困難であり，その自動構築が期待される．そこで本研究では，既知の正しい事実(ℎ,𝑟,𝑡)の成立根拠となり得る候補パスを収集し，それらに基づきLLMに論証を生成させる論証生成タスクを定式化し，データ構クエリ：(TarrantCounty,timezones,?)正解回答：CentralTimeZone候補パス群から選択した支持パス群1:TarrantCountycontains−−−−−−−→Arlingtontimezones−−−−−−−−−→CentralTimeZone7:TarrantCountycountyseat−−−−−−−−−→FortWorthtimezones−−−−−−−−−→CentralTimeZone...他数件（数百件の候補パス群から選択）支持パスに接地した論証文1:TarrantCountycontainsmajorcitiessuchasArlingtonandFortWorth,andthesecitiesarelocatedwithintheCentralTimeZone.(Grounding:Paths1,7)文2:Furthermore,thecountyseatofTarrantCounty,FortWorth,isalsosituatedwithintheCentralTimeZone.(Grounding:Path7)文3:TheseconnectionsindicatethatTarrantCountyisassociatedwiththeCentralTimeZone.(Grounding:Generalprinciple)大な候補パス群から，モデルは支持パス群を選択し，各文がパスに接地した一貫した論証を生成する．築の自動化を実現する．本タスクは，既存の知識グラフに基づく質問応答（KGQA）[8,9]のように回答への構造化されたパスの発見と検証を目的とするのではなく，KG内の事実が欠落した状況において，広範な候補パスから成立根拠を分析し，説得力のある論証を構築することに主眼を置くものである．このLLMを用いた自動構築では，論理的に強固な，すなわち健全性が高い論証と単なる相関に基づく弱い論証の区別が困難になる課題がある．KGには論理的に強固な証拠だけでなく，国籍推定における卒業大学の所在地といった希薄な相関関係しか存在しない場合も多い．LLMは，こうした弱い証拠に即して，忠実であるが論理的に弱い論証を生成する傾向があり，これが推論の確信度を不明瞭にする．信頼できる知識グラフ推論のためには，単なるグラフへの忠実性の担保だけでなく，論証の論理的強度を評価・区別できる新たな基準が不可欠である．この課題に対応するため，本研究では，LLMに二つの独立した役割を与えて，生成した論証の健全性を自動評価するフレームワークを提案する．まず，論証生成LLMが候補パスに基づき論証を生成し，続いて評価LLMがその論理的強度を健全性スコアとして評価する．このフレームワークに基づき，各Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).・逆関係の追加(3)プロンプト作成(1)グラフの前処理(2)事実サンプリング後候補パス抽出htクエリ:m3m1クエリ:(TarrantCounty,time_zones,?)正解:CentralTimeZone候補パス集合ht候補パス:TarrantCounty→contains→Arlingtonm2m4htm1m3→time_zones→CentralTimeZone…知識グラフ(e.g.,FB15k-237)…hm1m4tm3𝑎1,...,𝑎𝑚をこの順序で連結して形成される．この定式化により，クエリの複数の回答への推論過程を構造的に保持しつつ，全体として統合された論証の構築が可能となる．また，健全性スコア𝑠により，論理的に強固な論証と単なる相関に基づく弱い論証を区別でき，推論の信頼性が向上する．3.2入力データ構築ArgLink自動構築の第一段階として，入力事例を準備する．各事例は，推論対象となる事実とその成立根拠として利用され得る候補パス群から成る．クエリのサンプリングとパス抽出FB15k-237[21]とWN18RR[22]を基盤とし，ArgLink-FB15k-237とArgLink-WN18RRを構築する．まず，それぞれから5,000のクエリをサンプリングした．各クエリの正解回答集合𝑇をターゲット回答𝑇𝑡𝑎𝑟𝑔𝑒𝑡と推論の入力として利用する既知回答𝑇𝑘𝑛𝑜𝑤𝑛に分割した上で，広範なパス発見のため既存のすべての辺に対して逆関係を追加する．そして，深さ優先探索を用いて，ヘッドℎと各ターゲット回答𝑡∈𝑇𝑡𝑎𝑟𝑔𝑒𝑡間の単純パスを探索する．証拠リークの防止候補パスからの論証生成のためには，推論対象の事実が候補パス内に含まれる情報リークを防ぐ必要がある．パス抽出では，ターゲット回答𝑡∈𝑇𝑡𝑎𝑟𝑔𝑒𝑡への直接的な証拠（順方向辺(ℎ,𝑟,𝑡)および逆方向辺(𝑡,𝑟inv,ℎ)）をグラフから削除する．これにより，単なる回答の存在確認ではなく，周囲の候補パスからの推論（例えば，クエリ子供−−−−→X母親−−−−→Y（オバマ,配偶者,?）の推論で，オバマといったパスを参照）が必要となる．3.3自動評価する論証生成手法本手法では，論証生成LLMと評価LLMから成る二段階のLLMパイプラインを用いる．係を追加する．(2)事実をサンプリングし，深さ優先探索を用いて候補パスを抽出する．この際，証拠リークの防止のため，ターゲット回答への直接的な辺を削除する．(3)クエリと候補パスを含むプロンプトを構築する．(4)論証生成LLMを用いて，検証可能な構造化された論証を生成する．(5)評価LLMを用いて論証に健全性スコアを付与する．(4)論証⽣成⽣成データ(5)健全性スコア付与{"reasoning_argument":[{"sentence":"TarrantCounty…”,"grounding_mapping":[1,2,…],"supports_conclusions":["CentralTimeZone"]},{...}]}評価LLM論証⽣成LLMScore:4…3.3.1論証生成LLMによる論証生成本ステップではまず，クエリ，ターゲット回答𝑇𝑡𝑎𝑟𝑔𝑒𝑡，候補パス群𝑃に加え，ヘッドℎの説明文や関係のセマンティクスを理解するための事例を含むプロンプトを構築する．論証生成LLMの役割は，候補パス群𝑃から各回答𝑡∈𝑇𝑡𝑎𝑟𝑔𝑒𝑡の証拠となる支持パスを選別し，それらに基づく説得力のある一貫した論証𝐴を構築することである．パスが論証として弱いあるいは単に相関的である場合でも，モデルは慎重かつ正確な表現（例：「～によって可能性が示唆される」）を用いて，与えられた証拠の範囲内で最大限の論理的な説明を行うように指示される．このプロセスにおいて，論証生成LLMは論証を個別の文𝑎𝑖の系列として生成すると同時に，各文に対応する説明対象の回答𝑡𝑖∈𝑇𝑡𝑎𝑟𝑔𝑒𝑡およびその支持パス𝐸𝑖を紐付けた構造化された出力を行う．ここで，モデルは単に各文を羅列するのではなく，一貫した論理的な論証を生成することが求められる．この形式により，推論過程を各証拠へ直接的に接地させることが可能となり，生成された論証の忠実性を客観的に検証可能な状態にする．3.3.2評価LLMによる健全性評価論証生成LLMが論証を生成した後，別の評価LLMが包括的な5段階評価ルーブリックに基づき，忠実性を前提とした論理的健全性を評価する．具体的には，まず主張が提供されたパスにのみ基づいているか（忠実性）を検証し，その上で，結論を支持する証拠の論理的強度を評価軸としてスコアを決定する．評価LLMのタスクは，判断の理由を含むフィールドと，1（Unusable）から5（Excellent）の5段階からなる全体的な健全性スコアを含むJSONを出力することである．このスコアは，論理的に強固で健全な論証と，事実に忠実でありながら論理的に弱い論証を区別するためのシグナルとなる．org/licenses/by/4.0/).評価LLMモデルSpearman’s𝜌Kendall’s𝜏Gemini2.5FlashLite0.7860.678ClaudeHaiku4.50.7860.704GPT-4o0.7630.6764人手評価による検証本節では，評価LLMが付与した健全性スコアの信頼性を検証するため，人手評価との相関分析および事例研究を行う．4.1人手評価との相関分析自動生成された健全性スコアの信頼性を検証するため，FB15k-237を基盤として作成したArgLink-FB15k-237から50件の事例をランダムにサンプリングし，人手による評価を行った．2名のアノテータが評価LLMと同じ5段階基準で健全性スコアを評価したところ，アノテータ間の一致率はKrippendorﬀ’s𝛼=0.877に達し，評価ルーブリックの明確性と信頼性を確認した．次に，人間評価の中央値と評価LLMのスコアの相関を表1に示す．データ構築に用いたGemini2.5FlashLiteは人間の判断と強い正の相関（スピアマンの相関係数𝜌=0.786）を示した．さらに，異なるモデル（ClaudeHaiku4.5,GPT-4o）を評価LLMとして用いた場合でも，同様に高い相関が見られた．この結果は，LLMが自身や同系列モデルの出力を過大評価する傾向にある自己選好バイアスの影響が限定的であり，ArgLinkに付与された健全性スコアの論理強度の指標としての有効性を示唆している．4.2事例研究による定性分析評価LLMが付与した健全性スコアの特徴を具体的に確認するため，事例研究による定性的な分析を行った（詳細は付録A参照）．例えば，地理的な包含関係に基づく論理的な推論には高いスコアを付与する一方，共通の受賞歴といった希薄な相関関係に依存する論証には，低いスコアを付与していた．これは，ArgLinkが論理的健全性の評価リソースとして有効に機能していることを裏付けている．5ArgLinkの特性分析本節では，自動構築したArgLinkの特性分析を行う．詳細な分析結果は付録BとCにて詳述する．項目ArgLink-FB15k-237ArgLink-WN18RR総事例数4,8764,969平均文数4.584.29平均候補パス415.76102.47平均支持パス10.255.96健全性スコアArgLink-FB15k-237ArgLink-WN18RR5(Excellent)35.02%38.06%4(Good)16.74%12.12%3(Acceptable)16.82%13.38%