本稿では，複数のLLM間の議論を通じて，自動構築された知識階層に含まれる上位下位関係の誤りを検出・訂正する手法を提案する．我々は，これまで視点の異なる複数のLLMの評価を統合することにより知識階層の上位下位関係を修正する研究を行ってきた．本研究では，この研究をさらに進めて，複数のLLMが議論をすることで階層関係の誤りを検出することを考える．先行研究において交通教則文書から自動構築された概念階層を対象にした実験において，複数のLLMが議論することによりこれまでの誤り検出スコアを改善することができることが示された．

人間の持つ知識をコンピュータ上で扱うための知識表現法としてオントロジーが用いられている[1]．オントロジーでは，概念をClassとし，Classの持つ属性をProperty名に対するdomain,rangeで表現し，Class間の上位下位関係をsubClassOf関係として定義する．この関係は，意味ネットワークやフレーム理論ではis-a関係と呼ばれ,包含関係があるクラス間において成り立つ関係である．1）例えば「乗用車is-a車両」という概念間の関係が成り立つ．本研究では，オントロジーにおけるsubClassOf（本稿では簡潔にis-a関係と呼ぶ）を対象とする．オントロジーを人手で構築する場合，多大な人件費や時間を要する．[2]．特に問題となるのは，インタビューによる方法では対象分野の知識を網羅的にカバーすることが困難な点である．そこで，それら1）知識グラフにはis-a関係のような知識を構造化するための組み込みリンクがないため，厳密には知識表現手法ではない．古典的な意味ネットワークからis-aやhas-aを除いたものが知識グラフである．のコストを削減するため，機械学習モデルによって文書情報等のデータからオントロジーを自動的に構築する研究が進められてきた[2,3]．従来の深層学習を用いた手法では，モデルの学習に必要なラベル付きデータの作成にコストがかかり，それが全体のコスト削減を妨げる要因となっていた．ChatGPT[4]のような大規模言語モデル（LargeLanguageModel;LLM）の発展により，LLMが多くの知識を蓄え[5]，用語間の関係やテキストの意味内容を適切に理解したりすることができるようになってきた．その結果，LLMによるラベル付きの学習データを必要としないオントロジー構築が提案されている[6,7]．しかし，現状，LLMは階層関係の構築において誤りを含んでいることが課題となっている[8,9]．この問題に対して，我々の先行研究[9]では，複数の視点の異なるLLMの意見を統合することにより，この問題を解決する手法を提案した．この手法では，複数のLLMが独立に推論した結果を意見のまとめ役のLLMに入力して，階層関係の正誤の判定を行い，単一のLLMによる判定と比べて，判定精度を向上することが示された．本研究では，LLMによりオントロジーの不適切な階層関係を検知することを目的とする．文献[9]の研究の発展させて，複数のLLM間による議論をする多様な形態を対象に，階層関係の正誤判定の性能の違いを探求する．議論によって，誤った意見の問題点が浮き彫りになり，正されることが期待される．本研究の貢献を以下に示す．•複数のLLMの議論によって，階層関係の誤り検出を行うときに，有効な議論手法を検証•複数のLLMの議論によって，単一のLLMよりThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).3.まとめ役，フィードバック役あり二人の専門家LLMと意見のまとめ役に加えて，二人の専門家に対してフィードバックを返す役を加えた四人で議論を行う．二人の専門家はフィードバックを受けた後，各々の意見を変えずに理由を改善する．各ラウンドで二人の専門家LLM，まとめ役LLMの意見が全て一致した時点で議論を終了し，𝑛ラウンド目まで一致しない場合は，まとめ役の意見で決定する．階層の親子ペア（上位クラス，下位クラス）の真偽判定を判定するために設定したLLMについて以下に示す．これらのLLMについて様々な組み合わせで実験を行う．各LLMのtemplateプロンプトを•N(Neutral):中立に評価する専門家•S(Subclass):包含関係に基づき評価する専門家•R(RoleFunction):役割機能に基づき評価する専門家•I(Inheritance):継承に基づき評価する専門家3.2実験設定データ文献[9]において，「交通の方法に関する教則」[12]をもとにLLMが生成した交通オントロジーに対し、階層関係の真偽をアノテーションしたデータセットを用いる．このデータセットは交通に関するクラスのペアに対して，階層関係が適切かどうかのラベルが付与されている．正例と負例のデータ数に偏りがあるため、負例と同数になるよう正例をランダムにサンプリングし、不均衡のないデータで評価する．評価方法本タスクは不適切な階層関係の検出を目的としているため、誤った関係を正しく誤っていると判定できたケースをTP(Truepositive)としてF1-scoreで評価した．また，LLMの出力は確率的であり実行ごとに結果が変動するため，3回の試行を行い，その平均値を最終的な評価値とした．モデルOpenAIのAPIを利用し，gpt-4o-mini-2024-07-18とgpt-4o-2024-08-06を用いて実験を行った．gpt-4ominiでは，(N,S)，(S,R)，(R,I)，(I,N)，(N,R)，(S,I)の6つの組み合わせで，gpt-4oでは，(N,S)，(R,I)の2つの組み合わせで議論を行った．ベースライン比較対象として，(1)単一LLMと，(2)三島ら[9]の単方向マルチエージェントを用いる．単一LLMは単体のモデルで予測を行う手法であり，提案手法と同様に正誤判定とその理由を出力させる．単方向マルチエージェントは，複数のLLMが独立して生成した意見をまとめ役のLLMに入力して最終判定を行う手法であり，エージェント間の議論を伴わない点が提案手法と異なる．3.3結果と考察それぞれの手法で，LLMの各組み合わせで議論して階層の真偽判定を行った．その結果を表1に示す．表1の値は3回の試行での平均値について，全組み合わせの結果の平均を平均値，F値が最も高い組み合わせの結果を最高値としている．単一のLLMと比較して，LLMを対話させることで，GPT-4ominiで最大2ポイント，GPT-4oで最大4ポイントF値が向上した．F値が最も高い組み合わせのほとんどは，中立に評価する専門家LLM(N)を含んでいた．何らかの観点に特化した専門家LLM(S,R,I)のみで議論した場合は，それぞれの観点に偏った意見が対立しやすorg/licenses/by/4.0/).LLMのペアacc(dev)F1(dev)LLMのペアacc(dev)F1(dev)い。一方で、中立に評価する専門家(N)が含まれると特定の観点によるバイアスが緩和され、妥当な判断がされやすくなると考えられる。リレー形式とパラレル形式の間の議論の進行形式による有意差は見られなかった．また，まとめ役の導入は多くの場合で性能向上に寄与した一方で，フィードバック役の導入による性能向上は確認されなかった．フィードバック役を導入した対話では，バックで指摘された論理的欠陥を修正しようとする過程で、もっともらしい意見に改善され，まとめ役がそれを正しいと判断してしまうケースが多く見受けられた．4おわりに本研究では，LLMによって構築されたオントロジー階層に対して，複数LLMにより誤った階層を検出する手法を提案した．複数LLMの議論により，階層の誤り検出の精度を向上させることができることを実証した．今後の課題として，文脈を考慮した誤った階層を検出すること，誤った階層を検出した後に修正させることが挙げられる．単一LLM平均値-77.0±1.273.1±1.7-80.5±0.978.1±1.1最高値N78.375.4N81.879.6単方向マルチエージェント平均値-77.5±0.774.5±0.8-82.6±1.580.8±1.6最高値IN78.075.3NS83.681.9リレー形式(まとめ役なし)平均値-77.5±1.774.2±2.3-81.9±0.980.2±1.2最高値NS78.776.4NS82.681.0パラレル形式(まとめ役なし)平均値-78.9±0.676.0±0.9-82.2±0.180.2±0.3最高値NR79.777.1RI82.180.4リレー形式(まとめ役あり)平均値-78.2±1.575.9±1.9-84.6±1.983.6±2.1最高値NS79.778.1NS85.985.0パラレル形式(まとめ役あり)平均値-78.2±0.775.6±0.7-82.9±1.181.4±1.1最高値IN78.776.3NS83.782.1リレー形式(まとめ役，フィードバック)平均値-78.0±1.775.2±2.2-83.4±2.282.2±2.5最高値NS79.677.7NS85.083.9パラレル形式(まとめ役，フィードバック)平均値-78.3±0.975.3±1.2-82.8±1.181.2±1.1最高値RI79.476.4NS83.681.9GPT-4ominiGPT-4oorg/licenses/by/4.0/).