本研究は，大規模言語モデルを用いて知識階層を自動構築し，視点の異なる複数のLLMによる協調的な評価を通して上位下位関係の誤りを検出・訂正する手法を提案する．大規模言語モデルを用いて知識階層を自動構築すると階層関係の誤りが避けられないため，異なる視点が与えられて偏向した複数のLLMエージェントが協調的に誤りを検出することでその自動訂正を目指す．具体的には，LLMが生成した初期オントロジーに対して，複数のLLMがそれぞれ異なる視点から階層関係の正しさを評価する．これにより，単一のLLMでは捉えきれない誤りを検出することが可能とする．交通教則文書からの概念階層構築に関する実験において，LLMの協調により階層誤り検出のF1スコアを5ポイント向上させることができ，その有効性が示された．

現在世の中に蓄積されている大量のデータの約8割が非構造化データであると言われており，これを構造化することで効率よく管理・活用することが可能になる．構造化された情報の代表例としてオントロジーがあり，オントロジーは概念間の上位下位関係としてSubClassOf関係を持つ．上位下位関係は，意味ネットワークやフレーム理論ではis-a関係と呼ばれる．例えば「緊急車両is-a車両」という概念間の関係が成り立つ．手動で大規模なオントロジー構築を行うことは時間とコストとがかかる．そこで，本研究では非構造化テキストデータからオントロジーを自動で構築することを将来的な目標として，まずは，上位下位関係により構造化された知識階層の自動構築を目指す．従来の深層学習を用いた手法では，長いテキスト処理が困難なことが問題として挙げられる[1]．ChatGPTのような大規模言語モデル（LargeLanguageModel;LLM）の飛躍的な発展により，多くの知識を蓄え[2]，LLMが用語間の関係を理解したり，テキストを適切に理解したりすることができるようになってきたことから，従来の深層学習を用いたオントロジー構築の問題点の解決が期待できる環境が整ってきている．現状，LLMは階層関係の構築において誤りを含んでいることが課題となっている[3]が，複数のLLMを使用することでその解決の可能性があると考えた．本研究では，LLMが自ら構築したオントロジー階層の誤りを自動的に検知し，改善できるようにすることを目的とする．単一のLLMでは認識できない誤りを複数のLLM協調的に利用することで，認識できるようにし，その結果を利用してオントロジー階層の改善を目指す．その全体像を図1に示す．本研究の貢献を以下に示す．•階層関係の誤り検出のために複数のLLMエージェントを設定し，その協調の有効性を実証した．•実験により，複数のLLMを用いることで単一のLLMよりも階層関係の誤り検出の再現率を20ポイント，F1スコアを5ポイント向上させることができることを示した．