JEMHopQA:日本語マルチホップQAデータセットの改良

知識と推論スキルの両方を必要とする複雑なタスクにおいて，高性能な大規模言語モデル（LLM）の高い精度が報告されている[1]．しかし，そのようなLLMがQA問題の解決に必要な知識をどの程度持っているのか，またその知識を活用する推論をどの程度正確に実行しているのかは，正確には明らかになっていない．LLMは推論の際に，どれくらいの頻度で「幻覚」のような知識に頼っているのだろうか．このような幻覚は，人間が注意深く作成した構造化知識ベース（KB）によって改善できるのだろうか？そのような調査のためのベンチマークは，英語では，マルチホップQAデータセット[2,3]から人間による注釈付きマルチホップQAデータセット[4,5,6,7]に至るまで，ベンチマークが既に多数利用可能であるが，他の言語では稀である．本論文では，JEMHopQA(JapaneseExplainableMulti-HopQuestion-Answering)を紹介する．JEMHopQAは石井ら[8]が報告したWikipediaベースの日本語では初となる説明可能なマルチホップQAデータセットを改良したものであり，1,179組の質問と答え，および答えを導出するためのトリプルの形の知識を含んでいる（図1，図2）．このデータセットを用いることで日本語において，LLMに内在する知識の網羅質問:ルーヴル美術館が所在する都市の市長の名前は？導出:(ルーヴル美術館,所在地,パリ)，(パリ,市長,アンヌ・イダルゴ)回答:アンヌ・イダルゴ質問:『天空の城ラピュタ』と『となりのトトロ』の公開日が早いのは、『となりのトトロ』ですか？導出:(天空の城ラピュタ,公開年,1986年)，(となりのトトロ,公開年,1988年)回答:NO性や，問題を解決するために知識を適切に運用するスキルなど，知識の観点からの評価が可能である．問題作成では，自然で多様な質問を作成しつつスケーラビリティを確保するために，クラウドソースおよびLLMを用いて作成した上で，後処理による品質改善を実施した．石井ら[8]が報告した1,070件をもとに，2,203件の追加，後処理にて2,094件の削除および576件の修正を行い，最終的に約100件増加となる1,179件に拡張および品質改善を行ったものである．後処理では自動チェック項目の追加および，手作業によるチェックを強化した．本稿では，まずJEMHopQAのデータセットの仕様（2章），次にデータセット構築（3章）について説明し，最後に作成されたデータセットの統計と分析結果および，想定するタスクについて述べる（4章）．想定するタスクで用いることができる評価スクリプトはJEMHopQAデータセットとともに公開されている1）．1）https://github.com/aiishii/JEMHopQA.