# 根拠を説明可能な質問応答システムのための 日本語マルチホップ QA データセット構築

石井愛 ${ }^{1}$ 井之上直也 ${ }^{1,2}$ 関根聡 ${ }^{1}$
${ }^{1}$ 理化学研究所 AIP ${ }^{2}$ 北陸先端科学技術大学院大学
\{ai. ishii, satoshi. sekine\}@riken.jp naoya-i@jaist. ac.jp

## 概要

推論の根拠を説明可能な質問応答システムの実現のためには，知識データを適切に活用するスキルを開発するための根拠情報を含むデータセットが必要だと考える. 本稿では，クラウドソーシングにより新たに生成する 3 つ組を用いた日本語のマルチホップ QA データセット構築の枠組みを提案し, 初期版のデータセットを公開する。調查分析結果から, 多様な表現の質問に応じて, 知識データの連鎖や数值比較等の様々なスキルが要求されることが示された.

## 1 はじめに

答えを導き出すために複数の情報や知識を用いて推論し, その推論の根拠を説明できる質問応答システムの実現には，構造化された知識を連鎖させながら適切に活用するスキルが重要となると考える. そのようなスキルに関連する既存のデータセットとしては, HotPotQA[1], R4C[2], 2WikiMultiHopQA[3]等の推論の根拠となる情報を含むマルチホップ $\mathrm{QA}$ タスクがある． R4C は HotPotQA をベースとして，推論過程を 3 つ組の組み合わせで付与したデータセットである．R4C の3つ組は HotPotQA の文単位の根拠から単純に 3 つ組を抽出することでは得られず,推論に関連した箇所を適切に出力することで高い評価を得られることが示されている[2].

構造化された知識としては, Wikidata[4], 森羅プロジェクト[5]の Wikipedia 構造化データ[6]等, 3 短組形式で利用可能な知識データがある. これらの知識を活用するスキルを開発するためのデータセットとしては, 2WikiMultiHopQA のように知識データの 3 つ組を用いて質問を生成することが考えられる.

図 1 構成質問の例

ただし，その質問を解く際に用いる知識データが質問作成時に用いたものと同一の場合, その知識デー タを活用するスキルはうまく開発されない可能性がある. また, 既存の知識データでは計算機が利用しやすいよう，3つ組の関係の記述は統一されている. そのため，作成された質問にバリエーションが生まれにくいと考える.

そこで本稿では, クラウドソーシングにより新たな 3 つ組を生成し，それをべースに質問，回答，および根拠の 3 つ組のセットを作成するデータセット構築の枠組みを提案する. クラウドソーシングによる新たな 3 つ組を用いることで，用いる知識データに依らず知識データの活用スキルを開発でき,かつ,多様で自然な表現が含まれるデータセットを生成することを狙う。本稿の貢献は以下のとおりである.

・クラウドソーシングに基づく3つ組を用いたマルチホップ QA データセット構築の枠組みを提案する。

・ データセットの初期版および, データセット構築の枠組みを公開するi.

- 生成したデータセットの定量的・定性的な分析結果を示す.


## 2 データセットの概要

## 2.1 データセットの目的

本データセットでは，マルチホップ推論が必要な質問 $\mathrm{Q}$ と回答 $\mathrm{A}$ および，その根拠を 3 つ組のセッ卜として提供する. 質問 $\mathrm{Q}$ から回答 $\mathrm{A}$ までの推論経路を導出するタスクにより, 知識データを適切に活用するスキルが開発されることを目的とする.

## 2.2 問題の種類

2 つの 3 つ組を前提として，根拠の説明を求める質問は，3つ組のどこか 1 つが共通しているか，並行しているかの 2 パターンと考えられる. 本データセットでは，共通するエンティティをブリッジエンティティとする(1)構成問題, 2 つの 3 つ組を比較する(2)比較問題の 2 種類の問題を作成する.

(1) 構成問題 2 つのページから生成された 2 つの 3 つ組 $(e, r 1, e 1)$ と $(e 1, r 2, e 2)$ を中心, $e 1$ をブリッジエンティティとして $, e, r 1$, および 2 を用いて質問， $e 2$ を用いて回答を作成する. ブリッジェンティティは, 図 1 の “ルーブル美術館”に相当する.

(2) 比較問題 2 つのページに内在する 3 つ組 $(e 1, r 1, e 2)$ と $(e 3, r 2, e 4)$ の $e 2$ と $e 4$ を比較する質問を作成する. 生年月日（例 $: e 1$ と $e 3$ どちらが先に生まれたか? ）や設立年, 所在地や出身国（例 : $e 1$ と $e 3$ の出身国は同じか?）等の情報から質問を作成する.

## 3 データセットの構築

本データセットは，(1)構成問題のための 3 つ組の生成, (2)3つ組を用いた構成問題の生成, (3)比較問題の生成の 3 つのクラウドソーシングタスクにより生成する. 対象とするぺージが人物や企業に関するページに偏らないよう，拡張固有表現[7](ENE) が Wikipedia ページに付与された分類データ[8]を使用し分布を調整する.

## 3.1 クラウドソーシングタスク

(1)構成問題のための 3 つ組の生成まず, 人気

体とほぼ同等となるように対象とするぺージ群を選定する。その際, 固有表現のハイパーリンクが含まれにくい概念の説明のページや，データセットにふさわしくないと考えられるぺージが含まれるカテゴリを手作業で確認し除外した. クラウドソーシングでは，ページ右側の表（Infobox）および冒頭部分

(Abstract) のハイパーリンクを対象に，ページタイトルを Subject, リンク先を Object とする 3 つ組の関係を記述するタスクを実施する。関係記述用画面（図 2）では，クラウドワーカーが関係を記述するボックスを選択すると, 右側の Web ページ部分の対象箇所がハイライトされる.

図 23 つ組の関係記述画面

(2) 3 つ組を用いた構成問題の生成起点とするページの 3 つ組に含まれるブリッジェンティティの候補について, ENE の分布が調整されるよう重みづけしてランダムに選定し，ブリッジェンティティでつながる 2 つの 3 つ組のぺアを生成する。その際， Infobox に含まれる情報のほうが問題生成に使われやすいという事前の調査結果から，Abstract に含まれブリッジェンティティが 6 割以上選択されるよう

図 3 構成質問生成時の根拠選択画面

調整する.クラウトトソーシングタスクでは，ブリッジエンティティでつながる 2 つのページの 3 つ組をぞれぞれ表で表示し（図 3），クラウドワーカーは 2 つの表の情報を用いて問題を作成し, 使用した 3 つ組を各表から選択して根拠のセットとする.

(3)比較問題の生成まず, 対象のページ群を Wikipedia ページに付与されているカテゴリ情報でグルーピングし， ランダムにグループを選定する。 そのグループ内からランダムに 2 ページのぺアを作成する。 その際，ENE の分布が調整されるよう重みづけをする. クラウドソーシングタスクでは，クラウドワーカーは左右に表示された 2 つぺージ（図 4）を見て，質問と答えを作成し，その際使用した情報を 3 つ組の形となるよう入力する. なお, 左右に 2 つのページを表示する画面では, Infoboxを表示するかどうかを制御し，ランダムに 4 割程度 Infobox が表示されるようにする.

図 42 2のページの比較画面

## 3.2 データセットの統計

以下に作成したデータセットの統計を示す. クラウドソーシングは Lancersiiiのタスク形式で実施し,問題として成立しないセットを簡易的な自動チェックおよび手作業にて構成問題 127 件, 比較問題 378 件除外した。

表 1 データセットの統計

## 3.3 データセットのサンプル

データセットのサンプルとして, 付録表 4 に構成問題の例，付録表 5 に比較問題の例を示す.

## 4 分析

作成したデータセットについての調査, 分析結果を示す.

## 4. 1 問題の分野の多様性

問題作成時に対象とする Wikipedia ページの ENE カテゴリが Wikipedia 全体の分布に近くなるよう調整した結果, 表 4 の分布となった. 分布は多少前後するものの，人気の高いページに非常に多く含まれる人名カテゴリへの偏りはある程度避けられている. 構成問題の起点ページ，ブリッジェンティティのページ，比較問題のページの ENE カテゴリの種類数はそれぞれ，46，56，58 と幅広い分野の質問が作成されたといえる. 表 4 の CONCEPT 等, 事前調查によりブリッジエンティティとなるような固有名詞が含まれにくいカテゴリや，「○○の一覧」等のまとめぺージが多く含まれる IGNORED, R18 の制限に相当するようなページが含まれるカテゴリはあらかじめ除外したため $0 \%$ となっている.

表 2 ENE カテゴリの分布（上位 10 カテゴリ）

\cline { 3 - 4 } & ia 全体 & 起点 & ブリッジ & 題 \\



## 4. 2 問題を解くために要求されるスキル

付録表 4 に示した構成問題は，クラウドソーシングで作成した 3 つ組を用いるため, その 3 つ組の関係がどのように表現されているかに質問の自然さが左右されている.

付録表 5 に示した比較問題は $1 \sim 4$ が数値を比較する問題である. 数値の意味をとらえた上で比較や計算するスキルが要求される。 3 は生年月日を用いて初土俵時の年齢を計算した上で比較する必要がある. 4 は個数を数える問題であり，「豊富なのはどちら」という質問に対し, 個数が多いほうを答える必要がある. 5, 6 は数値以外を比較する問題であり，5 のように片方が持つ属性値について質問し， それを持つのはどちらかを問う問題，または 6 のように両方の属性値が合致しているかどうかを問う問題がある. 6 のように属性によらず「石川県」が含まれているかを問う，「ゆかりのある」という表現の意味をとらえるスキルを要求する問題も作成された. 数値を比較する問題の割合は $34 \%$ であった. これは作成開始当初生年月日を比較する問題が多く作成されたため, 数値の比較以外の問題を作成するインストラクションをしたことによる.

## 4. 3 根拠の 3 つ組の特徴

Wikidata と比較した特徵クラウドソーシングで作成された 3 つ組の一部を Wikidata と比較した結果, 本研究の 3 つ組のほうが関係の数は多い傾向があった. Wikipedia は関係の記述が統一されているため, 汎用的である. 対して本研究の 3 つ組は, 表記ゆれが多く質問のバリエーションを高める用途には適していると考える. ただし, 低品質な記述も散見されるため, 改善方法の検討が必要である.

3 つ組抽出元のページ内位置表 3 に問題の根拠として使用された 3 つ組のページ内での出現位置を示す. 構成質問のブリッジェンティティはほぼ設定どおりの割合であり, 比較問題ではクラウドワーカー に見せる画面で比較問題に使用しやすいInfobox を表示するかどうかをランダムにしている効果から， Abstract とそれ以外の本文をあわせた割合と比較して Infobox が 5\%程度少ない結果となった. Both は Infobox と Abstract 両方に含まれる場合の割合であり, other は 3 つ組の Object がページ内の表現と完全一致しない割合である。比較問題の3つ組はクラウドワーカーがページ内の該当箇所をコピーして
Object エンティティとし, 関係を自由記述するようインストラクションに記載しているが， ゚゚ージ内の不要な情報を削除したケースや表 5 の 5 例のように，ページ内で存在しない情報を3つ組にしたケー スが含まれる。

表 3 使用された 3 つ組の出現箇所

## 5 おわりに

知識データを適切に活用するスキルの開発を目的とした，推論の根拠を 3 つ組のセットで含む日本語のマルチホップ QA データセット構築の枠組みを提案した. 調査分析結果から, 幅広いカテゴリの多様な表現の質問が含まれること, その多様な表現の意味を捉えた上での知識データの連鎖や数値比較等,様々なスキルが要求されることを示した。構築は継続中であるがこれまで構築した初期版となるデータセット，および構築のための枠組みとなるスクリプ卜等を

https://github.com/aiishii/jpn_explainable_qa_dataset にて公開予定である。

今後の課題として, 2WikiMultiHopQA にて提案されているような構成問題と比較問題を組み合わせたバリエーションや，2つの 3つ組から新たな関係を導いて用いる問題の追加があげられる。また，デ一タセットの規模を大きくしていく上で品質を確保する手段についても今後検討する予定である.

## 謝辞

本研究は JSPS 科研費 JP20269633 および

19K20332 の助成を受けたものです.

## 参考文献

[1] Z. Yang et al., "HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering," EMNLP 2018, pp. 2369-2380, 2018, doi: 10.18653/V1/D181259 .

[2] N. Inoue, P. Stenetorp, and K. Inui, "R4C: A Benchmark for Evaluating RC Systems to Get the Right Answer for the Right Reason," ACL 2020, pp. 6740-

6750, Jul. 2020, doi:

10. 18653/V1/2020. ACL-MAIN. 602.

［8］関根聡，安藤まや，小林暁雄， and 隅田飛鳥，“拡張固有表現定義の更新と日本語 Wikipedia 分類データ 2019,” 言語処理学会第26回年次大会, 2020.

## A 付録

表 4 構成問題の例

 & 長野県 &  \\

## 表 5 比較問題の例

 & NO & (奈良市, 人口, 約 35 万 2000 人),(ドバイ, 人口, 約 331 万人) \\