複数文書の読解を要する質問の自動生成と質問応答システムへの応用

自然言語処理における機械学習の利用においては、学習データの量が重要であり、多量かつ高品質なデータセットの取得が課題の1つになっている。データセットを作成する手法としてアノテーションが使われる。しかし、アノテーションを人手で行うとコストが高くなってしまうため、データ作成・拡張を自動で行う手法が用いられることもある。本研究ではデータ拡張をオープンドメイン質問応答タスクに応用する。オープンドメイン質問応答タスクは質問に対する文書の検索と読解で構成され、そのデータセットには、複数の文書を読解しなければ解答できない質問が多く存在する。本研究では、テキスト生成モデルをベースとした質問応答モデルであるFusion-in-Decoder[1]1）(FiD)を用いて質問を自動生成する手法を提案する。提案手法のFiDは解答と複数の文書を入力とし、与えられた解答に対応する質問を生成する。FiDは元来、複数の文書を考慮した出力の生成が可能であり、生成される質問は複数の文書を参照しなければ解答できないものになることが期待される。一方で、生成された質問は矛盾や不自然な表現を1）https://github.com/facebookresearch/FiD含む場合や、異なる解答を持つ場合があり、そのまま追加データとするには不適切な場合がある。このため、元の質問と表現が異なり、かつ解答が同一である質問を選別するため、生成された質問と元の質問との類似度を用いたフィルタリングを行う。選別された質問をデータセットに追加して質問応答システムの学習を行った結果、データ拡張を行わずに学習を行った場合と比べて、正答率が最大で2%改善し、自動生成された質問が学習に貢献することが示された。また、1つの文書のみで生成した質問を加えた場合、複数文書で生成した質問で学習した場合よりも正答率が悪化し、複数文書で生成を行う提案手法が有効であることが示された。また、フィルタリングを行うと、正答率が最大で0.6%向上し、フィルタリングも効果があることが示された。