多様なクイズを自動生成する手法およびその検証

近年、クイズがエンターテインメントのみならず、ビジネスや医療などへ応用されている。クイズを解くという行為には、思考力・判断力の向上や、記憶力・判断力の維持というメリットもあり、この観点から高齢者の認知機能維持のためにクイズが応用される例1）もある。しかし、クイズ問題の作問は、少量であれば人手でも負担が少ないものの、大量となると高コストになってしまう。また、クイズを解くという行為は、自然言語処理においては質問応答タスクに該当する。しかし日本語の質問応答データセットは、英語のものと比べて量が少ないため、データの自動生成による拡張が有効な手法であると期待される。本研究では、クイズ問題を自動で生成するシステムの構築に取り組む。クイズは問題と解答のペアで成立するが、同じ解答を導くための根拠となる知識は複数存在するため、問題で言及される内容は多様性を有すると考えられる。本研究では、多様な問題の生成を目指し、問題生成時の入出力形式を複数パターン提案し、比較検証する。通常は、根拠となる文書と想定解答を入力し、問題を出力する。しかし、入力または出力として指定する要素が少ない場1）https://www.kaigo-antenna.jp/magazine/detail-54/合、より制限のない問題生成が可能になり、多様性に富んだ問題が出力されることが期待される。本研究では、想定解答を入力しない場合と、解答と問題を同時に出力する形式での生成を試みる。また、問題が訓練データに過適応しないよう、2つの文章の類似度をスコアリングするBERTScore[1]を用いて、学習時の損失関数を制御する工夫を取り入れる。本研究は低コスト化を念頭に置き、大規模言語モデルを使用しない前提で実験を行った。入出力形式を変化させて問題生成を行った結果、文書のみから問題を生成する形式で多様性が高くなった一方で、文書と解答から問題を生成することで、より矛盾のない適切な問題を生成できることが分かった。また、損失制御によって、学習時のみならず推論時にも、元から存在する問題と異なる問題を生成できることを確認した。さらに、最新のWikipedia記事を入力することで、学習で使用されなかった文書であっても適切な問題を生成できることを確認した。