LLMによるクイズの自動生成と質問応答への応用

近年、大規模言語モデル(LLM)は進化するとともに様々な分野・場面で応用されている。その1つにLLMを用いた学習データ生成が注目されている。従来の人手によるデータ作成でボトルネックとなっていた、作成コストや専門的人材確保の問題の解決策として提案されている。しかし、これまでの研究では、言語やタスクなどの違いによって、効果の有無が大きく異なっており[1,2,3,4]、その可能性は未知数であるといえる。本研究では、LLMを用いたデータ生成を、クイズを題材とした質問応答タスクに応用する。この時、プロンプトで質問を段階的に生成するなどの工夫を取り入れる。一方で、生成された質問は、矛盾や不自然な表現を含む場合や、事実と異なる解答を持つ場合があり、そのまま応用するには不適切な場合がある。そのため生成したクイズの評価、フィルタリングを行う。近年、LLMによる生成結果の評価能力が向上していることを受け、本研究ではクイズの生成にとどまらず、評価までを一貫してLLMにより実施する手法を提案する。さらに、生成されたクイズデータで質問応答システムを学習し、学習の有効性を検証する。生成されたクイズに対するLLMによる評価を人手評価と比較、検証した結果、LLMは人間と同レベルで実施できる評価とそうでない評価を有することを確認した。また、生成されたクイズを質問応答システムに応用した結果、学習データとしての有効性を確認した。本提案手法を用いた学習データの自動生成により、データ量が少ない、もしくは専門的人材が確保できないなどの理由で学習データの確保に困難を伴う分野での応用が期待される。