JCommonsenseQA2.0:計算機と人の協働による常識推論データセットの改良

計算機モデルの言語理解能力のさらなる向上に向けて、ベンチマークを改良し、より高度な言語理解能力を測ることができるようにする必要がある。本研究では多肢選択式の常識推論データセットJCommonsenseQA[1]に焦点をあて、計算機と人の協働によってデータセットを改良する。このデータセットの計算機による精度はすでに90%を越えており難易度が低いため、常識推論能力を測るには適切ではない。難易度が低い要因の一つとして、誤り選択肢群の中に正解とあまり関連がない選択肢が含まれていることが挙げられる。この問題に対処するため、まず正解と類似している誤り選択肢をテキスト生成モデルで自動生成し、次に生成された誤り選択肢候補の中からクラウドソーシングで適切な誤り選択肢を選択することによって、難易度の高いデータセットを構築する。実験の結果、構築したデータセットは元のデータセットよりも難易度が高くなっていることを確認した。