計算機モデルの言語理解能力のさらなる向上に向けて、ベンチマークを改良し、より高度な言語理解能力を測ることができるようにする必要がある。本研究では多肢選択式の常識推論データセットJCommonsenseQA[1]に焦点をあて、計算機と人の協働によってデータセットを改良する。このデータセットの計算機による精度はすでに90%を越えており難易度が低いため、常識推論能力を測るには適切ではない。難易度が低い要因の一つとして、誤り選択肢群の中に正解とあまり関連がない選択肢が含まれていることが挙げられる。この問題に対処するため、まず正解と類似している誤り選択肢をテキスト生成モデルで自動生成し、次に生成された誤り選択肢候補の中からクラウドソーシングで適切な誤り選択肢を選択することによって、難易度の高いデータセットを構築する。実験の結果、構築したデータセットは元のデータセットよりも難易度が高くなっていることを確認した。

高性能な言語理解モデルを開発するためには、言語理解の能力を様々な観点から評価し分析するためのベンチマーク(データセット群)が必要である。英語においては、GLUE(GeneralLanguageUnderstandingEvaluation)[2]が構築、公開されている。GLUEである程度の高スコアを達成できる言語理解モデルが開発されると、より難易度の高いベンチマークとしてSuperGLUE[3]などが構築され、ベンチマーク構築と言語理解モデル開発の好循環が生まれている。このような英語における言語理解研究活性化の潮流に乗じて、世界中の各言語におけるベンチマーク構築が進んでいる。日本語については、言語理解ベンチマークJGLUE[1]を我々が構築した。それに伴V1質問:プレゼントに⼈気のある⽂房具は？選択肢:万年筆屋外ムーンコップ茶碗…BERTT5ステップ1:誤り選択肢候補⽣成ステップ3:既存誤り選択肢選択モデル1:ペンシル,ノート,..モデル2:ボールペン,折り紙,..コップ,茶碗ステップ2:誤り選択肢選択ペンシル,折り紙V2誤り選択肢⽣成データセット質問:プレゼントに⼈気のある⽂房具は？選択肢:万年筆ペンシル折り紙コップ茶碗ステップ4:質問作成V2質問リライトデータセット質問:インクを補充して書くものは？選択肢:万年筆ペンシル折り紙コップ茶碗い、多くの計算機モデルがJGLUE上で評価されている。英語のGLUEと同様に、多くのタスクで計算機モデルが人間を越える、もしくは、人間に近い精度を達成している。日本語においても、計算機モデルの言語理解能力のさらなる向上に向けて、ベンチマークを改良し、より高度な言語理解能力を測ることができるようにする必要がある。本研究では、言語理解に直接的な関係があると考えられる質問応答(QA)データセットであるJCommonsenseQA(JGLUEに含まれているデータセットのうちの一つ)にフォーカスし、より難易度が高いデータセットに改良する。JCommonsenseQAは、CommonsenseQA[4]の日本語版データセットであり、常識推論能力を評価するための5択のQAで構成されている。人間の精度は98.6%であるが、汎用言語モデルRoBERTa[5](large)は90.7%の精度であり、すでに十分に高い精度を達成している。モデルにとって解きやすくなっている要因の一つとして、誤り選択肢群に正解とほとんど関連がないものが存在することが挙げられる。図1.の上の例では、正解選択肢の「万年筆」と「屋外」や「ムーン」はほとんど関連がない。このような問題はモデルによって正解が簡単に弁別できてしまうため、常識推論能力を測るには適切ではないと考えられる。本論文では、計算機と人の協働によってJCom-monsenseQAを改良する手法を提案する。具体的には、まず正解と類似している誤り選択肢をテキスト生成モデルで自動生成し、次に自動生成された誤り選択肢候補の中からクラウドソーシングで適切な選択肢を選択する。実験の結果、構築したデータセットは以前構築したデータセットよりも難易度が高くなっていることを確認した。