頑健な質問応答(QA)モデルの訓練、評価を行うためには、様々なQAデータセットを用意する必要がある。しかし、多様なQAデータセットが存在する言語は英語だけであり、日本語においては少数の基本的なQAデータセットしか存在しない。本研究では、人間の情報欲求から自然発生する質問からなるNaturalQuestions(NQ)とBoolQの日本語版(JNQ,JBoolQ)を構築する。構築は、検索エンジンのクエリログから日本語の自然な質問文を収集し、クラウドソーシングを利用したアノテーションによって行う。また、JNQから2つのタスク、JBoolQから1つのタスクを定義し、QAモデルを評価する。

高性能かつ頑健な自然言語処理(NLP)モデルを構築するためには、様々な質問応答（QA）データセットを用意し、訓練、評価、分析をすることが重要である。QAデータセットには抽出型、生成型、多肢選択式など様々な種類があり、それらを解くためにはMulti-hop推論[1]や実世界知識[2]など多くの技術・知識が必要となる。UniﬁedQA[3]やFLAN[4]のように様々なQAタスクを統合的に解く研究もあるが、このような統合的な解析が可能なのは英語だけであり、他言語では多様なQAデータセットが存在しないため不可能である。日本語には、JSQuAD[5]やJaQuAD[6]、JAQKET[7]などの基本的なQAデータセットしか存在しない。日本語に存在しない重要なQAデータセットとして、人間の情報欲求から自然に発生する質問からなるNaturalQuestions(NQ)[8]がある。例えばSQuAD[9]では、質問をアノテータに作成してもらうため自然な質問ではなく、annotationartifacts[10]が存在するという問題がある。これに対して、NQでは、検索エンジンにユーザが入力したクエリが用いられており、自然な質問と考えられる。本研究では、翻訳を使用せず、検索エンジンの日本語クエリログを利用して、日本語NaturalQuestions(JNQ)を構築する。クエリログからデータセットを構築するために、NQでは訓練されたアノテータが雇用されていたが、JNQではコストを低減するためにクラウドソーシングで行う。JNQに加えて、NQから派生したyes/no質問からなるBoolQデータセット[11]の日本語版であるJBoolQも構築する。JNQとJBoolQの例を図1に示す。また、JNQからLongAnswer抽出タスク、ShortAnswerタスク、JBoolQからYes/NoAnswer識別タスクを定義し、ベースラインとなるモデルの評価を行った。