T5を用いた日本語の複雑な質問文に対する質問分解

質問応答(QA)は自然言語処理の重要なタスクの１つである[1]。質問応答で一般的な問題設定である機械読解タスクのデータセットの１つにSQuAD[2]がある。しかし、SQuADはモデルが与えられた文章を参照することで答えが得られる単純なファクトイド質問が多い。そのような単純な問題設定をより発展させた複雑な質問のデータセットとしてHotpotQA[3]やDROP[4]などがある。HotpotQAは多段階の推論を必要とするマルチホップ質問(multi-hopquestion)により構成されており、DROPは数値演算などを含む複雑な質問により構成されている。複雑な推論を必要とする質問を解くために、従来のエンドツーエンドの手法に加え、複雑な質問を複数の簡単な質問に分解するアプローチが提案されている[5]。エンドツーエンドの手法は内部がブラックボックスであり、解釈可能性が低いことや、質問分解によるアプローチは分解後の単純な質問（単なる計算や比較を含む）を処理するために既存の質問応答モデルやルールベースのシステムを利用できる利点がある。これらを踏まえ、本研究では質問分解によるアプローチに注目する。BREAK[6]では複雑な質問を読解するために質問分解のための意味表現としてQDMR(QuestionDecompositionMeaningRepresentation)が提案された。BREAKではQDMRを用いることで複雑な質問に対する質問応答の精度が向上することが示された。また、Guoら[7]はBREAKのデータセットに対してT5[8]を用いて学習することで質問文から分解質問を出力することが可能であることを示した。また、モデルが出力した分解質問を用いて質問応答器を学習することで質問応答の精度が向上することを示した。日本語での質問応答システムは研究されているが、日本語での質問分解のためのデータセットは存在していない。そこで、英語データセットであるBREAKを用いて日本語での質問分解を行うことが考えられる。その時、多言語で学習する方法や機械翻訳を用いる方法で英語データと同じように質問分解ができるかまだ明らかでない。そこでDeepL*1による翻訳を用いて単言語でT5を学習する手法を2手法と多言語T5を用いる手法を実施し、その性能を評価した。人手評価の結果、単言語の学習の手法で60パーセントの精度で一定の基準以上の分解ができることを示した。*1https://www.deepl.com.