日本語のMathWordProblemsに対する深層学習モデルの適用とデータ拡張の検証

Transformerに代表される最近のニューラル言語モデルは，一般的に言って，自然言語理解を必要とするような多くのタスクにおいて，高い精度を達成しているものの，例えば，数学や物理の文章問題などの定量的な推論が必要なタスクでは，近年の言語モデルを用いても解答が難しいケースがおおく，未だ改善の余地が多く残されていることが知られている[1]．その中でも，MathWordProblems(MWP)は，文章問題から適切な数式を生成して，数式の演算を通して解答を求めるタスクである．このタスクでは，文章中にはないが，数式の木構造の中に必要となる1や𝜋，𝑒といった推論が必要な問題などがあるため，現在も発展中のタスクである．既存の手法の例として，事前学習済みモデルを使用した手法や，木構造を取り入れた手法などがある．このタスクが抱える問題の一つに，データ数が十分でなく，推論が必要な問題について，十分に学習できない．Zhangら[2]は，Math23Kという数学に関する文章題のデータセットで，77.4%の正解率(出力された計算式の計算結果の一致率)を得ている．しかし，Math23Kは，中国語の問題文と解答となる式からなるデータセットであり，問題文が日本語の場合において，同様の精度が得られるかについては，検証が求められる．そこで，本研究では，Math23Kを機械翻訳サービスを用いて，中国語を日本語に翻訳してデータとして用い，BERT及びGraph-to-Tree(Graph2Tree)を用いて，日本語の数学の問題を解答するタスクを学習させる．さらに，Graph2Treeに含まれるGraphConvolutionNetwork(GCN)[3]がどのようなグラフを生成するのかを検証するため，中間表現として構築されるグラフを可視化して検討を行う．最後に，データ拡張を行うことで，本タスクにおける式の精度と答えの精度に対し，効果があるのかを検証する．