前提知識を考慮した数学の確率問題自動解答の精度向上

2022年11月に公開された対話型文章生成AIであるChatGPTは，その高品質な回答により世間からも大きく注目されている．一般的な事柄に対する質問への回答精度が高く，教育分野への活用も多く提案されている．文章生成AIが個別学習に使用されるようになれば，各人の理解不足の部分に絞った学習も行いやすくなり，効率的に学習が進められることも期待できる．しかし，現時点でのChatGPTなどの文章生成AIは，計算や数学問題を解くのが苦手であると言われており，数学の分野に関してはそのまま個別学習に文章生成AIを使うのにはまだ課題がある．一方，ChatGPT以前の数学の問題に対する自動解答の研究では，最終的な計算結果のみで解答精度を出しているものや計算問題の解答精度についての研究が多く，数学の個別学習に重要な問題の解法過程の正否まで細かく評価している研究や文章問題についての研究は少ない．数学の個別学習にこれらの技術を用いるには，ChatGPTなどの対話型文章生成AIのような高い文章生成能力も重要な要素となる．高い文章生成能力を保ちつつ，数学の問題解答精度についても高める技術が求められている．そこで本研究では，ChatGPTの基盤となっている大規模言語モデルGPT-4の数学問題を自動解答する際にどのような部分が解答精度の低下につながっているのかを分析した．現在の大規模言語モデル(LLM)に不足した部分を補うことにより数学問題の自動解答の精度向上を目指した．題材としては，数学の問題の中でも問題内容を文章で表現できることが多く，また従来の数学問題自動解答の研究でも高い精度を出すことが難しいと言われている確率分野の問題を取り上げる．