教育を目的とした日本語初等数学問題に特化した大規模言語モデルの構築

ChatGPT[1,2]をはじめとする大規模言語モデルは、高い言語理解能力と言語生成能力を持つことが示されている。大規模言語モデルは翻訳[3]やコード生成[4]、QA（質問応答）[5]、文章要約[6]などの様々なタスクにおいて、その有効性が報告されている[7,8]。大規模言語モデルの優れた言語理解力と生成能力を利用して、数学の問題を解くことが試みられているが、現在の大規模言語モデルでは解けない問題が多いことが報告されている。図1に示すように、これらの大規模言語モデルは、非常に簡単な数学問題でさえも、解けないことがある[9]。そのため、大規模言語モデルの数学能力を改善する様々な手法が試みられている。例えば、WizardMath[10]は、RLEIF（ReinforcementLearningfromEvol-InstructFeedback）を提案し、Llama2[11]の数学推論能力を改善した。Llemma[12]は、科学論文、数学問題や*共同第一著者コードなどを含むウェブデータであるProof-Pile-2データセットでCodeLlama[4]の事前学習を継続し、数学推論能力を向上させた。一方、大規模言語モデルは教育分野でも徐々にその有効性が示されつつある。例えば、大規模言語モデルはPythonやC++、Rustなどの初心者のプログラミング言語の学習を助けることができる[13]。また、非英語母国語話者の英語会話やライティングの練習を助けることができる[14]。今後、大規模言語モデルが人々が新しい知識を学ぶのを強力にサポートするようになると期待されている。しかし、日本語の分野では、教育を目的とする数学専門の大規模言語モデルはまだ存在していない。そこで本稿では、教育目的のため、初等数学問題を解決し、手順を示すことができる大規模言語モデルの構築方法について報告する。具体的には、まず、解答プロセスを含む日本語初級レベルの数学データセットを構築し、それを利用して、オープンソースのStableLMをベースモデルとして教師ありファインチューニングを行い、数学に特化したモデルJElementaryMathGPTを構築した。評価実験の結果、7BサイズのJElementaryMathGPTは7Bサイズと13BサイズのVicuna1.5や7Bサイズと13サイズのWizardMath1.0を超える能力を持つことが明らかになった。