教育を目的とした日本語初等数学問題に特化した大規模言語モデルの構築

近年、様々なオープンソース大規模言語モデルの登場に伴い、特定の領域向けの大規模言語モデルを開発することが可能になっている。しかし、日本語での初等数学教育を目的とした大規模言語モデルは未だに存在していない。本稿では、基礎的な数学問題を解き、教育に有用な推論過程が付いた答えが出力できる日本語大規模言語モデルを構築する方法について報告する。具体的には、日本語の初等数学問題データセットを構築し、JapaneseStableLMBeta7Bをファインチューニングし、日本語数学専門言語モデルJElementaryMathGPTを構築した。さらに、モデルの評価方法について議論し、既存の言語モデルと性能を比較した。