日本語に特化した大規模言語モデル（日本語LLM）の日本語数学能力を改善するには、高品質な学習データを大量に用意することが必要である。本研究では、任意の英語数学問題-回答ペアをシードに、日本語で記述された思考過程付きの数学学習データを、出力の正解を保証しながら半自動で合成する方法を提案した。また、実際に英語数学データに対して提案手法を適用し、約17万件の学習データを合成した。PRM800KおよびGSM8Kの日本語翻訳版を用いた評価では、提案手法により合成された学習データは、日本語LLM(e.g.,Llama-3-ELYZA-JP-8B)の日本語数学推論能力を確かに改善することを示した。その過程で、学習データが日本語で記述されていることの有用性、データ合成時における正解保証の有用性を示した。

近年、大規模言語モデル（LLM）の高い汎用性が注目され、自然言語処理のみならず、多様な分野での応用が期待されている。しかし、数学タスクのように多段階の論理的推論を要する問題は依然として難易度が高く、主に英語圏において、英語数学タスクの性能向上を図る試みが盛んである[1][2][3][4][5][6]。一方、日本語特化のLLM（日本語LLM）が、日本語を用いて数学タスクを解く能力については、十分に検証されていない。実際、予備実験の結果（表1）や、日本語LLMによるJapaneseMT-Benchの数学カテゴリの性能分布1）と、英語圏モデルによるMT-Benchの性能分布2）を見ても、日本語LLMの1）https://swallow-llm.github.io/evaluation/index.ja.html2）https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard日本語で数学を解く性能水準は、英語圏のLLMが英語で数学を解くものには達していないと推測される。この性能差の大きな要因として、日本語の数学データ（特に思考過程を含むデータ）が英語に比べて圧倒的に不足していることが挙げられる。英語数学データを対象に、推論の思考過程を付記した合成データを作成する手法がある[1][2]が、合成されたデータの出力内容の正確性を保証していない。一方、出力が正しいかは数学に大きく影響を与えることが考えられる。本研究では、英語数学データセットであるPRM800K[7]およびGSM8K[8]を日本語に翻訳したデータをシードとして利用し、合成内容の正確性を保証しながら思考過程付き日本語数学データセットを合成する手法を提案する。実験では、約17万件の日本語数学タスクの高品質なデータセットを実際に構築し、日本語LLMであるLlama-3-ELYZA-JP-8B3）を追加学習した結果、データが思考過程を含む日本語で記述されていること、およびデータ合成時に正解を保証することの有用性を示した。