正解保証を伴う思考プロセス付き合成データ生成による日本語大規模言語モデルの数学推論能力向上

近年、大規模言語モデル（LLM）の高い汎用性が注目され、自然言語処理のみならず、多様な分野での応用が期待されている。しかし、数学タスクのように多段階の論理的推論を要する問題は依然として難易度が高く、主に英語圏において、英語数学タスクの性能向上を図る試みが盛んである[1][2][3][4][5][6]。一方、日本語特化のLLM（日本語LLM）が、日本語を用いて数学タスクを解く能力については、十分に検証されていない。実際、予備実験の結果（表1）や、日本語LLMによるJapaneseMT-Benchの数学カテゴリの性能分布1）と、英語圏モデルによるMT-Benchの性能分布2）を見ても、日本語LLMの1）https://swallow-llm.github.io/evaluation/index.ja.html2）https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard日本語で数学を解く性能水準は、英語圏のLLMが英語で数学を解くものには達していないと推測される。この性能差の大きな要因として、日本語の数学データ（特に思考過程を含むデータ）が英語に比べて圧倒的に不足していることが挙げられる。英語数学データを対象に、推論の思考過程を付記した合成データを作成する手法がある[1][2]が、合成されたデータの出力内容の正確性を保証していない。一方、出力が正しいかは数学に大きく影響を与えることが考えられる。本研究では、英語数学データセットであるPRM800K[7]およびGSM8K[8]を日本語に翻訳したデータをシードとして利用し、合成内容の正確性を保証しながら思考過程付き日本語数学データセットを合成する手法を提案する。実験では、約17万件の日本語数学タスクの高品質なデータセットを実際に構築し、日本語LLMであるLlama-3-ELYZA-JP-8B3）を追加学習した結果、データが思考過程を含む日本語で記述されていること、およびデータ合成時に正解を保証することの有用性を示した。