在DeepSeekMath语料库上进行训练，可以提升英语和中文的数学推理性能。相比之下，现有的主要以英语为中心的数学语料库，在中文数学推理方面的提升有限，甚至可能起反作用。关于其大规模，DeepSeekMath语料库比现有的数学语料库大几倍。DeepSeek-LLM 1.3B在DeepSeekMath语料库上训练时，显示出更陡峭的学习曲线和更持久的改进。相比之下，基线语料库要小得多，并且在训练期间已经重复了多轮，导致模型性能很快达到平台期。训练和评估DeepSeekMath-Base 7B在本节中，我们介绍DeepSeekMath-Base 7B，这是一个具有强大推理能力的基础模型，尤其是在数学方面。我们的模型使用DeepSeek-Coder-Base-v1.5 7B进行初始化，并训练了5000亿个词元。数据分布如下：56%来自DeepSeekMath语料库，4%来自AlgebraicStack，10%来自arXiv，20%是Github代码，其余10%是来自Common Crawl的中英文自然语言数据。我们主要采用上一节中指定的训练设置，只是将学习率的最大值设置为4.2e-4，并使用1000万词元的批处理大小。我们对DeepSeekMath-Base 7B的数学能力进行了全面评估，重点关注其在不依赖外部工具的情况下生成独立的数学解决方案、使用工具解决数学问题以及进行形式化定理证明的能力。除了数学，我们还提供了该基础模型的更全面的概况，包括其在自然语言理解、推理和编程技能方面的表现。带分步推理的数学问题解决我们使用少样本思维链提示，在八个中英文基准上评估了DeepSeekMath-Base解决数学问题的性能。这些基准涵盖了定量推理（如GSM8K、MATH和CMATH）和多项选择题（如MMLU-STEM和Gaokao-MathQA），覆盖了从初级到大学水平复杂度的不同数学领域。在开源基础模型中（包括广泛使用的通用模型Mistral 7B和最近发布的在Proof-Pile-2上进行数学训练的Llemma 34B），DeepSeekMath-Base 7B在所有八个基准上均处于领先地位。值得注意的是，在竞赛级别的MATH数据集上，DeepSeekMath-Base比现有的开源基础模型绝对高出10%以上，并且超过了Minerva 540B，这是一个比它大77倍的闭源基础模型，该模型建立在PaLM之上，并进一步在数学文本上进行了训练。带工具使用的数学问题解决我们使用少样本程序思维提示，在GSM8K和MATH上评估了程序辅助的数学推理。模型被提示通过编写一个Python程序来解决每个问题，其中可以使用math和sympy等库进行复杂的计算。程序的执行结果被评估为答案。DeepSeekMath-Base 7B的表现超过了之前的最先进模型Llemma 34B。形式化数学形式化证明自动化有助于确保数学证明的准确性和可靠性，并提高效率，近年来受到越来越多的关注。我们在非形式化到形式化证明的任务上评估了DeepSeekMath-Base 7B，该任务是基于一个非形式化陈述、该陈述的形式化对应物以及一个非形式化证明来生成一个形式化证明。我们在miniF2F（一个用于奥林匹克级别数学形式化的基准）上进行评估，并使用少样本提示为每个问题生成Isabelle中的形式化证明。我们遵循他人的做法，利用模型生成证明草图，并执行现成的自动证明器Sledgehammer来填充缺失的细节。DeepSeekMath-Base 7B在证明自动形式化方面表现出强大的性能。自然语言理解、推理和代码我们在MMLU上评估模型的自然语言理解性能，在BBH上评估推理性能，在HumanEval和MBPP上评估编码能力。与它的前身DeepSeek-Coder-Base-v1.5相比，DeepSeekMath-Base 7B在MMLU和BBH上的性能表现出显著增强，说明了数学训练对语言理解和推理的积极影响。此外，通过在持续训练中包含代码词元，DeepSeekMath-Base 7B有效地保持了DeepSeek-Coder-Base-v1.5在两个编码基准上的性能。总体而言，DeepSeekMath-Base 7B在三个推理和编码基准上显著优于通用模型Mistral 7B。监督式微调SFT数据整理我们构建了一个数学指令微调数据集，涵盖了来自不同数学领域和不同复杂程度的中英文问题：问题与思维链（CoT）、程序思维（PoT）和工具集成推理格式的解决方案配对。训练样本总数为77.6万。对于英文数学数据集，我们用工具集成的解决方案标注了GSM8K和MATH问题，并采用了MathInstruct的一个子集以及Lila-OOD的训练集，其中问题通过CoT或PoT解决。我们的英文数据集涵盖了代数、概率、数论、微积分和几何等多个数学领域。对于中文数学数据集，我们收集了涵盖76个子主题（如线性方程）的中文K-12数学问题，并以CoT和工具集成推理格式标注了解决方案。训练和评估DeepSeekMath-Instruct 7B在本节中，我们介绍DeepSeekMath-Instruct 7B，它在DeepSeekMath-Base的基础上进行了数学指令微调。训练样本被随机连接，直到达到4K词元的最大上下文长度。我们用256的批处理大小和5e-5的恒定学习率训练模型500步。我们在4个中英文定量推理基准上，评估了模型在有和没有工具使用情况下的数学性能。我们将我们的模型与当时领先的模型进行了基准比较。闭源模型包括GPT系列、Gemini Ultra和Pro、Inflection-2、Grok-1，以及中国公司最近发布的模型，包括百川-3和GLM系列的最新GLM-4。这些模型是通用模型，其中大多数都经过了一系列对齐程序。开源模型包括像DeepSeek-LLM-Chat 67B、Qwen 72B、SeaLLM-v2 7B和ChatGLM3 6B这样的通用模型，以及在数学方面有增强的模型，包括InternLM2-Math 20B、Math-Shepherd-Mistral 7B、WizardMath系列、MetaMath 70B、ToRA 34B和MAmmoTH 70B。在不允许使用工具的评估设置下，DeepSeekMath-Instruct 7B展示了强大的分步推理性能。值得注意的是，在竞赛级别的MATH数据集上，我们的模型比所有开源模型和大多数专有模型（如Inflection-2和Gemini Pro）至少高出9个绝对百分点。即使对于那些规模大得多（如Qwen 72B）或通过专注于数学的强化学习得到特别增强的模型（如WizardMath-v1.1 7B），这一点也成立。虽然DeepSeekMath-Instruct在MATH上与中国的专有模型GLM-4和百川-3不相上下，但它仍然不如GPT-4和Gemini Ultra。在允许模型集成自然语言推理和基于程序的工具使用来解决问题的评估设置下，DeepSeekMath-Instruct 7B在MATH上的准确率接近60%，超过了所有现有的开源模型。在其他基准上，我们的模型与之前最先进的、规模大10倍的DeepSeek-LLM-Chat 67B相当。强化学习组相对策略优化事实证明，在监督式微调（SFT）阶段之后，强化学习（RL）能有效进一步提升大语言模型的数学推理能力。在本节中，我们介绍我们高效且有效的强化学习算法——组相对策略优化（GRPO）。从PPO到GRPO近端策略优化（PPO）是一种演员-评论家（actor-critic）强化学习算法，广泛用于大语言模型的强化学习微调阶段。具体来说，它通过最大化一个代理目标来优化大语言模型。在PPO中，需要与策略模型一起训练一个价值函数，并且为了减轻对奖励模型的过度优化，标准方法是在每个词元的奖励中增加一个来自参考模型的KL惩罚项。由于PPO中使用的价值函数通常是与策略模型大小相当的另一个模型，这带来了巨大的内存和计算负担。此外，在强化学习训练期间，价值函数在计算优势（advantage）时被用作基线以减少方差。而在大语言模型的上下文中，通常只有最后一个词元被奖励模型赋予奖励分数，这可能会使训练一个在每个词元上都准确的价值函数变得复杂。