# 推理語言模型

| 推理語言模型 |
| --- |
| 上级分类 | 大型语言模型  |

**推理语言模型**（英語：reasoning language model，RLM），也称**推理大模型**或**大型推理模型**（large reasoning model，LRM），是一类经过专门训练以解决需要多步逻辑推理的复杂任务的大型语言模型。与传统大型语言模型直接生成回复不同，推理语言模型在给出答案之前会分配额外的计算（即「思考」时间），以解决多步推理问题。它们具备回溯和修正早期推理步骤的能力，并将推理时计算作为提升性能的手段，与传统基于训练数据规模、模型参数和训练计算的扩展方法形成互补。

推理语言模型与传统大型语言模型在训练方式上的核心差异在于：前者在训练中使用过程监督，对中间推理步骤进行奖励而非仅对最终答案进行奖励，从而学会生成、批判和修正多步推理链。OpenAI于2024年9月发布了o1系列，首次以产品形式定义了这一模型类别。推理模型在逻辑、数学和编程任务上的表现显著优于传统语言模型。

## 历史

推理语言模型的研究轨迹融合了监督、提示和搜索式推理等方面的进展。

早期的AI对齐工作通过基于人类反馈的强化学习（RLHF）使模型能够遵循人类指令和偏好。2022年，Google Research的许主（Jason Wei）和周登（Denny Zhou）等研究者证明思维链提示「显著提升了」大型模型在复杂推理任务上的能力。一项后续研究发现，简单的指令「让我们一步步思考」（Let's think step by step）即可激发零样本推理能力。

随后的研究引入了自我一致性解码（通过采样多样化解题路径并选择共识答案来提升性能）和工具增强方法如ReAct（推理与行动的结合，促使模型同时生成推理轨迹和行动）。随后，思路树（Tree-of-Thoughts）框架由普林斯顿大学计算机科学家姚顺宇提出，使模型能够通过探索和回溯中间思路的树状结构来进行「深思熟虑的决策」。

2023年，OpenAI的Lightman等人在论文《让我们逐步验证》（Let's Verify Step by Step）中证明，对每一步正确推理进行奖励的过程监督「显著优于」仅对最终结果进行奖励的结果监督，并在复杂数学问题上提升了可解释性。

2024年9月，OpenAI发布了o1-preview，这是首个具有高阶推理能力的大型语言模型。2024年12月，OpenAI推出了o1正式版并预告了o3。同月，阿里巴巴发布了具有推理能力的QwQ-32B-Preview和视觉推理模型QvQ-72B-Preview。Google也在Gemini中推出了深度研究（Deep Research）功能。

2025年1月，DeepSeek发布了R1，以显著更低的计算成本实现了与OpenAI o1相当的性能，并展示了群组相对策略优化（GRPO）技术的有效性。同月，DeepSeek进一步为R1增加了网络搜索能力。2025年2月，OpenAI推出了深度研究（Deep Research）功能，这是一种基于o3模型的工具，允许用户执行多步推理和多来源信息综合的复杂研究任务。

推理语言模型的发展验证了里奇·萨顿所说的「惨痛教训」——利用计算的通用方法往往比依赖特定人类洞察力的方法表现更好。例如，GAIR实验室在2024年末最初尝试使用树搜索和强化学习等复杂方法复制o1的能力，但发现知识蒸馏——训练较小模型模仿o1的输出——出人意料地表现更好，凸显了知识蒸馏的实力。2025年初的s1-32B研究进一步证实了预算强制和缩放方法的有效性。OpenAI将GPT-4.5称为「最后一个非思维链模型」，而GPT-5引入了路由器模型，根据任务难度选择合适的模型。2026年1月，月之暗面发布了Kimi K2.5，一个具有1万亿参数的混合专家模型，并采用了「智能体群」（Agent Swarm）系统，将任务动态分解为多个子智能体进行并行推理和执行。

## 训练方法

推理语言模型遵循与前沿语言模型相同的大规模预训练过程，但在后训练和优化阶段有所不同。

### 强化学习

OpenAI的o1通过大规模强化学习算法进行训练，该算法教会模型在回答问题之前使用和完善思维链。OpenAI强调两个耦合的杠杆——训练阶段更多的强化学习和推理阶段更多的思考时间——并报告准确率随着两者的增加而平稳提升。

一个核心要素是过程监督：对中间步骤而不是仅对最终答案进行奖励。OpenAI的研究引入了一个在逐步骤标签上训练的过程奖励模型，发现在复杂数学问题上，过程监督显著优于仅结果监督。该研究还发布了PRM800K逐步骤反馈数据集，并论证了过程级奖励可以提高可解释性。

STaR（自举推理器）方法通过迭代生成和过滤推理链，然后对这些轨迹进行微调来引导推理。DeepSeek的R1使用纯强化学习训练来诱导长链推理、自我验证和反思，证明针对推理链质量的训练已成为独立于仅结果对齐的训练范式。

### 结果奖励模型

结果奖励模型（ORM）根据最终答案的正确性给出奖励。ORM常用于选择最优回复（最佳N采样），实现一种简单的推理时计算扩展。DeepSeek使用简单的ORM训练了R1模型。

### 过程奖励模型

过程奖励模型（PRM）根据部分推理轨迹的每一步给出奖励。训练PRM需要每步标注，但成本较高。Math-Shepherd等方法通过蒙特卡洛树搜索从ORM自动生成过程奖励标签，避免了对人类标注的依赖。

### 监督微调

推理语言模型也可以在配对推理任务与逐步解决方案轨迹的数据集上进行监督微调。由于人工编写轨迹成本高昂，研究者使用拒绝采样微调（RFT）自动生成数据集——为每个提示生成多个推理轨迹，然后使用验证器过滤出最终答案错误的轨迹。

## 推理时计算

推理语言模型通过在推理阶段分配更多计算来提升性能。常见的方法包括：

* **最佳N采样**（Best-of-N）：模型生成多个候选回复，ORM选择最佳的一个。
* **束搜索**（beam search）：在每一步由PRM引导，选择评分最高的推理路径。
* **前瞻搜索**（lookahead search）：在每个推理步骤进行短距离展开，根据展开结果的质量选择下一步。
* **自我一致性**（self-consistency）：生成多样化的答案路径，通过聚类选择共识答案。

2024年12月的研究表明，通过扩展推理时计算，一个较小的Llama 3B模型可以在复杂推理任务上超越更大的Llama 70B模型，证明改进的推理策略即使在小型模型中也能解锁推理能力。

## 模型

| 公司 | 模型 | 发布日期
 |
| --- | --- | --- |
| OpenAI
 | GPT-5（o3.1） | 2025年8月
 |
| o3和o4-mini | 2025年4月
 |
| o3-mini | 2025年1月
 |
| o1 | 2024年12月
 |
| o1-preview | 2024年9月
 |
| GPT-OSS | 2025年8月
 |
| Google Gemini
 | Gemini 2.0 Flash Thinking | 2024年12月
 |
| Gemini 2.5 Pro | 2025年3月
 |
| Gemini 2.5 Flash | 2025年4月
 |
| Gemini 2.5 Computer Use | 2025年10月
 |
| Gemini 3 Pro | 2025年11月
 |
| Gemini 3 Flash | 2025年12月
 |
| DeepSeek
 | R1和R1-Lite-Preview | 2025年1月
 |
| V3-0324 | 2025年3月
 |
| R1-0528 | 2025年5月
 |
| V3.1 | 2025年8月
 |
| V3.2-Exp | 2025年9月
 |
| 阿里巴巴
 | QwQ-32B-Preview | 2024年11月
 |
| QvQ-72B-Preview | 2024年12月
 |
| QwQ-32B | 2025年3月
 |
| Anthropic
 | Claude Sonnet 3.7 | 2025年2月
 |
| Claude Sonnet 4.5 | 2025年9月
 |
| Claude Haiku 4.5 | 2025年10月
 |
| Claude Opus 4.5 | 2025年11月
 |
| Mistral AI | Magistral Medium / Small | 2025年6月
 |
| xAI
 | Grok 3 | 2025年2月
 |
| Grok 4 | 2025年7月
 |
| Hugging Face | OlympicCoder-7B & 32B | 2025年2月
 |
| NVIDIA | Llama Nemotron | 2025年3月
 |
| 腾讯 | Hunyuan T1 | 2025年3月
 |
| 月之暗面
 | Kimi K2 Thinking | 2025年11月
 |
| Kimi K2.5 | 2026年1月
 |

## 评价基准

推理语言模型在多个基准测试上的得分显著高于非推理模型，特别是在需要多步推理的任务上。在美国邀请赛数学考试（AIME）上，非推理模型通常只能解决不到30%的问题，而推理模型达到50%至80%的成功率。OpenAI o3-mini-high在AIME上达到80%的准确率，且成本比完整o3模型低约12倍。

「人类最后的考试」（Humanity's Last Exam，HLE）基准测试评估数学、人文和自然科学领域的专家级推理能力。当前最先进的推理模型得分仍然较低——o3为26.6%，o3-mini-high（仅文本题）为13%——表明推理模型仍有很大的改进空间。

部分基准测试因推理模型较长的响应时间和较高的推理成本而将其排除在外，包括网络物理系统中的在线复杂事件检测、Verilog工程设计任务和网络安全评估等。

## 局限与争议

### 推理成本

推理语言模型在推理时需要显著更多的计算资源。研究显示，在AIME基准测试上，推理模型的运营成本是其非推理对应模型的10至74倍。延长的推理时间源于模型生成详细、逐步的推理输出，其长度远超直接提供答案的标准语言模型。

### 过度思考攻击

2025年初，有研究者指出推理模型可能面临「过度思考」（overthinking）拒绝服务攻击——通过人为诱导模型在简单问题上消耗大量推理计算。

### 透明度与安全

OpenAI选择对o1的原始思维链进行隐藏，仅返回模型撰写的摘要，称「决定不展示」底层思维过程以便研究人员在不向最终用户暴露未对齐内容的情况下进行监控。这一做法引发了关于推理模型透明度和可审计性的讨论。

### 开源与垄断

DeepSeek R1和s1-32B等开源推理模型的出现挑战了OpenAI等公司的封闭策略，推动了推理能力的民主化。但同时也引发了关于开源模型可能被滥用的担忧。

* 自动推理
* 大型语言模型
* 检索增强生成