---
license: mit
base_model: Qwen/Qwen3-8B
pipeline_tag: text-generation
library_name: transformers
tags:
- finance
- quantitative-trading
- alpha-factor
- reinforcement-learning
- grpo
- qlib
---
# Alpha-R1: Alpha Screening with LLM Reasoning via Reinforcement Learning
English | 中文
**Alpha-R1** 是一个面向量化 Alpha 筛选的推理增强型 LLM：基于 Qwen3-8B，通过 GRPO 强化学习（[verl](https://github.com/volcengine/verl)）以市场反馈奖励训练。它阅读 Alpha101 因子的**语义化描述**——每个因子如何起作用、何时有效、何时失效——并针对当前市场环境筛选出最值得激活的因子组合。
- 📄 Paper: [arXiv:2512.23515](https://arxiv.org/abs/2512.23515)
- 💻 Code: [FinStep-AI/Alpha-R1](https://github.com/FinStep-AI/Alpha-R1)（推理管线 / qlib 回测 / 训练配置）
- 📜 License: MIT
## 模型概览 (Model Overview)
| 项目 | 内容 |
|---|---|
| Base model | [Qwen/Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B) |
| 训练方法 | GRPO（verl），市场反馈奖励 |
| 输入 | 决策上下文 prompt：拼接的因子语义描述 `α_des` |
| 输出 | `` 中列出的选中因子 |
| 候选因子池 | 82 个 Alpha101 因子（论文筛选后） |
| 推荐解码 | temperature=0（greedy），top_p=0.7，max_new_tokens=4096 |
## 快速开始 (Quick Start)
### transformers
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "FinStep/Alpha-R1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype="bfloat16", device_map="auto")
prompt = "" # see the GitHub repo for the prompt builder
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": prompt}],
add_generation_prompt=True, return_tensors="pt",
).to(model.device)
# paper setting: temperature=0 (greedy), top_p=0.7
out = model.generate(inputs, max_new_tokens=4096, do_sample=False)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))
```
### vLLM
```python
from vllm import LLM, SamplingParams
llm = LLM(model="FinStep/Alpha-R1")
params = SamplingParams(temperature=0.0, top_p=0.7, max_tokens=4096)
outputs = llm.chat([[{"role": "user", "content": prompt}]], params)
```
完整的端到端管线（因子描述生成 → Alpha-R1 推理 → 输出解析 → qlib 策略回测）见 [GitHub 仓库](https://github.com/FinStep-AI/Alpha-R1)。
## 输出契约 (Output Contract)
模型在 `...` 中输出选中的因子 id，例如：
```
alpha001, alpha021, alpha053
```
GitHub 仓库的 `src/alpha_r1/parsing/` 提供了配套的校验与解析脚本。
## 表现 (Performance)
12 个月样本外测试（2025-01-01 ~ 2025-12-31，论文 Table 1）：
| 类型 |
方法 |
S&P 500 |
CSI 300 |
| AR (%) |
SR |
MDD (%) |
AR (%) |
SR |
MDD (%) |
| Non-LLM | Buy & Hold | 19.34 | 0.80 | 18.75 | 22.16 | 1.31 | 10.49 |
| PCA | 7.98 | 0.27 | 17.30 | 2.93 | 0.17 | 14.46 |
| XGBoost | 3.49 | 0.03 | 18.45 | 8.99 | 0.50 | 16.26 |
| LightGBM | -5.42 | -0.43 | 20.93 | 18.44 | 1.05 | 14.92 |
| A2C | 10.82 | 0.40 | 17.70 | 22.96 | 1.20 | 14.86 |
| PPO | 7.68 | 0.25 | 14.97 | 14.96 | 0.81 | 12.95 |
| DDPG | 2.53 | -0.02 | 15.04 | 1.97 | 0.12 | 16.54 |
| TD3 | 5.54 | 0.14 | 16.58 | 8.66 | 0.52 | 10.26 |
| SAC | 37.60 | 1.44 | 15.18 | 9.77 | 0.56 | 11.68 |
| LLM | Gemini 2.5 Pro | 14.23 | 0.55 | 17.01 | 16.29 | 0.90 | 14.01 |
| Claude 3.7 Sonnet | 10.92 | 0.40 | 18.88 | 10.13 | 0.57 | 14.49 |
| DeepSeek‑R1 | 21.94 | 0.93 | 14.36 | 14.66 | 0.81 | 14.60 |
| Qwen3‑8B | 12.85 | 0.47 | 19.52 | 15.44 | 0.79 | 14.38 |
| Alpha‑R1 (Ours) | 47.87 | 1.62 | 16.91 | 40.57 | 2.23 | 6.58 |
域外泛化（无需重训，论文 Table 2）：Russell 2000 上 80.54% AR（SR 2.46），CSI 1000 上 73.52% AR（SR 2.80）。AR = 年化收益，SR = 超额夏普比率，MDD = 最大回撤。
## 训练 (Training)
基于 Qwen3-8B，使用 verl 进行 GRPO 训练，奖励为市场反馈奖励（`R_final = R_adjusted - P_structural`，论文 §3.4）。训练配置与参考奖励实现见 GitHub 仓库的 `training/` 目录。
## 局限性 (Limitations)
- 本模型面向学术研究场景，输出不构成任何投资建议。
- 因子筛选依赖上游的描述生成与回测管线（见 GitHub 仓库），模型本身不直接产出可交易信号。
## 引用 (Citation)
```bibtex
@article{jiang2025alphar1,
title={Alpha-R1: Alpha Screening with LLM Reasoning via Reinforcement Learning},
author={Jiang, Zuoyou and Zhao, Li and Sun, Rui and Sun, Ruohan and Li, Zhongjian and Li, Jing and Jiang, Daxin and Bai, Zuo and Hua, Cheng},
journal={arXiv preprint arXiv:2512.23515},
year={2025}
}
```
## License
本项目基于 [MIT License](https://opensource.org/licenses/MIT) 发布。