Repository: modelscope/evalscope
Issue: 使用vLLM服务推理arena_hard在review时报API连接错误
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

使用vLLM服务推理arena_hard在review时报API连接错误，有时一边报错一边执行，但完成后review的json文件score为null。

## EvalScope 版本（必填）
Version: 2.0.0

## 使用的工具
- [ ] Native / 原生框架

## 执行的代码或指令
from evalscope import TaskConfig, run_task
from evalscope.constants import EvalType, JudgeStrategy

task_cfg = TaskConfig(
    model='Qwen3-32B',
    api_url='http://127.0.0.1:9989/v1/chat/completions',
    api_key='EMPTY',
    eval_type=EvalType.SERVICE,
    work_dir='/home/xf/out/Qwen3',
    datasets=[
        'arena_hard'
    ],
    dataset_args={
        'arena_hard': {'few_shot_num': 0},
    },
    eval_batch_size=16,
    generation_config={
        'max_tokens': 32768,
        'temperature': 0.6,
        'top_p': 0.95,
        'n': 1,
        'do_sample': True,
    },
    stream=True,
    timeout=12000000,
)

run_task(task_cfg=task_cfg)

请提供您执行的主要代码或指令。

## 错误日志
2025-05-19 06:01:44,025 - evalscope - ERROR - Error when calling remote API: Connection error.
2025-05-19 06:01:44,025 - evalscope - ERROR - Error during LLM evaluation: Connection error.

![Image](https://github.com/user-attachments/assets/647ae53e-c917-4783-a433-ff12930eb229)

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：3.10.12

## 其他信息

如果有其他相关信息，请在此处提供。


arena_hard 需要指定Judge Model进行评测，目前模型调用的是openai的模型，没有配置的话就会报错。这个文档里有说明：https://evalscope.readthedocs.io/zh-cn/latest/get_started/supported_dataset.html#llm

judge_model_args={
        'model_id': 'Qwen3-32B',
        'api_url': 'http://127.0.0.1:9989/v1/chat/completions',
        'api_key': 'EMPTY',
},

添加了后，vllm服务是加载了，但出现请求超时错误：

025-05-22 10:42:28,080 - evalscope - INFO - Dump predictions to /home/xf/out/Qwen3/20250516_030358/predictions/Qwen3-32B/arena_hard_default.jsonl.
Reviewing(default):   0%|          | 0/500 [00:00<?, ?it/s]2025-05-22 10:43:28,162 - openai._base_client - INFO - Retrying request to /chat/completions in 0.420072 seconds
2025-05-22 10:45:24,690 - openai._base_client - INFO - Retrying request to /chat/completions in 0.496874 seconds
2025-05-22 10:46:25,251 - openai._base_client - INFO - Retrying request to /chat/completions in 0.931243 seconds
2025-05-22 10:47:26,247 - evalscope - ERROR - Error when calling remote API: Request timed out.
2025-05-22 10:47:26,248 - evalscope - ERROR - Error during LLM evaluation: Request timed out.
Reviewing(default):   0%|          | 1/500 [04:58<41:19:47, 298.17s/it]2025-05-22 10:49:20,446 - openai._base_client - INFO - Retrying request to /chat/completions in 0.472099 seconds
2025-05-22 10:50:20,981 - openai._base_client - INFO - Retrying request to /chat/completions in 0.815882 seconds
2025-05-22 10:51:21,859 - evalscope - ERROR - Error when calling remote API: Request timed out.
2025-05-22 10:51:21,859 - evalscope - ERROR - Error during LLM evaluation: Request timed out.
Reviewing(default):   0%|          | 2/500 [08:53<36:09:22, 261.37s/it]2025-05-22 10:52:21,926 - openai._base_client - INFO - Retrying request to /chat/completions in 0.415413 seconds


但我看review json文件中score有结果了， "score": "A>>B" 

judge_model_args中设置generation_config，可以指定timeout。使用Qwen3这种默认进行思考的模型，推理确实比较慢

 @Yunnglin 感谢您的解答！