zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 测评GSM8K-V数据集的效果非常差，为0
Root cause: Environment Incompatibility

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
使用 `qwen2.5-VL-32B` 和 `Qwen3-VL-30B-A3B-Instruct` 这两个模型测评GSM8K-V数据集时，测评结果非常差，基本为0。

<img width="770" height="843" alt="Image" src="https://github.com/user-attachments/assets/00027134-0411-4ebe-ae2a-23d066aef8ca" />

<img width="673" height="824" alt="Image" src="https://github.com/user-attachments/assets/e5a648dc-9492-4787-ae0e-ad83243b50b2" />

## EvalScope 版本（必填）
evalscope  ：  0.0.0.dev0   （main分支源码安装）

## 使用的代码片段
```
import os
import json
import time
import argparse
from evalscope import TaskConfig, run_task
from evalscope.constants import EvalType, JudgeStrategy

task_cfg = TaskConfig(
model=self.model_name,
api_url=self.model_url,
eval_type=EvalType.SERVICE,
datasets=[
    data_name,
],
dataset_args={
    data_name: data_info
},
eval_batch_size=self.eval_batch_size,
generation_config={
    # 'max_tokens': 10000,  # 最大生成token数，建议设置为较大值避免输出截断
    # 'temperature': 0.0,  # 采样温度 (qwen 报告推荐值)
    'timeout': self.time_limit,
    'stream': self.stream
},
use_cache=self.use_cache,
work_dir=save_path,
# limit=10,  # 设置为100条数据进行测试
)

run_task(task_cfg=task_cfg)
```


## 
- 操作系统：ubuntu
- Python版本：

## 其他信息
evalscope app输入如下：

<img width="1207" height="1187" alt="Image" src="https://github.com/user-attachments/assets/36c373b3-6014-48ab-8716-701ebfc76551" />

<img width="691" height="555" alt="Image" src="https://github.com/user-attachments/assets/acdd4bac-6108-4063-87f9-d6c19c149976" />


如果有其他相关信息，请在此处提供。


看一下你环境中的 latex2sympy2_extended 和 sympy 库是否正常倒入和调用：evalscope/metrics/math_parser.py

> 看一下你环境中的 latex2sympy2_extended 和 sympy 库是否正常倒入和调用：evalscope/metrics/math_parser.py

<img width="79" height="108" alt="Image" src="https://github.com/user-attachments/assets/9f2cdf58-d16c-4cd4-b40c-06048c1a3832" />

另外，我其他测试集的效果看起来都正常~

我这边复现不了这个问题，测试结果不为0，`170.0`和`170`能判断正确
Repository: modelscope/evalscope
Issue: 使用evalscope评测Qwen2-7B得分很低
Root cause: Documentation Deficiency

Hello @Yunnglin  我正在使用最新的evalscope评测
模型:  Qwen2-7B
数据集:  GPQA

我的脚本如下:
```
run_gpqa_eval() {
    evalscope eval \
    --model ${MODEL_PATH} \
    --api-url ${BASE_URL}/v1chat/completions \
    --eval-type openai_api --datasets gpqa_diamond \
    --generation-config max_tokens=${MAX_TOKENS},temperature=0.6,top_p=0.6,top_k=20,safety_level=none \
    --timeout 10000 \
    --stream \
    --seed 1234 \
}
```

但是最终的得分特别低为11.13分，远低于Qwen2技术报告中qwen2-7B的 31.8 分

请问官方有测试过Qwen2-7B么？ 得分情况是否和我一致？我已经多次测试得分均很低，期待您的回答感谢

对了补充一下，我看了输出的文本，没有无效的重读，请问是我的评测参数设置的有问题么？或者是否有evalscope对于Qwen2-7B的基线

脚本里的数据集指定的是 gpqa_diamond，是一个难度更高的子集，与 Qwen2 技术报告里的 GPQA 不完全相同。

https://huggingface.co/datasets/Idavidrein/gpqa

> 脚本里的数据集指定的是 gpqa_diamond，是一个难度更高的子集，与 Qwen2 技术报告里的 GPQA 不完全相同。
> 
> https://huggingface.co/datasets/Idavidrein/gpqa
@Nietism  @Yunnglin 十分感谢你的回复，
我在开启vllm async功能评测时，发现遇见了奔溃，社区有类似问题的出现 vllm/issues/30142
请问evalscope可以通过什么方法关闭结构化输出么？


> > 我在开启vllm async功能评测时，发现遇见了奔溃，社区有类似问题的出现 vllm/issues/30142
> > 请问evalscope可以通过什么方法关闭结构化输出么？

我没有遇到过类似的情况，这是结构化输出导致的吗？

@freedom-cui 请问去掉`X-Request-Id`后，崩溃问题解决了吗？
Repository: modelscope/evalscope
Issue: opencompass作为后端，但type参数是否’'opencompass.models.OpenAIExtra'‘未写generate方法导致报错？
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [x] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。
Repository: modelscope/evalscope
Issue: 部分数据集测试效果与paper差距较大
Root cause: Configuration Error

首先，测试过程中，感谢大佬的及时响应，并为我解惑。非常感谢大佬。
其次，我测试过程中，遇到一些数据测试出的效果与paper差距较大。在这里罗列了一下，辛苦大佬帮忙看看。

## 问题描述
**1：hallucination_test 测试：**
测试模型：`Qwen3-VL-30B-A3B-Instruct`
大佬今天优化代码之后，这个数据集的结果比paper高出10个点。这个是啥情况。
<img width="745" height="229" alt="Image" src="https://github.com/user-attachments/assets/1e7ea200-f559-4ad5-9840-58ec9e15e4d4" />

<img width="633" height="301" alt="Image" src="https://github.com/user-attachments/assets/81bc892b-7370-4027-a859-042f53bd75e1" />

测试日志：

[hallusion_bench.zip](https://github.com/user-attachments/files/24207163/hallusion_bench.zip)

由于`reviews `太大了，就把这个删了


**2：MultiIF 测试：**
测试模型：Qwen3-Next-80B-A30B-Instruct
<img width="654" height="275" alt="Image" src="https://github.com/user-attachments/assets/e16116d1-bd0e-4fec-978d-f4a785cb243e" />

测试日志：
[multi_if.zip](https://github.com/user-attachments/files/24207232/multi_if.zip)

由于`reviews ` 和 `predictions`太大了，不好上传，就把这个删了

**3：其他数据集也存在5个点左右的差距：**

如图，图中这几个数据集，差距也有5个点左右的差距。

<img width="738" height="535" alt="Image" src="https://github.com/user-attachments/assets/45ba6b42-b2fb-42ad-86b7-30148d2827f9" />

**4：想提一个建议：**
现在 `reports `里面的结果好像默认是第一个。但是实际上，paper里面使用的效果，并不是默认的这个。不知道大佬能不能优化一下，让第一个显示出来的结果，和paper里面用的保持一致呢。

比如，如图：默认的结果是 `chart_aAcc `的结果。但是paper好像用的是 `Overall_aAcc `这个结果。所以能不能让显示的默认结果改成 `Overall_aAcc` 这个结果呢

<img width="687" height="1129" alt="Image" src="https://github.com/user-attachments/assets/d5ec80a1-5fca-4101-b463-1e0b78083548" />

<img width="687" height="1077" alt="Image" src="https://github.com/user-attachments/assets/db5ba79d-ebac-442a-a145-c3eafc31a122" />


## EvalScope 版本（必填）
hallucination_test ：使用的12.17日更新的main分支
其他数据集：使用的是12.11日拉下来的main分支代码

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

<img width="941" height="852" alt="Image" src="https://github.com/user-attachments/assets/ab1efb47-5f5a-4b4d-aa33-7db7f45732b1" />

## 错误日志

见上面的日志

## 运行环境

- 操作系统：ubuntu
- Python版本：3.10

## 其他信息

如果有其他相关信息，请在此处提供。


**还有一个补充：**
对于 poly_math 这个数据集。使用`mean_acc `效果进行对比的话，实测出的和paper差距也大。但是使用 `DW-ACC` 这个指标，结果就相差不大。我找不到 paper 真实是使用哪个指标，能否辛苦大佬帮忙确认一下？

<img width="816" height="1138" alt="Image" src="https://github.com/user-attachments/assets/75f8092c-9294-4c75-8f90-30d60289b084" />

<img width="1479" height="620" alt="Image" src="https://github.com/user-attachments/assets/82ec5b19-8d34-4130-a61e-8250842e4010" />

**我咨询了大模型，给出的答案是用** `DW-ACC`  

<img width="1042" height="853" alt="Image" src="https://github.com/user-attachments/assets/6687be74-3228-4043-bdfb-686f9e50f273" />
Repository: modelscope/evalscope
Issue: 为什么要把系统提示词和用户提示词拼在一起，而且还加上**User**:这种东西
Root cause: Documentation Deficiency

<img width="912" height="199" alt="Image" src="https://github.com/user-attachments/assets/0296b171-7a8b-4441-b0a9-cf011f91106a" />
如图所示

这是用来展示的md格式，不是模型接受到的内容

> 这是用来展示的md格式，不是模型接受到的内容

在自定义模型评测中，就是这样展示的，发送给模型的就是拼接后的消息

<img width="571" height="596" alt="Image" src="https://github.com/user-attachments/assets/90e3fc55-5d11-4d9c-a5df-511a6b76548f" />

> 这是用来展示的md格式，不是模型接受到的内容

问题解决了，我自己模拟了一个vllm接口，发给vllm的确实是分开的消息
Repository: modelscope/evalscope
Issue: 服务化评测怎样使用本地数据集（无网络的环境下）
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
服务化评测怎样使用本地数据集（无网络的环境下）



## EvalScope 版本（必填）
v0.14.0/v1.3.0

## 使用的工具
- [x] Native / 原生框架
- [x] VLMEvalKit backend


## 执行的代码或指令

evalscope eval --model ./Qwen/Qwen3-32B --api-url http://0.0.0.0:45753/v1/chat/completions --eval-type service --generation-config max_tokens=24576,temperature=0.0,top_p=0.01,top_k=1,n=1 --dataset-args '{"./HuggingFaceH4/aime_2024/": {"few_shot_num": 0}}' --datasets aime24 --dataset-dir /dataset/HuggingFaceH4/aime_2024/  --timeout 1e8 --eval-batch-size 32

evalscope eval --model ./Qwen/Qwen3-32B --api-url http://0.0.0.0:45753/v1/chat/completions --eval-type service --generation-config max_tokens=24576,temperature=0.0,top_p=0.01,top_k=1,n=1 --dataset-args '{"aime24": {"few_shot_num": 0,"dataset_id":"./HuggingFaceH4/aime_2024/"}}' --datasets aime24 --dataset-dir /dataset/HuggingFaceH4/aime_2024/  --timeout 1e8 --eval-batch-size 32

evalscope eval --model /tecogpfs/models/Qwen/Qwen3-32B --api-url http://0.0.0.0:45753/v1/chat/completions --eval-type service --generation-config max_tokens=24576,temperature=0.0,top_p=0.01,top_k=1,n=1 --dataset-args '{"./HuggingFaceH4/aime_2024/": {"few_shot_num": 0,"local_path": "./HuggingFaceH4/aime_2024"}}' --datasets aime24 --dataset-dir /dataset/HuggingFaceH4/aime_2024/  --timeout 1e8 --eval-batch-size 32

evalscope eval --model ./Qwen/Qwen3-32B --api-url http://0.0.0.0:45753/v1/chat/completions --eval-type service --generation-config max_tokens=24576,temperature=0.0,top_p=0.01,top_k=1,n=1 --dataset-args '{"aime24": {"few_shot_num": 0,"./HuggingFaceH4/aime_2024": "./HuggingFaceH4/aime_2024/"}}' --datasets aime24   --timeout 1e8 --eval-batch-size 32

## 错误日志

都是报网络问题

<img width="705" height="293" alt="Image" src="https://github.com/user-attachments/assets/e920c13a-f7ac-4940-9db7-33a14e336ff3" />

<img width="731" height="416" alt="Image" src="https://github.com/user-attachments/assets/21f39263-1fef-4fdb-8ae0-eaf67f8a0198" />

<img width="716" height="393" alt="Image" src="https://github.com/user-attachments/assets/18080643-8fdd-4ef1-8d25-bc4fa0670e15" />

## 运行环境

- 操作系统：
- Python版本：3.12

## 其他信息

如果有其他相关信息，请在此处提供。
Repository: modelscope/evalscope
Issue: 可以提供使用Fleurs, LibriSpeech评估本地部署好的在线API模型的指导文档吗
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


参考这个文档：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#api

部署一个支持audio模态的模型服务，替换datasets为fleurs和librispeech即可

> 参考这个文档：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#api
> 
> 部署一个支持audio模态的模型服务，替换datasets为fleurs和librispeech即可

也可以支持  eval perf 作模型性能测试吗

> 参考这个文档：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#api
> 
> 部署一个支持audio模态的模型服务，替换datasets为fleurs和librispeech即可

你好 这里参考文档部署服务后，报了下面这个错
openai.BadRequestError: Error code: 400 - {'error': {'message': 'Invalid base64-encoded string: number of data characters (542817) cannot be 1 more than a multiple of 4 None', 'type': 'BadRequestError', 'param': None, 'code': 400}} @Yunnglin
Repository: modelscope/evalscope
Issue: BFCL-v4评测复现失败
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

使用evalscope在qwen3-14b上评测BFCL-v4时memory和multi_turn类别任务评测异常，当我使用FC配置时，memory类都为0但其他任务正常，使用prompt配置时，memory和multi_turn类任务都存在异常：
FC：

<img width="726" height="308" alt="Image" src="https://github.com/user-attachments/assets/f04bb6a8-369f-476a-8e3f-4c54130aca02" />

<img width="1058" height="829" alt="Image" src="https://github.com/user-attachments/assets/d12e824f-e754-4b32-8455-b11c17ea1ecb" />

<img width="661" height="886" alt="Image" src="https://github.com/user-attachments/assets/2bfec197-cb0c-4d3e-9426-62a7279ae14f" />

Prompt：

<img width="1071" height="853" alt="Image" src="https://github.com/user-attachments/assets/8ce2e569-5d7a-4e30-bce0-54ec6387a608" />

<img width="727" height="269" alt="Image" src="https://github.com/user-attachments/assets/7eddc50d-c9f9-453c-beac-71345bbb7b46" />

<img width="653" height="883" alt="Image" src="https://github.com/user-attachments/assets/803419e1-a9c6-4c45-8f2f-1aa8e0023cf5" />

## EvalScope 版本（必填）
v1.3.0

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


memory类任务会先运行预处理请求以填充记忆，你可以看下outputs文件下面有没有memory相关文件存在

> 内存类任务会先运行请求以填充记忆，你可以看下outputs文件下面有没有内存相关文件存在

有的，outputs/bfcl_v4_qwen3_14b_fc/agentic/memory/   目录下有三个子任务的memory文件

<img width="1010" height="500" alt="Image" src="https://github.com/user-attachments/assets/45f92d39-9fda-4241-9436-573151bf47ad" />

能否提供一份能够成功评测并复现bfcl-v4的vllm启动与eval_openai_api.py代码，十分感谢！

我这边的测试代码在这个文档中： https://evalscope.readthedocs.io/zh-cn/latest/third_party/bfcl_v4.html

我是按照文档中的代码进行复现的，代码和结果展示在了开头的问题描述中，使用FC配置时，memory类都为0
Repository: modelscope/evalscope
Issue: Audio ASR benchmarks (LibriSpeech / TORGO) fail with 400 Bad Request when using sglang server mode
Root cause: Interface Contract Mismatch

When running audio ASR benchmarks in evalscope, the evaluation fails when using sglang in server mode. The server returns:

```bash
POST /v1/chat/completions HTTP/1.1" 400 Bad Request
```

As a result, the evaluation cannot complete. This issue only occurs for ASR benchmarks (LibriSpeech/TORGO).

Setup Details

Model serving (sglang server mode):

```bash
CUDA_VISIBLE_DEVICES=0,1,2,3 python3 -m sglang.launch_server \
    --model-path Qwen/Qwen3-Omni-30B-A3B-Instruct \
    --dtype bfloat16 \
    --tp-size 2 \
    --dp-size 2 \
    --mem-fraction-static 0.8 \
    --device cuda \
    --host 0.0.0.0 \
    --port 30000 \
    --max-total-tokens 65536 \
    --context-length 65536 \
    --chunked-prefill-size 2048 \
    --max-running-requests 8
```

Evaluation command:

```bash
evalscope eval \
    --model Qwen/Qwen3-Omni-30B-A3B-Instruct \
    --api-url http://127.0.0.1:30000/v1 \
    --api-key EMPTY \
    --eval-type server \
    --datasets librispeech \
    --dataset-hub huggingface \
    --limit 10 \
    --use-cache /evalscope_cache/Qwen3-Omni-30B-A3B-Instruct/librispeech
```

For your reference, when I run the LibriSpeech with `qwen3-omni-flash`, it also fails. I suspect that it's because of slightly larger sampling rate (that needs bigger context window size)? I believe LibriSpeech ([lmms-lab/Librispeech-concat](https://huggingface.co/datasets/lmms-lab/Librispeech-concat/blob/main/README.md)) has sampling rate of 24,000, which is slightly larger than the one in TORGO ([extraordinarylab/torgo](https://huggingface.co/datasets/extraordinarylab/torgo/blob/main/README.md)) of 16,000 sampling rate.
Repository: modelscope/evalscope
Issue: ifbench评测存在问题
Root cause: Validation Gap

我使用的是最新版的evalscope，但是我进行评测ifbench基准存在一个问题，就是数据集本来是294条，生成回复就是294条，但是进行计算分数的时候，就用了288条数据，这是什么问题？
这个是生成的log文件。

2025-12-25 07:36:57 - evalscope - INFO: Reviewing[ifbench@default]:  100%| 294/294 [Elapsed: 00:15 < Remaining: 00:00, 25.10it/s]
2025-12-25 07:36:57 - evalscope - INFO: Finished reviewing subset: default. Total reviewed: 294
2025-12-25 07:36:57 - evalscope - INFO: Aggregating scores for subset: default
2025-12-25 07:36:57 - evalscope - INFO: Evaluating [ifbench] 100%| 1/1 [Elapsed: 3:42:28 < Remaining: 00:00, 13348.87s/subset]
2025-12-25 07:36:57 - evalscope - INFO: Generating report...
2025-12-25 07:36:57 - evalscope - INFO: 
ifbench report table:
+----------+-----------+--------------------------+----------+-------+---------+---------+
| Model    | Dataset   | Metric                   | Subset   |   Num |   Score | Cat.0   |
+==========+===========+==========================+==========+=======+=========+=========+
| Qwen3-8B | ifbench   | mean_prompt_level_strict | default  |   288 |  0.2882 | default |
+----------+-----------+--------------------------+----------+-------+---------+---------+
| Qwen3-8B | ifbench   | mean_inst_level_strict   | default  |   288 |  0.3142 | default |
+----------+-----------+--------------------------+----------+-------+---------+---------+
| Qwen3-8B | ifbench   | mean_prompt_level_loose  | default  |   288 |  0.3333 | default |
+----------+-----------+--------------------------+----------+-------+---------+---------+
| Qwen3-8B | ifbench   | mean_inst_level_loose    | default  |   288 |  0.3611 | default |
+----------+-----------+--------------------------+----------+-------+---------+---------+ 
期待您的回复！

这个问题我解决了 重新安装nltk就好了。
但是我又重新遇到一个问题，就是我把evalscope框架中生成的回复文件把问题和档案提取出来，按照官方的评测脚本https://github.com/allenai/IFBench?tab=readme-ov-file  分数对不上(环境是完全相同的）
期待您的回复。
Repository: modelscope/evalscope
Issue: 测评VLM类数据集，如果使用evalscope命令行形式，会报错task_cfg.eval_config['work_dir']=task_cfg.work_dir，TypeError: 'str' object does not support item assignment
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v1.1.1

## 使用的工具
- [] VLMEvalKit backend

## 执行的代码或指令

evalscope eval \
--eval-backend VLMEvalKit \
--eval-config "{
\"data\": [\"TextVQA_VAL\"],
\"mode\": \"all\",
\"model\": [{
\"api_base\": \"${BASE_URL}/v1/chat/completions\",
\"key\": \"EMPTY\",
\"name\": \"CustomAPIModel\",
\"temperature\": 0.0,
\"img_size\": -1,
\"type\": \"${MODEL_PATH}\",
\"video_llm\": False,
\"max_tokens\": 2048
}],
\"reuse\": False,
\"nproc\": $EBS,
\"judge\": \"exact_matching\"
}" \
--work-dir "./outputs/textvqa_mock"


## 错误日志

<img width="1238" height="490" alt="Image" src="https://github.com/user-attachments/assets/f205c146-aec8-4c7d-b788-48835eb87c36" />

## 运行环境

- 操作系统：
- Python版本：python3.10

## 其他信息

如果有其他相关信息，请在此处提供。


![Image](https://github.com/user-attachments/assets/74e4f680-9c8a-4172-a000-df5497c17278)

我自己本地使用过程中修改run.py为上述代码即可正常运行，但是请问VLMEvalKit这种eval-backend是否支持命令行发起测评的形式？如果可以，应该是怎样的命令配置

目前主要支持yaml和python脚本两种方式：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/vlmevalkit_backend.html#id6

我修复一下代码，来支持这种命令行形式
Repository: modelscope/evalscope
Issue: evalscope测试中途报错，但最终的报告显示成功率100%
Root cause: Algorithmic Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

evalscope测试中途报错，但最终的报告显示成功率100%，具体查看截图，日志中也能看到有很多错误，但最后的summary中成功率都是100%

## EvalScope 版本（必填）
v1.3.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

evalscope perf \
  --parallel 1 2 4 6 8 16 24 32 50 55 60 65 70 75 80 85 90 95 100 \
  --number   100 100 100 100 100 100 100 100 100 100 \
             100 100 100 100 100 100 100 100 100 \
  --model Qwen3-32B \
  --url http://0.0.0.0:9520/v1/chat/completions \
  --api openai \
  --connect-timeout 600 \
  --read-timeout 600 \
  --sleep-interval 30 \
  --dataset random \
  --min-tokens 512 \
  --max-tokens 512 \
  --prefix-length 0 \
  --min-prompt-length 8192 \
  --max-prompt-length 8192 \
  --tokenizer-path /data1/models/Qwen3-32B \
  --outputs-dir evalscope_perf_0 \
  --log-every-n-query 100 \
  --extra-args '{"ignore_eos": true}'


## 错误日志

<img width="1671" height="1657" alt="Image" src="https://github.com/user-attachments/assets/1697fe8d-96b4-4700-85de-d84f9ddc6520" />
详细错误日志见附件:
[evalscope_perf_0.log](https://github.com/user-attachments/files/24344179/evalscope_perf_0.log)

## 运行环境

- 操作系统：Ubuntu 22.04.5 LTS
- Python版本：
3.11.13



提供的log链接失效了，麻烦重新提供一下

> 提供的log链接失效了，麻烦重新提供一下

[evalscope_perf_0.log](https://github.com/user-attachments/files/24426535/evalscope_perf_0.log)
Repository: modelscope/evalscope
Issue: 谁能给我讲讲，evalscope 的 rate 是怎么发送请求的吗？

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


请参考参数说明文档：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html#id4
Repository: modelscope/evalscope
Issue: 压测deepseek-v3.2 报错
Root cause: External Dependency Breakage

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
压测deepseek-v3.2 报错


## EvalScope 版本（必填）
v1.4

## 使用的工具
- Perf / 模型推理压测工具


## 执行的代码或指令
`evalscope perf \
  --parallel 4 \
  --model dewu-chat \
  --url http://risk-ai-platform-prd-hs-sh-deepseek-v32.prd-standard-zj-sh.shizhuang-inc.com/v1/chat/completions \
  --api openai \
  --dataset random \
  --min-tokens 128 \
  --max-tokens 128 \
  --prefix-length 64 \
  --min-prompt-length 128 \
  --max-prompt-length 128 \
  --number 500 \
  --tokenizer-path /root/workspace/models/deepseek-v3.2 \
  --debug \
  --outputs-dir "./my_output" \
  --extra-args '{"ignore_eos": true}'`


## 错误日志

`Traceback (most recent call last):
  File "/usr/local/lib/python3.10/dist-packages/evalscope/perf/utils/handler.py", line 17, in async_wrapper
    return await func(*args, **kwargs)
  File "/usr/local/lib/python3.10/dist-packages/evalscope/perf/benchmark.py", line 166, in benchmark
    async for request in get_requests(args, api_plugin):
  File "/usr/local/lib/python3.10/dist-packages/evalscope/perf/benchmark.py", line 71, in get_requests
    async for request in generator:
  File "/usr/local/lib/python3.10/dist-packages/evalscope/perf/benchmark.py", line 42, in generate_requests_from_dataset
    for messages in message_generator.build_messages():
  File "/usr/local/lib/python3.10/dist-packages/evalscope/perf/plugin/datasets/random_dataset.py", line 98, in build_messages
    template_len = self.get_template_len()
  File "/usr/local/lib/python3.10/dist-packages/evalscope/perf/plugin/datasets/random_dataset.py", line 174, in get_template_len
    template = self.tokenizer.apply_chat_template(empty_message, tokenize=True, add_generation_prompt=True)
  File "/usr/local/lib/python3.10/dist-packages/transformers/tokenization_utils_base.py", line 1647, in apply_chat_template
    chat_template = self.get_chat_template(chat_template, tools)
  File "/usr/local/lib/python3.10/dist-packages/transformers/tokenization_utils_base.py", line 1825, in get_chat_template
    raise ValueError(
ValueError: Cannot use chat template functions because tokenizer.chat_template is not set and no template argument was passed! For information about writing templates and setting the tokenizer.chat_template attribute, please see the documentation at https://huggingface.co/docs/transformers/main/en/chat_templating`

## 运行环境

- 操作系统：ubuntu 22.04
- Python版本：3.12

## 其他信息

是不是这一版的deepseek的tokenizer_config.json 中没有 chat_template
https://huggingface.co/deepseek-ai/DeepSeek-V3.2/blob/main/tokenizer_config.json


deepseek-v3.2 不包含Jinja格式的模板，可以尝试使用 deepseek-ai/DeepSeek-V3.1
Repository: modelscope/evalscope
Issue: 希望增加多子集并行评测
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

数据集评测的时候，希望增加多子集并行评测，多个子集一起评测。


## 需求背景 / Background


当数据集有多个子集的时候，在某个子集里模型的可能生成较长的回答，无法进入下一个子集的评测，导致耗时很久，所以希望能够让多个子集并行评测。


## 预期行为 / Expected Behavior


通过参数设定最大几个子集一起并行，或者可以把所有的子集合一起按照eval_batch_size数量发压，最后再分不同子集汇总结果。


## 其他信息 / Additional Information


无



好问题