zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 压力测试推理模型报错
Root cause: Validation Gap

## 问题描述 / Issue Description

测试正常模型可以使用，对推理模型进行测试的时候报错

## EvalScope 版本 / Version (必须)
v0.14.0
## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式

```python
# 例如：执行的Python代码 / Python code executed
from evalscope.perf.main import run_perf_benchmark
task_cfg = {
    "url": "http://172.16.8.36:9997/v1/chat/completions",
    "parallel": 5,
    "model": "qwq-32b",
    "number": 5,
    "api": "openai",
    "dataset": "openqa",
    "stream": True
}
run_perf_benchmark(task_cfg)

## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

2025-04-15 17:53:27,307 - evalscope - INFO - Save the data base to: ./outputs/20250415_175326/qwq-32b/benchmark_data.db
Processing:   0%|                                                                                                                         | 0/5 [00:00<?, ?it/s]
2025-04-15 17:53:27,462 - evalscope - ERROR - Exception in async function 'statistic_benchmark_metric': 'choices'
Traceback (most recent call last):
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/utils/handler.py", line 17, in async_wrapper
    return await func(*args, **kwargs)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/benchmark.py", line 137, in statistic_benchmark_metric
    metrics.update_metrics(benchmark_data, api_plugin)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/utils/benchmark_util.py", line 91, in update_metrics
    benchmark_data._calculate_tokens(api_plugin)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/utils/benchmark_util.py", line 45, in _calculate_tokens
    api_plugin.parse_responses(self.response_messages, request=self.request)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/plugin/api/openai_api.py", line 121, in parse_responses
    self.__process_no_object(js, delta_contents)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/plugin/api/openai_api.py", line 144, in __process_no_object
    for choice in js['choices']:
KeyError: 'choices'

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [ ] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [x] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


你的模型服务返回的结构是什么样的，跟openai api一致吗

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 本地离线运行
Root cause: Documentation Deficiency

## 问题描述 / Issue Description

第一次联网下载数据集到~/.cache中，为什么后面在执行eval脚本还需要联网呢?

配置--dataset-hub "local" --dataset-dir ~/.cache/modelscope/hub/datasets 还是走的在线下载


> 配置--dataset-hub "local" --dataset-dir ~/.cache/modelscope/hub/datasets 还是走的在线下载

遇到了同样的问题，手动下载gsm8k文件到本地，还是不能正常加载！

```
evalscope eval \
 --model /work/deepseek-r1 \
 --api-url http://0.0.0.0:8000/v1 \
 --eval-type service \
 --dataset-dir /work/dataset/gsm8k \
 --datasets gsm8k \
 --limit 10
```

![Image](https://github.com/user-attachments/assets/d8b86ca8-70a1-444e-b014-5529ace006b5)

这个问题解决了吗，我也遇到了一样的问题

请查看教程：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id13
执行的命令参数不对

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: Qwen2.5-32B FP8精度高于Qwen2.5-7B FP8？
Root cause: Documentation Deficiency

## 目前测试发现Qwen2.5-7B FP8精度高于Qwen2.5-32B FP8，这个合理吗？

模型来源：
1）Qwen2.5-7B FP8：okwinds/Qwen2.5-7B-Instruct-FP8-A16
2）Qwen2.5-32B FP8：arcee-ai/Qwen2.5-32B-Instruct-FP8
性能指标：

![Image](https://github.com/user-attachments/assets/79a49380-1740-411f-9f57-47feaa9c6f88)

![Image](https://github.com/user-attachments/assets/09131888-18fc-4f3a-b0e6-baf69caeb0d0)



使用evalscope app命令，可以可视化看一下模型输出结果

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 当模型接口出错时的异常处理
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

请简要描述您希望添加的功能。 / Please briefly describe the feature you would like to request.

## 需求背景 / Background

我在使用百炼的接口跑评测集, 遇到一道高考历史题, 被百炼拦住了
> {'error': {'code': 'data_inspection_failed', 'param': None, 'message': 'Input data may contain inappropriate content.'.....

```
问题: 7．（ 4分）抗日战争胜利后，山东根据地已有农会、工会、妇女会、青年团、\n儿童团等中国共产党领导的群众组织， 成员达 404万人，占根据地总人口的\n27%；中共党员占总人口的 1%左右，几乎村村有党员。这反映出（ 　　） \nA．革命工作的重心开始转移  B．工农武装割据局面已经形成   \nC．统一战线范围进一步扩大  D．国共力量对比变化趋势加强\n
```

接口报400错误, 导致整个评测中断.
但是从错误日志中很难定位到时哪条日志报错, 最后通过二分法找到.



## 预期行为 / Expected Behavior

期望能提供一些钩子支持调用方去做异常处理, 或者就丢弃这条用例,继续评测


## 其他信息 / Additional Information

还有其他相关信息吗？ / Any other relevant information?


好的，后面会添加一个参数来控制出错后的行为

open ai也出问题, 出问题的地方各不相同, open ai的响应码是200,但是内容是报错的

![Image](https://github.com/user-attachments/assets/c889e151-2835-4a2c-9fbb-6e3c0c2cbaf3)

因为供应商的情况各种各样, 评测数据的也是各种各样.

我还是建议, 直接丢弃有问题的评测数据, 在规模量大的情况下, 少几条对结果没太大影响
 如果靠开发者在异常回调那边手动补模型返回结果那代码是写不完的

> 好的，后面会添加一个参数来控制出错后的行为

或者来两个参数
1. 重试次数
2. 允许错误次数，将接口出错的回答直接当答错/无回答处理。

main分支新增了ignore_errors参数，设置为true可以跳过模型生成过程中的报错

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: v1/chat/completion压测报错
Root cause: Validation Gap

## 问题描述 / Issue Description

使用4/10更新后版本对openai兼容接口的qwen2.5的v1/chat/completion进行speed_benchmark报错 / Please briefly describe the issue you encountered.

## EvalScope 版本 / Version (必须)
v0.xx.x

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [*] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

```python
# 例如：执行的Python代码 / Python code executed
from evalscope.perf.main import run_perf_benchmark

task_cfg = {
"url": "xxx/compatible-mode/v1/chat/completions",
"headers": {'Content-Type':'application/json', 'Authorization':'xxx'},
"parallel":1,
"model":"qwen2.5",
"number":10,
"api":"openai",
"dataset":"speed_benchmark",
"stream":True
}
run_perf_benchmark(task_cfg)
```

```bash
# 例如：在终端中执行的指令 / Terminal command executed
python script.py
```

## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

```
Request: {'prompt': '熵'......} failed, state_code: 404, data: GATEWAY APP_PATH NOT REGISTER!
```

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [*] Ubuntu

- Python版本 / Python Version:
  - [*] 3.11
  - [ ] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.
经排查发现，4.10合入speed_benchmark代码判断接口是否为"v1/chat/completion"，如果是则会去掉chat，导致接口无法访问

if url.endswith('v1/chat/completions'):
    logger.warning(
        'The API URL is not set correctly for `speed_benchmark`. Using `v1/completions` instead of `v1/chat/completions` by system.'  # noqa
    )
    url = url.replace('v1/chat/completions', 'v1/completions')
    self.query_parameters.url = url


speed_benchmark 只支持 v1/completions 接口

> speed_benchmark 只支持 v1/completions 接口

请问是基于什么样的考量呢，如果我的模型提供商没有提供v1/completion接口怎么办呢

![Image](https://github.com/user-attachments/assets/6adb7f3f-6576-4be7-bcfb-4c74265e21ce)
https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/speed_benchmark.html#api

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 可不可以添加一些caption类的评测集？
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

请简要描述您希望添加的功能。 / Please briefly describe the feature you would like to request.
您好，首先需要感谢evalscope出色的工作帮助了我很大的忙，另外可不可以添加更多一些caption类的数据集？比如msvd/msrvtt/vqa、vqav2之类的。再次感谢！
## 需求背景 / Background

为什么需要这个功能？ / Why is this feature needed?

## 预期行为 / Expected Behavior

这个功能应该如何工作？ / How should this feature work?

## 其他信息 / Additional Information

还有其他相关信息吗？ / Any other relevant information?
Repository: modelscope/evalscope
Issue: ms-opencompass和ms-vlmeval的源码可以提供一下吗
Root cause: Documentation Deficiency

请问ms-opencompass和ms-vlmeval的源码可以提供一下吗，直接用opencompass和vlmeval官方源码是否可以直接在evalscope调用使用


这两个是fork了opencompass和vlmeval 原始仓库上进行了一些修改并打包：

ms-vlmeval 是 https://github.com/Yunnglin/VLMEvalKit/tree/eval_scope
ms-opencompass 是 https://github.com/wangxingjun778/opencompass

> 这两个是fork了opencompass和vlmeval 原始仓库上进行了一些修改并打包：
> 
> ms-vlmeval 是 https://github.com/Yunnglin/VLMEvalKit/tree/eval_scope ms-opencompass 是 https://github.com/wangxingjun778/opencompass

那是不是意味着opencompass如果更新了，而evalscope没更新有些功能，会导致evalscope中opencompass的功能落后些。

代码也在定期更新，会有些延迟

> 代码也在定期更新，会有些延迟

打包大概进行了啥操作呢，原始仓库修改了啥，每次更新新的opencompass版本是相当于都得重复修改一遍然后打包么

https://github.com/wangxingjun778/opencompass 这个是不是修改后的文件没有上传或者有漏传 像是新增的opencompass/cli/argyments.py这个文件就没有找到

> https://github.com/wangxingjun778/opencompass 这个是不是修改后的文件没有上传或者有漏传 像是新增的opencompass/cli/argyments.py这个文件就没有找到

不是在main分支中，参考这里：https://github.com/wangxingjun778/opencompass/tree/test_r1

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: evalscope perf的outputs目录结构与evalscope app要求不一致
Root cause: Interface Contract Mismatch

## 问题描述 / Issue Description

使用evalscope perf产生的outputs报告目录结构与evalscope app的outputs目录扫描规则不一致。

## EvalScope 版本 / Version (必须)
v0.14.0

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

evalscope perf --url http://127.0.0.1:8000/v1/chat/completions --dataset openqa --dataset-path ./HC3-Chinese/open_qa.jsonl  --api openai --model DeepSeek-R1-Distill-Qwen-1.5B --model deepseek --stream --number 10 --temperature 0.6 --top-p 0.95 --parallel 2

evalscope app --outputs ./outputs --debug


## 错误日志 / Error Log

Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.
2025-04-22 06:21:07,138 - evalscope - app.py - scan_for_report_folders - 29 - DEBUG - Scanning for report folders in ./outputs/
2025-04-22 06:21:07,615 - evalscope - app.py - scan_for_report_folders - 53 - DEBUG - reports: []
2025-04-22 06:21:10,947 - evalscope - app.py - scan_for_report_folders - 29 - DEBUG - Scanning for report folders in ./outputs/
2025-04-22 06:21:10,965 - evalscope - app.py - scan_for_report_folders - 53 - DEBUG - reports: []
2025-04-22 06:21:11,901 - evalscope - app.py - scan_for_report_folders - 29 - DEBUG - Scanning for report folders in ./outputs/
2025-04-22 06:21:11,924 - evalscope - app.py - scan_for_report_folders - 53 - DEBUG - reports: []


## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [x] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [x] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


eval app 不能对perf结果进行可视化，参考这个进行可视化：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/quick_start.html#id6

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: evalscope perf中Percentile results中的Throughput(tokens/s)计算指标优化
Root cause: Algorithmic Error

## 问题描述 / Issue Description
evalscope perf中Percentile results中的Throughput(tokens/s)的计算指标目前是row[COMPLETION_TOKENS_INDEX] / row[LATENCY_INDEX]，是否能调整为
(row[PROMPT_TOKENS_INDEX] + row[COMPLETION_TOKENS_INDEX) / row[LATENCY_INDEX]，这样算出来的就是单个请求的整体吞吐了

参见：https://github.com/modelscope/evalscope/blob/8be1f2db44d6a9666ed50a4cefc10e39c3156112/evalscope/perf/utils/db_util.py#L183

## EvalScope 版本 / Version (必须)
evalscope最新master分支

## 使用的工具 / Tools Used
- [ ] Perf / 模型推理压测工具

@Yunnglin 如果可以的话，我可以提一个PR来优化下这个指标

感谢，你可以提一个pr，改为两个指标output throughput和total throughput

> 感谢，你可以提一个pr，改为两个指标output throughput和total throughput

好的，我这边会先自测下，预计今天下午PR会提出来

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 本地加载数据集
Root cause: Validation Gap

从modelscope下载的数据集，dataset_infos.json中缺少dtype是什么问题？

很多数据集从本地加载的话，貌似 dataset_id要指定精确到jsonl文件。mmlu数据集需要指定到data/test目录。都不能只指定数据集名那个目录。

![Image](https://github.com/user-attachments/assets/20bc117b-14b9-4e9a-b07d-d9883153488c)

这个是已知问题，临时解决方法是删掉数据集中的dataset_infos.json文件

> 这个是已知问题，临时解决方法是删掉数据集中的dataset_infos.json文件

好的，感谢

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 如何在VLMEvalKit backend中引入System Prompt
Root cause: Documentation Deficiency

## 问题描述 / Issue Description

使用VLMEvalKit backend对现有的视觉语言推理模型进行测试评估时，想要引入统一的System Prompt（例如：You should first think about the reasoning process in the mind and then provides the user with the answer. The reasoning process and answer are enclosed within \<think\> \</think\> and \<answer\> \</answer\> tags, respectively, i.e., \<think\> reasoning process here \</think\> \<answer\> answer here \</answer\>.）

目前在TaskConfig中已经尝试了dataset_args中的system_prompt设置，但似乎并没有作用（即，我自己设置的System Prompt似乎会被VLMEvalKit针对不同数据集设置的System Prompt覆盖掉，从而导致推理模型不会按照\<think\> \</think\>\<answer\> \</answer\>的格式来输出）：

task_cfg_dict = TaskConfig(
        work_dir=args.work_dir,
        eval_backend=args.eval_backend,
        dataset_args={
            'system_prompt': '''You should first think about the reasoning process \
            in the mind and then provides the user with the answer. The reasoning process and answer \
            are enclosed within \<think\> \</think\> and \<answer\> \</answer\> tags, respectively, i.e., \<think\> \
            reasoning process here \</think\> \<answer\> answer here \</answer\>.''',
        },
        eval_config={
            'OPENAI_API_KEY': args.openai_api_key,
            'OPENAI_API_BASE': args.openai_api_base,
            'LOCAL_LLM': args.local_llm,
            'data': args.data,
            'mode': args.mode,
            'model': [{'api_base': 'http://localhost:12345/v1/chat/completions',
                       'key': 'token-abc123',
                       'name': 'CustomAPIModel',
                       'temperature': 0.0,
                       'type': args.model,
                       'img_size': -1,
                       'video_llm': False,
                       'max_tokens': 4096}],
            'reuse': args.reuse,
            'nproc': args.nproc,
        }
    )

请问，应该如何在VLMEvalKit backend下正确地设置system_prompt参数？


## EvalScope 版本 / Version (必须)
v0.13.1

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [x] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [x] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [x] 3.10
  - [ ] 3.9


在model参数里面设置：
```
'model': [{'api_base': 'http://localhost:12345/v1/chat/completions',
'key': 'token-abc123',
...
'system_prompt': 'xxx'
}
```

@Yunnglin 这是有效的，感谢您的及时回复！
Repository: modelscope/evalscope
Issue: 性能测试的函数没有返回结果吗
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

性能测试的函数有返回结果

## 需求背景 / Background

方便功能服务化，接口化

## 预期行为 / Expected Behavior

性能测试的函数有返回结果

## 其他信息 / Additional Information

None


这个我们添加一下
Repository: modelscope/evalscope
Issue: 非推理模型需要加filter吗，我发现不加指标很低
Root cause: Documentation Deficiency

测deepseekv3在aime24数据集上的结果时，不加filter的时候存在pred的内容是整个过程而没提取到最终的答案，存在较多的误判。但是加上filter却少很多，但是非推理模型结果中也没有think这个过程吧，这是为啥？

麻烦给一下模型具体的预测结果，一般不会出现这种情况

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 希望支持/generate接口进行测试
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

希望支持/generate接口进行测试

## 需求背景 / Background

我用 sglang 用测试工具，对比了两个接口，发现 generate 接口的性能更好



感谢你的提问，我们目前只考虑兼容openai api的接口，generate接口暂不考虑
Repository: modelscope/evalscope
Issue: 评估类r1模型需要如何适配
Root cause: Unimplemented Feature Gap

## 问题描述 / Issue Description

我已参考了[官方文档](https://evalscope.readthedocs.io/zh-cn/latest/best_practice/deepseek_r1_distill.html)。

想请教一下就是，假设我现在有一个类R1的带思考的模型，但它不使用\<think\>\</think\>标签，而是
\<|beginning_of_thinking|\> \<|end_of_thinking|\>
还可以直接使用evalscope进行评估吗？是否需要自己实现部分适配代码？需要的话建议修改哪一部分呢？

参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html#q1-qwqifeval
把`</think>`替换成`
`
Repository: modelscope/evalscope
Issue: valscope - WARNING - Retrying...  <404> {"detail": "Not Found"} perf 端口连接不上
Root cause: Environment Incompatibility

执行压测命令：
evalscope perf \
    --url "http://127.0.0.1:8000/v1/chat/completions" \
    --parallel 5 \
    --model qwen2.5 \
    --number 20 \
    --api openai \
    --dataset openqa \
    --stream

显示
http://127.0.0.1:8000/v1/chat/completions找不到 ：

![Image](https://github.com/user-attachments/assets/16daaca3-b1d8-44ce-9835-cadf8a6ae8de)

请问如何解决？

模型服务用什么部署的，这个`http://127.0.0.1:8000/v1/chat/completions`能访问吗

transformer的，不能访问

你需要先部署模型服务才能开始压测

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 求mean的时候错误
Root cause: Validation Gap

问题描述
Traceback (most recent call last):

File "/home/jeeves/.local/bin/evalscope", line 33, in <module>

sys.exit(load_entry_point('evalscope', 'console_scripts', 'evalscope')())

File "/local/apps/evalscope/evalscope/cli/cli.py", line 25, in run_cmd

cmd.execute()

File "/local/apps/evalscope/evalscope/cli/start_eval.py", line 32, in execute

run_task(self.args)

File "/local/apps/evalscope/evalscope/run.py", line 31, in run_task

return run_single_task(task_cfg, run_time)

File "/local/apps/evalscope/evalscope/run.py", line 44, in run_single_task

return evaluate_model(task_cfg, outputs)

File "/local/apps/evalscope/evalscope/run.py", line 117, in evaluate_model

res_dict = evaluator.eval()

File "/local/apps/evalscope/evalscope/evaluator/evaluator.py", line 378, in eval

metric_res = self.compute_metrics(reviews_list=reviews_list)

File "/local/apps/evalscope/evalscope/evaluator/evaluator.py", line 296, in compute_metrics

metric_score: List[dict] = self.data_adapter.compute_metric(

File "/local/apps/evalscope/evalscope/benchmarks/data_adapter.py", line 240, in compute_metric

res_list.append({'metric_name': metric_name, 'score': metric_func(review_res), 'num': len(review_res)})

File "/local/apps/evalscope/evalscope/metrics/metrics.py", line 20, in mean

arr = [item for sublist in arr for item in sublist]

File "/local/apps/evalscope/evalscope/metrics/metrics.py", line 20, in <listcomp>

arr = [item for sublist in arr for item in sublist]

TypeError: 'int' object is not iterable



该问题已修复，使用main分支代码可以解决问题

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: live_code_bench测试集准确率与qwen官方存在偏差
Root cause: Validation Gap

使用最新分支，按下面参数评测live_code_bench数据集结果总是和qwen官方给的存在偏差 偏差大概在百分之3-5这是正常现象吗
task_cfg = {
    'model':'Qwen2.5-Coder-1.5B-Instruct',
    'datasets':['live_code_bench'],
    'dataset_args':{
        'live_code_bench': {
            'extra_params': {
                'start_date': '2024-08-01',
                'end_date': '2024-11-30'
            },
        "filters": {"remove_until": "</think>"}  # 过滤掉模型推理过程中的思考部分
        }},
    'eval_batch_size': 8,  # 发送请求的并发数
    'generation_config':{
        'max_tokens':32000,  # 最大生成token数，建议设置为较大值避免输出截断
        'temperature': 0.6,  # 采样温度 (qwen 报告推荐值)
        'top_p': 0.95,  # top-p采样 (qwen 报告推荐值)
        'n': 1
        'top_k': 40,  # top-k采样 (qwen 报告推荐值)
    },
}


这里给的generation config是QwQ-32B建议的设置，跟Qwen2.5-Coder-1.5B-Instruct 最佳设置可能不一样

用QwQ-32B跑出来也存在差异

> 这里给的generation config是QwQ-32B建议的设置，跟Qwen2.5-Coder-1.5B-Instruct 最佳设置可能不一样

是否可以支持一下code类的评测嘞，就是借助另外的工具环境来验证代码的正确性，目前这种评测代码的方式感觉不是太准。

@hyf0214 我这边测 QwQ-32B 差距是一个点，你测的结果怎么样？

@Bigfishering 后续可以考虑一下启动一个code服务来验证

参考这个文档使用sandbox服务来进行代码评测：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/sandbox.html

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 相同机器上推理两次结果不一样这是为啥呢
Root cause: Configuration Error

```
# Copyright (c) Alibaba, Inc. and its affiliates.
"""
1. Installation
EvalScope: pip install evalscope[vlmeval]

2. Deploy judge model

3. Run eval task
"""
from evalscope.backend.vlm_eval_kit import VLMEvalKitBackendManager
from evalscope.run import run_task
from evalscope.summarizer import Summarizer
from evalscope.utils.logger import get_logger

logger = get_logger()


def run_swift_eval():
    # # Option 1: Use dict format
    task_cfg = {'eval_backend': 'VLMEvalKit',
                'generation_config': {
                    "max_length": 2048,
                    "max_new_tokens": 512,
                    "top_k": 1,
                    "top_p": 1.0,
                    "temperature": 0.0
                },
                 'eval_config': {
                                 'data': ['MathVista_MINI'],
                                 'mode': 'infer',
                                 'model': [{'api_base': 'http://localhost:8000/v1/chat/completions',
                                             'key': 'EMPTY',
                                             'name': 'CustomAPIModel',
                                             'temperature': 0.0,
                                             'type': 'Geo_2w_like_previous_0425_v9-20250425-114407_checkpoint-1228'}],
                                 'reuse': True,
                                 'work_dir': 'output'}}

    report_list = Summarizer.get_report_from_cfg(task_cfg)
    
    # Run task
    run_task(task_cfg=task_cfg)

    # [Optional] Get the final report with summarizer
    logger.info('>> Start to get the report with summarizer ...')
    report_list = Summarizer.get_report_from_cfg(task_cfg)
    logger.info(f'\n>> The report list: {report_list}')


if __name__ == '__main__':
    run_swift_eval()
```
用上述代码评测已经部署好的模型（同样的模型部署到两张卡上，对应的port分别为8000和8001），分别用这同一个机器上的两个url进行推理&评测，会有个别case的结果出现diff，导致最终两次结果偏差约1个点以内，这个是为啥呢？

同一个url推理两次也会存在diff，啊啊啊求问是为什么呢？

可以尝试在 'models' 参数中设置 `seed`，例如：
```python
'models': [
{'path': '/data00/models/deepseek-r1-w4a8',
'openai_api_base': 'http://221.194.152.47:8000/v1/chat/completions',
'is_chat': True,
'batch_size': 100,
'seed': 42
},
```

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 模型推理能力数据集支持CodeForces、Aider、LiveBench、BFCL、MultiIF吗，什么时候支持
Root cause: Unimplemented Feature Gap

模型推理能力数据集支持CodeForces、Aider、LiveBench、BFCL、MultiIF吗，什么时候支持