zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: DeepSeek R1 评测结果无法对齐
Root cause: Configuration Error

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## EvalScope 版本 / Version (必须)
v2.0.0

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [x] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

```python
schema = CollectionSchema(name="DeepSeek-R1", datasets=[
    CollectionSchema(name='English', datasets=[
        DatasetInfo(name='mmlu', weight=1, task_type='exam', tags=['en'], args={'few_shot_num': 0}),
        DatasetInfo(name='mmlu_redux', weight=1, task_type='exam', tags=['en'], args={'few_shot_num': 0}),
        DatasetInfo(name='mmlu_pro', weight=1, task_type='exam', tags=['en'], args={'few_shot_num': 0}),
        DatasetInfo(name='ifeval', weight=1, task_type='instruction', tags=['en'], args={'few_shot_num': 0}),
        DatasetInfo(name='gpqa', weight=1, task_type='knowledge', tags=['en'], args={'subset_list': ['gpqa_diamond'], 'few_shot_num': 0})
    ]),
    CollectionSchema(name='Code', datasets=[
        DatasetInfo(name='live_code_bench', weight=1, task_type='code', tags=['en'], args={'few_shot_num': 0, 'subset_list': ['v4_v5'], 'extra_params': {'start_date': '2024-8-01', 'end_date': '2025-02-01'}}),
    ]),
    CollectionSchema(name='Math', datasets=[
        DatasetInfo(name='math_500', weight=1, task_type='math', tags=['en'], args={'few_shot_num': 0}),
        DatasetInfo(name='aime24', weight=1, task_type='math', tags=['en'], args={'few_shot_num': 0}),
    ])
])
```


## 其他信息 / Additional Information

使用上述的评测集集合对 DeepSeek R1 进行评测，得到的结果和官方 report 的结果无法对齐：

### EvalScope 结果
<img width="615" alt="Image" src="https://github.com/user-attachments/assets/0d617432-0749-45bb-a54c-55d46837f6af" />

### DeepSeek R1 report 结果
<img width="891" alt="Image" src="https://github.com/user-attachments/assets/107b06b6-b5b3-4666-9929-be18d8c789a9" />

### 差异
<img width="417" alt="Image" src="https://github.com/user-attachments/assets/141f46c2-40ea-4486-a5fb-25e4a0b0276e" />




1. MATH500这个数据集评估结果会有个别badcase，可以参考这个解决 https://github.com/modelscope/evalscope/issues/392
2. prompt template以及generation config对模型评测结果影响也较大。目前的prompt是从lmeval harness和opencompass两个库借鉴来的，没有针对特定模型进行调优，可能与R1使用的不一样。

支持用户指定prompt template以及generation config吗？

@handsome-chips 支持的，设置数据集 Scheme 的时候在 args 修改就行：
```python
DatasetInfo(name='math_500', weight=1, task_type='math', tags=['en'], args={'few_shot_num': 0, 'prompt_template': MATH_QUERY_TEMPLATE}),
```

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 请求支持 passk 评测
Root cause: Documentation Deficiency

## 功能描述 / Feature Description

evalscope 当前内置的评测集（例如 LiveCodebench、AIME、MATH-500）等只支持 pass1 评测，与社区的主流做法存在差异（例如 QwQ 提供的评测方案：https://github.com/QwenLM/QwQ/blob/main/eval/README.md）

## 需求背景 / Background

当前的设计无法复现 QwQ 官方的评测结果，至少是一个公司的，希望能优先支持

## 预期行为 / Expected Behavior

评测结果可与 QwQ-32B 官方 report 的结果对齐：https://qwenlm.github.io/zh/blog/qwq-32b/

## 其他信息 / Additional Information


1. 本框架支持QwQ评测中的`n_sample`参数，在generation config中设置`n`可计算多个sample的平均指标，参考：https://evalscope.readthedocs.io/zh-cn/latest/best_practice/eval_qwq.html#id5
2. 本框架支持 `pass@k` 指标，参考 https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html#id3 中的`metrics_list`
Repository: modelscope/evalscope
Issue: image cannot be loaded

![Image](https://github.com/user-attachments/assets/def4032e-47b5-424f-910d-dfe1273a713c)

已修复

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 后端推理框架使用华为的mindie时，无法使用--min-tokens 2048 \--max-tokens 2048 \控制输出的长度
Root cause: Unimplemented Feature Gap

## 问题描述 / Issue Description
后端推理框架使用华为的mindie时，无法使用--min-tokens 2048 \--max-tokens 2048 \控制输出的长度
请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.
后端推理框架使用华为的mindie时，无法使用--min-tokens 2048 \--max-tokens 2048 \控制输出的长度
测试命令
evalscope perf \
--url http://127.0.0.1/:8802/v1/chat/completions \
--model deepseek_r1_70 \
--api openai \
--dataset random \
--min-tokens 2048 \
--max-tokens 2048 \
--prefix-length 128 \
--min-prompt-length 128 \
--max-prompt-length 128 \
--tokenizer-path /DS-70B/DeepSeek-R1-Distill-Llama-70B \
--stream \
--number 64 \
--parallel 32
测试结果

<img width="543" alt="Image" src="https://github.com/user-attachments/assets/ec1e02b2-afbd-4eec-b5ff-f4e450807947" />

## EvalScope 版本 / Version (必须)
v0.xx.x

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [ x] Ubuntu

- Python版本 / Python Version:
  - [ x] 3.11
  - [ ] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


`--min-tokens`不是所有模型服务都支持该参数，请查看对应API服务的文档。

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: mmlu数据集评估结果误判badcase集合
Root cause: Validation Gap

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## EvalScope 版本 / Version (必须)
v2.0.0

## 使用的工具 / Tools Used
- [X] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

```bash
# 例如：在终端中执行的指令 / Terminal command executed
evalscope eval --model /workspace/model_zoo/DeepSeek-R1-tokenizer --api-url http://127.0.0.1:8802/v1/chat/completions --api-key EMPTY --eval-type service --datasets mmlu --dataset-args {"mmlu": {"dataset_id": "/workspace/evalscope/data/mmlu", "subset_list": ["virology"], "few_shot_num": 0, "filters": {"remove_until": "</think>"}}} --generation-config max_tokens=32768,temperature=0 --timeout 10000 --eval-batch-size 32 --stream --use-cache /workspace/evalscope/outputs/mmlu_deepseek_r1_v190/deepseek_r1_v190_mmlu --judge-model-args {"api_url": "[http://127.0.0.1:8802/v1/chat/completions",](http://127.0.0.1:8802/v1/chat/completions%22,) "model_id": "/workspace/model_zoo/DeepSeek-R1-tokenizer"} --judge-strategy llm_recall --judge-worker-num 128
```

## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:
使用上述的命令对 DeepSeek R1 进行评测，得到的结果和官方 report 的结果无法对齐，出现下面的bad case

![Image](https://github.com/user-attachments/assets/af6b1f3c-386a-4f60-b47f-047410399621)

![Image](https://github.com/user-attachments/assets/fabbc7ac-0ad1-4037-97a3-4e65b3eeb2b0)
从结果来看是误判，也用了裁判模型，请问这个问题如何解决

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [X] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [X] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


这个case看起来是judge model也没有正确的判断答案，默认的judge template如下，对于多选题的效果可能不是很好，你可以自行调整一下`judge-model-args`里的 `prompt_template`
```python
"""Your job is to look at a question, a gold target, and a predicted answer, and return a letter "A" or "B" to indicate whether the predicted answer is correct or incorrect.

Question: {question}

Reference Answer: {gold}

Model Answer: {pred}

Evaluate the model's answer based on correctness compared to the reference answer.
Grade the predicted answer of this new question as one of:
A: CORRECT
B: INCORRECT

Just return the letters "A" or "B", with no text around it.
""" 
```

@sxl1993 你后来解决了吗？是改了template吗？

> [@sxl1993](https://github.com/sxl1993) 你后来解决了吗？是改了template吗？

这块的parser已经更新了，支持`ANSWER: B`这种解析

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 请问自己构建的多选题格式测试集，answer应该怎么写
Root cause: Unimplemented Feature Gap

就直接‘ABC’吗，请问还有其他哪些参数需要修改来评估多选题

LLM的自定义多选题格式参考这里：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset/llm.html#mcq

不好意思，这个我没看懂才问的，这个是单选题吧，answer只有一个正确选项，如果是多个正确选项应该怎么写呢

多个正确答案的还不支持，或许可以构造几个答案的组合让模型选

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！

希望能直接支持自定义数据集的多选格式，现在要构建答案组合还是比较麻烦 @Yunnglin 

> 希望能直接支持自定义数据集的多选格式，现在要构建答案组合还是比较麻烦 @Yunnglin 

可以尝试把多选题配置成general qa的形式，让模型来判断答案是否正确，以及正确几个
Repository: modelscope/evalscope
Issue: mmlu数据集评测时候报错
Root cause: Validation Gap

![Image](https://github.com/user-attachments/assets/40746c4a-5599-4ed1-8fae-53a33a745349)

使用的启动命令是什么，使用的evalscope版本是什么呢

> 使用的启动命令是什么，使用的evalscope版本是什么呢

0.14.0的evalscope

![Image](https://github.com/user-attachments/assets/480c96fd-6c2f-43a7-bcf9-c4d733883f61)

看一下`outputs/2025xxxxx/predictions/`路径下面模型的输出，贴几个例子看看

> 看一下`outputs/2025xxxxx/predictions/`路径下面模型的输出，贴几个例子看看

![Image](https://github.com/user-attachments/assets/74d1fff7-ae0f-47fb-8a48-abdf61c1693a)
最后几个case的内容为null

> > 看一下`outputs/2025xxxxx/predictions/`路径下面模型的输出，贴几个例子看看
> 
> ![Image](https://github.com/user-attachments/assets/74d1fff7-ae0f-47fb-8a48-abdf61c1693a) 最后几个case的内容为null

看上去是输出长度不够，被提前截断了

已解决，感谢~

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 生成的prompt乱码问题
Root cause: Environment Incompatibility


## 使用的命令
使用evalscope perf 命令的时，完整命令是：
evalscope perf --url "http://127.0.0.1/v1/chat/completions" --parallel 1 --model QWQ-32B --number 1 --api openai  --dataset random --max-tokens 512 --min-tokens 512 --prefix-length 256 --min-prompt-length 256 --max-prompt-length 256 --temperature 0.9 --tokenizer-path "D:/model/qwen" --debug

## 运行结果和报错信息
可以正常出结果，但是生成的[{"role":"user","content":"一堆乱码"]
content是一些乱码


并且有一个报错：
UnicodeEncoderError: 'gbk' codec cant encode character '\U0001f4d2' in position 242:illegal multibyte sequence

## EvalScope 版本 / Version (必须)
latest

## 使用的工具 / Tools Used
- [✅] Perf / 模型推理压测工具


## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [✅] Windows
  - [ ] macOS
  - [ ] Ubuntu

- Python版本 / Python Version:
  - [✅] 3.11
  - [ ] 3.10
  - [ ] 3.9


random就是从词表里面随机抽的词，拼起来的prompt就是像乱码，导致模型也是乱说话。

这个报错`UnicodeEncoderError: 'gbk' codec cant encode character '\U0001f4d2' in position 242:illegal multibyte sequence` 是哪里出现的

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！

![Image](https://github.com/user-attachments/assets/ee4a3752-b3cb-4f40-ad41-500e8922ef2c)

> ![Image](https://github.com/user-attachments/assets/ee4a3752-b3cb-4f40-ad41-500e8922ef2c)

@wsin184 请创建一个issue详细描述一下你遇到的问题
Repository: modelscope/evalscope
Issue: 性能测试perf有多模态的支持？
Root cause: Documentation Deficiency

本地vllm部署qwen2.5vl-3b模型，如何通过perf压测？

参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html#id5

数据集设置`flickr8k`

  --min-prompt-length 128 \
  --max-prompt-length 128 \
我在测试多模态模型性能时添加上述参数，但报告中的 Average input tokens per request不能按照上述设置？
Repository: modelscope/evalscope
Issue: swanlab上传完整日志文件
Root cause: Unimplemented Feature Gap

1：能否将完整的log上传swanlab中
2：能否指定上传至私有化部署的swanlab中

可以关注此Issue：https://github.com/SwanHubX/SwanLab/issues/937

Hi，swanlab 0.5.9 已支持标准错误流代理，可以将完整的 log 上传至 swanlab 了！

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 想请教一下app里面的数据集概览显示情况
Root cause: Documentation Deficiency

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## EvalScope 版本 / Version (必须)
v0.13.1

## 使用的工具 / Tools Used
- [√ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed
evalscope app


界面中我选的`单模型`——`数据集概览`，分数表中显示的只有一个分数；但`单模型`——`数据集详情`显示很详细，每个指标都给出分数了。同时`多模型比较`里面显示的也是只有`BLEU-1`。所以有个疑问，`概览`里面只展示`BLEU-1`是比较看重这个指标吗？还是默认选择`详情`的第一条作为显示？

![Image](https://github.com/user-attachments/assets/6a29cbbe-7333-4f7b-a4a2-dad026cdcb4d)

![Image](https://github.com/user-attachments/assets/0534932a-2737-4e21-8e3f-65400210625f)

多模型比较里面默认使用了数据集的第一个metric进行展示

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: more packages should be added into requirements
Root cause: Architectural Constraint

`gradio,plotly`

```bash
evalscope -h
Traceback (most recent call last):
  File "/mnt/dolphinfs/ssd_pool/docker/user/hadoop-aipnlp/INS/ruanjunhao04/miniforge3/envs/sglang/bin/evalscope", line 8, in <module>
    sys.exit(run_cmd())
             ^^^^^^^^^
  File "/mnt/dolphinfs/ssd_pool/docker/user/hadoop-aipnlp/INS/ruanjunhao04/miniforge3/envs/sglang/lib/python3.12/site-packages/evalscope/cli/cli.py", line 16, in run_cmd
    StartAppCMD.define_args(subparsers)
  File "/mnt/dolphinfs/ssd_pool/docker/user/hadoop-aipnlp/INS/ruanjunhao04/miniforge3/envs/sglang/lib/python3.12/site-packages/evalscope/cli/start_app.py", line 24, in define_args
    from evalscope.report.app import add_argument
  File "/mnt/dolphinfs/ssd_pool/docker/user/hadoop-aipnlp/INS/ruanjunhao04/miniforge3/envs/sglang/lib/python3.12/site-packages/evalscope/report/app.py", line 3, in <module>
    import gradio as gr
ModuleNotFoundError: No module named 'gradio'
```

```bash
evalscope -h
Traceback (most recent call last):
  File "/mnt/dolphinfs/ssd_pool/docker/user/hadoop-aipnlp/INS/ruanjunhao04/miniforge3/envs/sglang/bin/evalscope", line 8, in <module>
    sys.exit(run_cmd())
             ^^^^^^^^^
  File "/mnt/dolphinfs/ssd_pool/docker/user/hadoop-aipnlp/INS/ruanjunhao04/miniforge3/envs/sglang/lib/python3.12/site-packages/evalscope/cli/cli.py", line 16, in run_cmd
    StartAppCMD.define_args(subparsers)
  File "/mnt/dolphinfs/ssd_pool/docker/user/hadoop-aipnlp/INS/ruanjunhao04/miniforge3/envs/sglang/lib/python3.12/site-packages/evalscope/cli/start_app.py", line 24, in define_args
    from evalscope.report.app import add_argument
  File "/mnt/dolphinfs/ssd_pool/docker/user/hadoop-aipnlp/INS/ruanjunhao04/miniforge3/envs/sglang/lib/python3.12/site-packages/evalscope/report/app.py", line 7, in <module>
    import plotly.express as px
ModuleNotFoundError: No module named 'plotly'
```

使用可视化功能，安装的时候需要指定 `evalscope[app]`

参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/visualization.html#id2

emm，那这个不太严重的问题可能可以重新归类成：

不需要可视化功能的用户无法调用-h命令来快速了解evalscope的命令行参数了，也许有什么办法可以分离一下-h对这两个可视化包的依赖？

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 因为超出长度问题报bug
Root cause: Validation Gap

![Image](https://github.com/user-attachments/assets/f489faa6-7d2e-43e1-b8a0-46e428659232)

这种超出长度、一直在thinking或者其他原因导致content为null的问题，是不是可以直接判为bad case而不做后续的处理呢？或者像opencompass一样有retry机制，跑失败了再跑两次这样？

1. context为null后续会增加处理逻辑
2. 目前retry是在请求失败的时候会自动进行，不会在content为null进行

目前将context为null的请求内容替换为空字符串

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 微调模型评测&自建评测数据集
Root cause: Documentation Deficiency

1、请问针对lora微调之后但没有合并的大模型，如何加载checkpoint进行评测呢？
2、支持自定义评测数据集进行评测吗？如何操作呢？或对格式有什么要求吗？

1. 微调后的模型可以使用 ms-swift 集成的eval能力进行评测，指定 `--ckpt_dir` 参数
  参考： https://evalscope.readthedocs.io/zh-cn/latest/best_practice/swift_integration.html#id3

2. 自定义评测数据集教程参考：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset.html

> 1、请问针对lora微调之后但没有合并的大模型，如何加载checkpoint进行评测呢？ 2、支持自定义评测数据集进行评测吗？如何操作呢？或对格式有什么要求吗？

同学你搞定了吗
Repository: modelscope/evalscope
Issue: 多指标基准测试评分结果疑惑
Root cause: Algorithmic Error

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

比如chinese_simpleqa 评测, 它有3个指标(相关代码如下)
```
class ChineseSimpleQAAdapter(DataAdapter):

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)

        # register metrics
        metric_registry.register(Metric(name='is_correct', object=mean))
        metric_registry.register(Metric(name='is_incorrect', object=mean))
        metric_registry.register(Metric(name='is_not_attempted', object=mean))

        # whether to use LLM as a judge
        self.llm_as_a_judge = True
```

这回导致最终report中统计的数据量乘3倍.  并且评测总分的计算也是粗暴地做平均。

例如我只评测2条数据，1个数据是`is_correct`为1, 另一个数据是`is_incorrect`为1

这是最终report
```
// 20250414_xxx/reports/模型名称/evalscope_data.json
{
    "name": "data_collection",
    "dataset_name": "evalscope_data",
    "model_name": "grok-3-beta",
    "score": 0.8009,
    "metrics": [
         "categories": [{
                    "name": [
                        "事实性知识"
                    ],
                    "num": 70,
                    "score": 0.5286,
                    "macro_score": 0.6902,
                    "subsets": [
                        {
                            "name": "chinese_simpleqa/中华文化",
                            "score": 0.3333,  // 粗暴的平均分
                            "num": 6   // 这里从2变成6
                     },
        ],

```

这个数据子集的期望得分是0.5(因为模型答对一个题,答错一个题), 但实际是0.3333


算平均分的代码在这里
(只有一条数据的数据集测试结果, 无论模型怎么回答, 算出的分都是0.3333)
![Image](https://github.com/user-attachments/assets/6e0e059b-83a7-46c4-969f-5c060f4ed441)


## EvalScope 版本 / Version (必须)
v0.13.2




我这边是用evalscope app 看报告

使用collection目前确实有这个问题，后续将修复

目前已修复该问题，默认展示is_correct分数

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: QwQ在ifeval上精度和官方不对齐
Root cause: Configuration Error

我在A800上测QwQ-32B在IFEval数据集上的精度，用evalscope测出来只有51，但是用QwQ官方仓库的脚本测却有82，请问evalscope测QwQ是有啥特殊的设置嘛？

> 我在A800上测QwQ-32B在IFEval数据集上的精度，用evalscope测出来只有51，但是用QwQ官方仓库的脚本测却有82，请问evalscope测QwQ是有啥特殊的设置嘛？

evalscope eval --model QwQ-32B --api-url http://127.0.0.1:8802/v1/chat/completions --api-key EMPTY --eval-type service --datasets ifeval --dataset-args '{"ifeval": {"few_shot_num": 0}}' --generation-config max_tokens=32768,temperature=0 --timeout 10000 --eval-batch-size 64   

这是我的evalscope测试命令

datast-args 的 ifeval加上 `"filters": {"remove_until": "</think>"}'` 

> datast-args 的 ifeval加上 `"filters": {"remove_until": "</think>"}'`

感谢大佬，已对齐

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 启用--use_cache参数后,也要输出报告
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

目前启用use_cache后,它会复用目标目录下的结果. 但是它不再生成新的报告, 即`output/{时间戳}`目录

## 需求背景 / Background

为什么需要这个功能？ / Why is this feature needed?

## 预期行为 / Expected Behavior

期望启用use_cache后, 评测过程是复用缓存目录下的结果,但是新的报告要继续生成

## 其他信息 / Additional Information

还有其他相关信息吗？ / Any other relevant information?


use_cache 会覆盖cache目录下的评测报告

举个例子
```
--use_cache = './cache'
```

期望结果是同时往`./cache`和`./output/时间戳1` 目录下写入模型日志
在第二次运行时候, 会生成`./output/时间戳2` 目录,但过程中会复用`./cache`中的日志
Repository: modelscope/evalscope
Issue: realwordqa 评测模型最后输出来的是选abcd的准确率吗？
Root cause: Documentation Deficiency

你好～
我对qwen2.5-vl-7b的模型在realwordqa上评测，出来的结果是
-------  ------------------
split    none
Overall  0.6718954248366014
-------  ------------------
想问下这个是选abcd的准确率吗？有没有文档说明下各个benchmark上输出来的得分的含义，新手有点对这些得分不太熟悉 ～谢谢

是选项的准确率，参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/supported_dataset.html#id3

MCQ基本都是选项的准确率

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 压力测试推理模型报错
Root cause: Validation Gap

## 问题描述 

压力测试推理模型出现：'statistic_benchmark_metric': 'choices'报错

请简要描述您遇到的问题。

我对非推理模型进行压力测试没有问题，对qwq进行压力测试报错


## EvalScope 版本 / Version (必须)
v0.14.0

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [√ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式



```python
# 例如：执行的Python代码 / Python code executed
from evalscope.perf.main import run_perf_benchmark
task_cfg = {
    "url": "http://172.16.8.36:9997/v1/chat/completions",
    "parallel": 5,
    "model": "qwq-32b",
    "number": 5,
    "api": "openai",
    "dataset": "openqa",
    "stream": True
}
run_perf_benchmark(task_cfg)


## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

2025-04-15 17:53:27,307 - evalscope - INFO - Save the data base to: ./outputs/20250415_175326/qwq-32b/benchmark_data.db
Processing:   0%|                                                                                                                         | 0/5 [00:00<?, ?it/s]
2025-04-15 17:53:27,462 - evalscope - ERROR - Exception in async function 'statistic_benchmark_metric': 'choices'
Traceback (most recent call last):
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/utils/handler.py", line 17, in async_wrapper
    return await func(*args, **kwargs)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/benchmark.py", line 137, in statistic_benchmark_metric
    metrics.update_metrics(benchmark_data, api_plugin)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/utils/benchmark_util.py", line 91, in update_metrics
    benchmark_data._calculate_tokens(api_plugin)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/utils/benchmark_util.py", line 45, in _calculate_tokens
    api_plugin.parse_responses(self.response_messages, request=self.request)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/plugin/api/openai_api.py", line 121, in parse_responses
    self.__process_no_object(js, delta_contents)
  File "/home/hnjj/diskdata/yuanshi/media/CCA/evalscope/evalscope/perf/plugin/api/openai_api.py", line 144, in __process_no_object
    for choice in js['choices']:
KeyError: 'choices'


## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [ ] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [ ] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.