zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 如何去掉deepseek蒸馏模型输出的<think>标签内的内容，再进行模型评估？
Root cause: Documentation Deficiency

如何去掉deepseek蒸馏模型输出的<think>标签内的内容，再进行模型评估？

我担心加上<think>标签内的内容会影响最后的评分

按照[deepseek官方](https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file#usage-recommendations)的说法，是建议加上`<think>`标签的：

![Image](https://github.com/user-attachments/assets/6b4ae539-e208-4576-b5f9-056376bbab1b)



可以去掉吗？我想试一试，如果可以的话应该怎么实现？

就是模型将结果text输出之后，有没有相应的内容后处理的方法，将text中的<think>思考内容</think>去掉，再进行计算输出与真实结果的一个误差得分

计算得分是通过从模型输出中解析答案，并通过匹配的到的，思考内容一般不影响最后的答案

我是用deepseek蒸馏的qwen系列模型，与官方发布的qwen系列模型对比，数据集用的是ifeval，发现得分结果官方发布的超了蒸馏系列模型30多分，下面是我的代码设置

![Image](https://github.com/user-attachments/assets/f5d0ba3d-38f7-4c8c-a0b3-52fedb8a8d74)

`IFEval`测的是指令遵循能力，distill的模型指令遵循能力下降也算正常；对于ifeval这个数据集 think 标签可能影响结果的计算，对于reasoning模型目前还是在数学测试集上支持比较好

你可以尝试添加system prompt让模型不要输出think标签，直接给答案

好的，明白了，谢谢您提供的帮助

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 可视化显示没有找到报告
Root cause: Configuration Error

您好，
evalscope:0.11.0
执行测试后，生成测试报告outputs文件，里面已包含测试结果。
在当前文件夹下执行evalscope app，web显示“没有找到报告，请检查路径”，设置绝对路径也无法解决。

outputs文件夹下是否存在reports目录，里面看看有没有文件

> 由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: Dataset Scores为什么没有值？
Root cause: Environment Incompatibility

![Image](https://github.com/user-attachments/assets/f8303a7f-bbf7-4ac1-b229-f2da1fe07569)

先尝试刷新页面，再看看环境中的这两个库是什么版本：
```bash
# 5.23.0
pip show gradio
# 5.4.0
pip show plotly
```

pip show gradio
Name: gradio
Version: 5.4.0
Summary: Python library for easily interacting with trained machine learning models
Home-page: https://github.com/gradio-app/gradio
Author:
Author-email: Abubakar Abid <gradio-team@huggingface.co>, Ali Abid <gradio-team@huggingface.co>, Ali Abdalla <gradio-team@huggingface.co>, Dawood Khan <gradio-team@huggingface.co>, Ahsen Khaliq <gradio-team@huggingface.co>, Pete Allen <gradio-team@huggingface.co>, Ömer Faruk Özdemir <gradio-team@huggingface.co>, Freddy A Boulton <gradio-team@huggingface.co>, Hannah Blair <gradio-team@huggingface.co>
License:
Location: /owner/ninth/anaconda3/envs/evalscope/lib/python3.10/site-packages
Requires: aiofiles, anyio, fastapi, ffmpy, gradio-client, httpx, huggingface-hub, jinja2, markupsafe, numpy, orjson, packaging, pandas, pillow, pydantic, pydub, python-multipart, pyyaml, ruff, safehttpx, semantic-version, starlette, tomlkit, typer, typing-extensions, uvicorn
Required-by: ms-vlmeval


(evalscope) ninth@master:~$ pip show plotly
Name: plotly
Version: 6.0.0
Summary: An open-source, interactive data visualization library for Python
Home-page: https://plotly.com/python/
Author: Chris P
Author-email: chris@plot.ly
License: MIT
Location: /owner/ninth/anaconda3/envs/evalscope/lib/python3.10/site-packages
Requires: narwhals, packaging
Required-by: evalscope


plotly 尝试将到 5.23.0

可以了。谢了

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 评估报错：KeyError: 'question'
Root cause: Validation Gap

用下面命令进行评估
evalscope perf --url http://127.0.0.1:8000/v1/chat/completions --parallel 128 --model DeepSeek-R1-Distill-Qwen-7B --log-every-n-query 10 --read-timeout=120 -n 500 --max-prompt-length 2048 --min-prompt-length 0 --max-tokens 1024 --api openai --query-template '{"model": "%m", "messages": [{"role": "user","content": "%p"}], "stream": false,"skip_special_tokens": false,"stop": ["
"]}' --dataset openqa  --dataset-path eval_data/test.jsonl

报错：
Save the result to : /workspace/hub/DeepSeek-R1-Distill-Qwen-7B_benchmark_2025_02_19_02_40_46_156336.db
Traceback (most recent call last):
  File "/opt/conda/bin/evalscope", line 8, in <module>
    sys.exit(run_cmd())
             ^^^^^^^^^
  File "/opt/conda/lib/python3.11/site-packages/evalscope/cli/cli.py", line 21, in run_cmd
    cmd.execute()
  File "/opt/conda/lib/python3.11/site-packages/evalscope/cli/start_perf.py", line 33, in execute
    run_perf_benchmark(self.args)
  File "/opt/conda/lib/python3.11/site-packages/evalscope/perf/http_client.py", line 669, in run_perf_benchmark
    asyncio.run(benchmark(args))
  File "/opt/conda/lib/python3.11/asyncio/runners.py", line 190, in run
    return runner.run(main)
           ^^^^^^^^^^^^^^^^
  File "/opt/conda/lib/python3.11/asyncio/runners.py", line 118, in run
    return self._loop.run_until_complete(task)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/conda/lib/python3.11/asyncio/base_events.py", line 654, in run_until_complete
    return future.result()
           ^^^^^^^^^^^^^^^
  File "/opt/conda/lib/python3.11/site-packages/evalscope/perf/http_client.py", line 612, in benchmark
    expected_number_of_queries = await dispatch_task  # wait for dispatch task complete
                                 ^^^^^^^^^^^^^^^^^^^
  File "/opt/conda/lib/python3.11/site-packages/evalscope/perf/http_client.py", line 233, in dispatch_requests_worker
    for messages in message_generator:
  File "/opt/conda/lib/python3.11/site-packages/evalscope/perf/datasets/openqa.py", line 20, in build_messages
    prompt = item['question'].strip()
             ~~~~^^^^^^^^^^^^
KeyError: 'question'

是什么原因导致的

参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html#id5 

`--dataset-path eval_data/test.jsonl`里面的数据是什么格式的

> 参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html#id5
> 
> `--dataset-path eval_data/test.jsonl`里面的数据是什么格式的

这样的
{"query": "中国的首都是哪里？", "response": "中国的首都是北京"}
{"query": "世界上最高的山是哪座山？", "response": "是珠穆朗玛峰"}
{"query": "为什么北极见不到企鹅？", "response": "因为企鹅大多生活在南极"}


数据集指定 openqa 将获取 item['question'] 作为prompt，提供的数据格式不对

> 数据集指定 openqa 将获取 item['question'] 作为prompt，提供的数据格式不对

好

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 自定义评测数据集，general_mcq，prompt_template和_format_example中的"答案："支持通过命令行评测参数传入控制
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

https://github.com/modelscope/evalscope/blob/main/evalscope/benchmarks/general_mcq/general_mcq_adapter.py
自定义评测数据集，general_mcq，prompt_template和_format_example支持通过命令行评测参数传入控制

![Image](https://github.com/user-attachments/assets/6f56ff38-24f6-49f9-99f2-c523911a1531)

![Image](https://github.com/user-attachments/assets/c4692ec0-d803-4bef-90c5-1957dcebd22c)

## 需求背景 / Background

目前的实现，是在外层包裹了一层prompt范式，如果自定义的评测集中question列就是一个完整的prompt（如有输出的格式约束），就会对预期的输出结果有影响

## 预期行为 / Expected Behavior

自定义评测数据集，general_mcq，prompt_template和_format_example中的"答案："支持通过命令行评测参数传入控制
--prompt_template

![Image](https://github.com/user-attachments/assets/dfb48354-689e-4c6f-819a-30741be295af)

## 其他信息 / Additional Information

还有其他相关信息吗？ / Any other relevant information?


目前是支持在dataset args里面设置`prompt_template`参数的，使用是有什么问题吗？

https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html#id3

![Image](https://github.com/user-attachments/assets/53e0642e-90c0-4b70-b8ba-871be3ec3c1b)

> 目前是支持在dataset args里面设置`prompt_template`参数的，使用是有什么问题吗？
> 
> https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html#id3
> 
> ![Image](https://github.com/user-attachments/assets/53e0642e-90c0-4b70-b8ba-871be3ec3c1b)

"问题"和"答案"这两个字段目前是没办法调整的

![Image](https://github.com/user-attachments/assets/37aca975-99a7-46ca-8822-6b8184446b74)

现在可以指定query_template来指定模版了，拉取main分支代码试试，目前只对general_mcq生效：

![Image](https://github.com/user-attachments/assets/7fa31aad-af4f-4788-918a-d2fffb9089c1)

> 现在可以指定query_template来指定模版了，拉取main分支代码试试，目前只对general_mcq生效：
> 
> ![Image](https://github.com/user-attachments/assets/7fa31aad-af4f-4788-918a-d2fffb9089c1)

nice!
Repository: modelscope/evalscope
Issue: Average time per output token指标统计不准确
Root cause: Algorithmic Error

性能测试中输出的Average time per output token (s)指标的计算方式和TPOT的定义不同，TPOT应该是指针对单个用户的token生成时间，而Average这个指标的计算方式是1/Throughput，而throughput是指包括输入在内的整体吞吐。

这里计算的Average time per output token (s) 确实是1/Throughput，多并发时跟标准的TPOT有些不一致，我们修改一下

请问这个问题是已经更新修改好了吗，TPOT 是通过测量生成多个 token 的总时间，然后除以生成的 token 数量来计算的。Average time per output token (s)是通过吞吐量（Throughput）的倒数来计算的，修改好的是按照这样计算的嘛，谢谢回复

> 请问这个问题是已经更新修改好了吗，TPOT 是通过测量生成多个 token 的总时间，然后除以生成的 token 数量来计算的。Average time per output token (s)是通过吞吐量（Throughput）的倒数来计算的，修改好的是按照这样计算的嘛，谢谢回复

修改了还没合入，修改后就是对TPOP的平均

> > 请问这个问题是已经更新修改好了吗，TPOT 是通过测量生成多个 token 的总时间，然后除以生成的 token 数量来计算的。Average time per output token (s)是通过吞吐量（Throughput）的倒数来计算的，修改好的是按照这样计算的嘛，谢谢回复
> 
> 修改了还没合入，修改后就是对TPOP的平均

您好，请问拉取最新版本的代码就说修改过的嘛？还是？合入是指代码还没更新嘛还是，我是git小白，所以有很多不是很理解，因为我看到您这边是修改了代码

代码修改已经合入main分支了，可以拉取main分支代码安装来试试了

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: bug，多个数据集时返回值不对
Root cause: Algorithmic Error

https://github.com/modelscope/evalscope/blob/main/evalscope/run.py#L118
多个数据集时结果会覆盖

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: [Feature Request] Support Random dataset
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

Random Dataset

## 需求背景 / Background

- https://github.com/vllm-project/vllm/blob/main/benchmarks/benchmark_serving.py
- https://github.com/sgl-project/sglang/blob/main/python/sglang/bench_serving.py

## 预期行为 / Expected Behavior

Generate random INPUT with specified prompt length

## 其他信息 / Additional Information




目前支持如下两个参数，后续将支持sharegpt数据集

![Image](https://github.com/user-attachments/assets/00b98fcc-13e3-49a8-80d6-a8638b822db4)

It generate random data (no dataset required):

https://github.com/vllm-project/vllm/blob/v0.7.3/benchmarks/benchmark_serving.py#L366C1-L399C1

For example, generate any data input with 2000 tokens (expecting 1000 output tokens), 4 requests per second, 16 prompts in total:

```bash
          python3 benchmark_serving.py --backend vllm \
            --dataset-name random \
            --model DeepSeek-R1-Distill-Qwen-32B \
            --tokenizer /models/DeepSeek-R1-Distill-Qwen-32B \
            --random-input-len 2000 \
            --random-output-len 1000 \
            --random-range-ratio 1 \
            --request-rate 4 \
            --max-concurrency 4 \
            --num-prompts 16 \
            --base-url http://ds-r1-distill-qwen-32b:8080
```

main分支代码已支持random生成perf数据集，参考[使用示例](https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/examples.html#random)

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 可视化界面图表展示异常
Root cause: External Dependency Breakage

## 问题描述 / Issue Description
可视化界面图表展示异常

![Image](https://github.com/user-attachments/assets/c07567aa-03d8-4f94-8921-d4a757058ea9)

![Image](https://github.com/user-attachments/assets/370ee8c7-0520-49e3-bf70-ee3c7ef4c206)

## 使用的工具 / Tools Used
- [√ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

evalscope app

## 错误日志 / Error Log

命令行本身没有输出，在**浏览器控制台**看到如下输出：

![Image](https://github.com/user-attachments/assets/c4766c42-1a7e-4cc8-ad42-abebd2bd7b37)


## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [√] macOS
  - [ √] Ubuntu

- Python版本 / Python Version:
  - [√ ] 3.11
  - [ ] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.
使用pip方式安装，0.10和0.11版本均存在


参考 #311 

plotly 尝试降到 5.23.0 版本

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 不支持vicuna模型吗？


应该是支持的，使用遇到了什么问题吗，只要模型能推理起来都支持

> 应该是支持的，使用遇到了什么问题吗，只要模型能推理起来都支持

我在评测自定义的问答数据集时，总是出现Traceback (most recent call last):
  File "/home/adminfw0096/lizhen/evalscope/test1.py", line 27, in <module>
    run_task(task_cfg=task_cfg)
  File "/home/adminfw0096/lizhen/evalscope/evalscope/run.py", line 363, in run_task
    res_dict: dict = evaluator.eval(infer_cfg=infer_cfg, debug=debug)
  File "/home/adminfw0096/lizhen/evalscope/evalscope/evaluator/evaluator.py", line 485, in eval
    reviews_list: list = self.get_reviews(subset_name=subset_name,
  File "/home/adminfw0096/lizhen/evalscope/evalscope/evaluator/evaluator.py", line 350, in get_reviews
    review_d = self._get_review(answer_d=answer_d, review_id=review_id, reviewer_spec=reviewer_spec)
  File "/home/adminfw0096/lizhen/evalscope/evalscope/evaluator/evaluator.py", line 294, in _get_review
    review_result = self.data_adapter.match(gold_content, answer_content)
  File "/home/adminfw0096/lizhen/evalscope/evalscope/benchmarks/general_qa/general_qa_adapter.py", line 115, in match
    rouge_dict = compute_rouge_score_one_sample_zh([pred], [gold])
  File "/home/adminfw0096/lizhen/evalscope/evalscope/metrics/rouge_metric.py", line 56, in compute_rouge_score_one_sample_zh
    score = zh_scorer.get_scores(p, r)[0]
  File "/home/adminfw0096/anaconda3/envs/evalscope/lib/python3.10/site-packages/rouge_chinese/rouge.py", line 116, in get_scores
    return self._get_scores(hyps, refs)
  File "/home/adminfw0096/anaconda3/envs/evalscope/lib/python3.10/site-packages/rouge_chinese/rouge.py", line 129, in _get_scores
    sc = fn(
  File "/home/adminfw0096/anaconda3/envs/evalscope/lib/python3.10/site-packages/rouge_chinese/rouge.py", line 54, in <lambda>
    "rouge-1": lambda hyp, ref, **k: rouge_score.rouge_n(hyp, ref, 1, **k),
  File "/home/adminfw0096/anaconda3/envs/evalscope/lib/python3.10/site-packages/rouge_chinese/rouge_score.py", line 253, in rouge_n
    raise ValueError("Hypothesis is empty.")
ValueError: Hypothesis is empty. 

请问用的什么版本的evalscope，最新版是0.11.0

> 请问用的什么版本的evalscope，最新版是0.11.0

我用的0.5.5版本的，但是我使用llama模型就不会报错。

建议升级的新版本来使用，然后如果有报错请贴一下outputs文件夹中的log以及模型prediction的结果。

> 建议升级的新版本来使用，然后如果有报错请贴一下outputs文件夹中的log以及模型prediction的结果。
使用新版本的没有问题了，感谢。为啥我的评测结果中，Num的数量不一样？



看一下log，猜测是评测过程中有部分数据报错了，这几个数据就被跳过了

> 看一下log，猜测是评测过程中有部分数据报错了，这几个数据就被跳过了

2025-02-26 22:11:01,853 - evalscope - WARNING - rouge score error:  1 、 收购 、 出售 、 出租 “ 两卡 ” 的 行为 是 目前 司法 实践 中 “ 帮信罪 ” 适用 最多 的 一种 类型 。 “ 两卡 ” 是 指 ： 手机卡 （ 包括 通信 运营商 、 虚拟 运营商 的 各类 手机卡 以及 物 联网 卡 ） 、 银行卡 （ 包括 各 商业银行 的 个人 银行卡 、 单位 银行 账户 、 结算 卡 以及 第三方 支付 机构 的 支付 账户 ， 如微信 支付 和 支付宝 等 ） 2 、 利用 社交 媒体 账号 等 方式 为 电诈 团伙 推广 引流 等 行为 。 3 、 为 网络 犯罪分子 制作 、 封装 、 维护 非法 软件 等 行为 。 4 、 职业 “ 码农 ” 团伙 依附 非法 平台 疯狂 “ 跑 分 ” 等 行为 。 not enough values to unpack (expected 2, got 0)

这是日志显示的信息，我的原始数据格式没有错，会不会是模型没有输出？可是我用别的模型就不会出现这个问题。

看一下outputs文件夹中的模型prediction的结果，可能是模型没有输出，具体使用的是哪个模型

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: evalscope perf 使用本地的测试数据集进行压力测试
Root cause: Configuration Error

红框是我的测试脚本，已经使用curl命令测试过url是可以正常服务的（vllm部署的deepseek R1 - Int4 量化版的，部署成功的），我想尝试用本地下载的数据集进行压测（指定了-dataset 和 -dateset-path）（因为服务器没法连接外网），但是一直会报Test : Timeout错误
![Image](https://github.com/user-attachments/assets/13c5fab6-eb8c-4777-9982-052d0fd88035)

不知道 "perf/benchmark.py"的中这个127.0.0.1地址是什么意思，以及如何解决这个问题，谢谢。
![Image](https://github.com/user-attachments/assets/a75ebf89-a222-4511-a9d8-3a80b46268e3)

1. perf/benchmark.py"的中这个127.0.0.1地址 只影响 `--api` 为 `local` 时的行为，不影响你这段代码

2. 你把url改成`http://127.0.0.1:8500/v1/chat/completions`，再加上 `--debug` 参数试试

![Image](https://github.com/user-attachments/assets/d9f20cca-4355-4900-b43e-a27cc024485a)
还是同样的connection failed，是修改下面这个地方的url吗？

![Image](https://github.com/user-attachments/assets/889122c9-b0ff-4fd6-a937-3a81a41de7bf)

下面是我使用curl命令简单测试的结果（忽略回答是乱码的，因为是int4量化版本的）：

![Image](https://github.com/user-attachments/assets/b41ac5fb-17c9-49e6-9e4f-130865661e9f)

![Image](https://github.com/user-attachments/assets/f9ecb855-f5a9-4e52-8d52-cfc79ca6a977)

我大概知道是为什么了，模型在120s内没有回复，导致超时了，而且第一个请求没有设置max tokens，导致一直收不到回复

需要我设置--read-timeout=720变成更大，还是添加别的参数，我刚刚看了一下手册，觉得 --connect-timeout可以设置更大点

可以尝试增大 --connect-timeout 

![Image](https://github.com/user-attachments/assets/1d6860ce-cea0-4ba8-9d85-b30b2c47e419)
我把--connect-timeout设置为7200，--read-timeout使用默认的120，发现会出现这个错误：Timeout on reading data from socket,为什么通过socket去读取网上的数据？？，是我设置使用本地数据集有误吗？
我查看手册，如下图所示，我的理解是设置了--dataset和--dataset-path后，会使用本地的data-path指定的数据集：

![Image](https://github.com/user-attachments/assets/bfd03b4b-252f-4f7a-8264-4c18eea97df4)

你拉main分支代码安装再试试，我给connection部分添加了max tokens

嗯嗯，好的，我刚想说补充一点，我的evalscope版本是0.11.0,不是mian版本的


Yes, 应该是可以了！ 多谢

![Image](https://github.com/user-attachments/assets/075c4468-4611-469e-97cf-72973cf3637f)

![Image](https://github.com/user-attachments/assets/4fb6724e-37ea-4d55-8836-560a9d6f8e57)

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 请问一下对于r1类的模型，评估过程会忽略<think>思考部分，直接对生成的最终结果进行评测吗？
Root cause: Documentation Deficiency

非常感谢大佬做的这个框架，评测感觉更方便了：）。不过有些细节想请教一下，对于r1类的模型，评估过程会忽略<think>思考部分，直接对生成的最终结果进行评测吗？还是将思考过程和结果一起作为答案进行评测？

如果想将微调后的r1类模型，和微调之前的普通模型进行评测对比，不需要加某些参数控制<think>嘛？

目前并没有对`<think>`内容做额外的处理，默认是`<think>`和`<answer>`放在一起的，然后从里面解析答案来评测

目前已经支持后处理过滤器

使用示例：
```
--datasets ifeval
--dataset-args '{"ifeval": {"filters": {"remove_until": "</think>"}}'
```

> 目前已经支持后处理过滤器
> 
> 使用示例：
> 
> ```
> --datasets ifeval
> --dataset-args '{"ifeval": {"filters": {"remove_until": "</think>"}}'
> ```

请问过滤</think>和不过滤 哪个效果比较准？

@AllenShow 建议对推理模型过滤掉思考部分

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 希望增加livecodebench和codeforces代码能力测评
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

livecodebench
codeforces
测评

## 需求背景 / Background

DeepSeek R1官方报告中进行了这些代码能力测评




livecodebench 后续会接入，codeforces这块还得再看看如何实现这套评分系统

附议，还有SWE-BENCH系列的评测集

目前已支持 LiveCodeBench，指定`live_code_bench`即可使用

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 请问AlpacaEval2.0和C-SimpleQA这两个集合有计划支持嘛？
Root cause: Documentation Deficiency


C-SimpleQA 有计划接入，AlpacaEval2.0还得评估一下

目前main分支版本已支持 Simple QA 和 Chinese SimpleQA 两个基准

![Image](https://github.com/user-attachments/assets/7527c899-d73c-41d4-a5cf-18ac979b7cd2)
拉了最新的代码Available tasks 里好像没有这两个.

```bash
>>> BENCHMARK_MAPPINGS.keys()
dict_keys(['simple_qa', 'ifeval', 'iquiz', 'process_bench', 'humaneval', 'general_qa', 'mmlu_pro', 'data_collection', 'aime25', 'aime24', 'general_mcq', 'competition_math', 'cmmlu', 'ceval', 'trivia_qa', 'math_500', 'chinese_simpleqa', 'gsm8k', 'truthful_qa', 'race', 'musr', 'mmlu', 'super_gpqa', 'hellaswag', 'arc', 'gpqa', 'bbh'])
```
使用示例参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id9

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 性能评测：有没有规划可以支持多个并发一起评测
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

请简要描述您希望添加的功能。 / Please briefly describe the feature you would like to request.
一次评测可以支持多个并发，最后可以对比多个并发的结果
evalscope perf \
    --url "http://127.0.0.1:8000/v1/chat/completions" \
    --parallel 1,4,10,20 \
    --model qwen2.5 \
    --number 15 \
    --api openai \
    --dataset openqa \
    --stream

## 需求背景 / Background

为什么需要这个功能？ / Why is this feature needed?
对模型服务进行压测的时候，不知道服务的并发上限在哪里，需要多次测试，希望可以支持多个并发值一起评测，然后进行对比

## 预期行为 / Expected Behavior
evalscope perf \
    --url "http://127.0.0.1:8000/v1/chat/completions" \
    --parallel 1,4,10,20 \
    --model qwen2.5 \
    --number 15 \
    --api openai \
    --dataset openqa \
    --stream

多个并发结果在一个表格里



目前是通过多次执行run_perf_benchmark方法，整合多次执行的结果，想问一下官方有没有更好的方法

目前还没支持多个并发一起评测，可开启wandb可视化，来对比多个结果。后续会加上类似功能。

谢谢

> 目前还没支持多个并发一起评测，可开启wandb可视化，来对比多个结果。后续会加上类似功能。

我想请问我在测试DeepSeek无论是70B还是32B，例如输入64输出256这种情况下，在并发150以上，大多会显示118成功，其他失败，请问这种情况是巧合还是测试工具只支持到这样的并发数。

> > 目前还没支持多个并发一起评测，可开启wandb可视化，来对比多个结果。后续会加上类似功能。
> 
> 我想请问我在测试DeepSeek无论是70B还是32B，例如输入64输出256这种情况下，在并发150以上，大多会显示118成功，其他失败，请问这种情况是巧合还是测试工具只支持到这样的并发数。

@changg10 麻烦单独开一个issue，详细描述一下你遇到的问题，以及评测命令

v0.16.0 版本已支持多个并发进行测试

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: stream参数报错
Root cause: Documentation Deficiency

## 问题描述 / Issue Description

eval用stream参数报错

## 使用的工具 / Tools Used
- [ ] Native / 原生框架


## 执行的代码或指令 / Code or Commands Executed

```bash
evalscope eval \
 --model llm_luban-DeepSeek-R1-Distill-Qwen-7B \
 --api-url http://host/v1 \
 --api-key EMPTY \
 --stream True \
 --eval-type service \
 --dataset-args '{"general_mcq": {"subset_list": ["default"], "local_path": "/data/workspace/evalscope/dataset/mmlu"}}' \
 --datasets general_mcq \
 --limit 10
```

## 错误日志 / Error Log

```
EvalScope Command Line tool: error: unrecognized arguments: --stream True
```

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] macOS

- Python版本 / Python Version:
  - [ ] 3.11



用的 pip install evalscope

直接用`--stream`不要填加`True`

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 请问如何评测多模态模型（如Qwen-2.5-vl）在语言模型评测数据集（如MMLU）上的性能？
Root cause: Unimplemented Feature Gap

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## 使用的工具 / Tools Used
- [√] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

```python
from evalscope.run import run_task

task_cfg = {
    'model': 'Qwen/Qwen2-VL-2B-Instruct',
    'datasets': ['gsm8k'],
    'limit': 5
}

run_task(task_cfg=task_cfg)

```bash
# 例如：在终端中执行的指令 / Terminal command executed
python script.py
```

## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

```
ValueError: Unrecognized configuration class <class 'transformers.models.qwen2_vl.configuration_qwen2_vl.Qwen2VLConfig'> for this kind of AutoModel: AutoModelForCausalLM.
Model type should be one of AriaTextConfig, BambaConfig, BartConfig, BertConfig, BertGenerationConfig, BigBirdConfig, BigBirdPegasusConfig, BioGptConfig, BlenderbotConfig, BlenderbotSmallConfig, BloomConfig, CamembertConfig, LlamaConfig, CodeGenConfig, CohereConfig, Cohere2Config, CpmAntConfig, CTRLConfig, Data2VecTextConfig, DbrxConfig, DiffLlamaConfig, ElectraConfig, Emu3Config, ErnieConfig, FalconConfig, FalconMambaConfig, FuyuConfig, GemmaConfig, Gemma2Config, GitConfig, GlmConfig, GotOcr2Config, GPT2Config, GPT2Config, GPTBigCodeConfig, GPTNeoConfig, GPTNeoXConfig, GPTNeoXJapaneseConfig, GPTJConfig, GraniteConfig, GraniteMoeConfig, GraniteMoeSharedConfig, HeliumConfig, JambaConfig, JetMoeConfig, LlamaConfig, MambaConfig, Mamba2Config, MarianConfig, MBartConfig, MegaConfig, MegatronBertConfig, MistralConfig, MixtralConfig, MllamaConfig, MoshiConfig, MptConfig, MusicgenConfig, MusicgenMelodyConfig, MvpConfig, NemotronConfig, OlmoConfig, Olmo2Config, OlmoeConfig, OpenLlamaConfig, OpenAIGPTConfig, OPTConfig, PegasusConfig, PersimmonConfig, PhiConfig, Phi3Config, PhimoeConfig, PLBartConfig, ProphetNetConfig, QDQBertConfig, Qwen2Config, Qwen2MoeConfig, RecurrentGemmaConfig, ReformerConfig, RemBertConfig, RobertaConfig, RobertaPreLayerNormConfig, RoCBertConfig, RoFormerConfig, RwkvConfig, Speech2Text2Config, StableLmConfig, Starcoder2Config, TransfoXLConfig, TrOCRConfig, WhisperConfig, XGLMConfig, XLMConfig, XLMProphetNetConfig, XLMRobertaConfig, XLMRobertaXLConfig, XLNetConfig, XmodConfig, ZambaConfig, Zamba2Config.
```

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [√] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [√] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


这种多模态模型建议用vllm这种框架拉起服务再评测，目前还没支持多模态模型本地加载 
参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#api
Repository: modelscope/evalscope
Issue: 竞技场模式支持模型API服务
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

使用竞技场模式时，模型支持使用模型API服务。

## 需求背景 / Background

当前大模型都是以提供api接口为主。

## 预期行为 / Expected Behavior

竞技场模式支持模型配置api服务，并能正常运行。

## 其他信息 / Additional Information

无


竞技场模式后续还更新吗

正在支持中

竞技场模式使用方法已更新，请参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/arena.html

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！