zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 使用 --use_cache 时新增指标未被计算
Root cause: Algorithmic Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

在使用 `--use_cache` 参数时，如果第一次只测试了 `CLIPScore`，之后我想新增测试 `PickScore`（同时传入 `["CLIPScore", "PickScore"]`），程序只会输出第一次缓存的 `CLIPScore` 结果，而不会重新计算并输出 `PickScore`。

**需求**：在已有缓存的情况下，可以在后续任务中追加新的评测指标，并正常得到这些新增指标的结果，而不需要完全清空缓存重新跑所有指标。

## EvalScope 版本（必填）
v2.0.0

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


evalscope v1.0.0 版本新增rerun_review参数，在指定了use_cache的情况下重新运行review，不进行推理
Repository: modelscope/evalscope
Issue: evalscope0.17.1新prompt导致部分模型humaneval精度review过低
Root cause: Validation Gap


## 问题描述
evalscope 0.17.1版本修改了humaneval的prompt和后处理

在运行qwen3moe模型时，例如qwen3-30b-a3b，发现aime24、ceval、mmlu等数据集精度全部正常，但humaneval精度非常低（只答对1道或几道题）

查看config和review文件发现，新版本相比以往修改了prompt内容，新prompt如下：
    prompt_template: 'Read the following function signature and docstring, and fully
      implement the function described. Your response should only contain the code
      for this function.

在新prompt下，review中pred的内容本应该只截取代码内容，但由于模型的输出包括了think，会将整个think一同放到pred，导致判断分数出错
review部分截取如下：

<img width="3716" height="1118" alt="Image" src="https://github.com/user-attachments/assets/4ea71bc5-49fe-4922-9a36-23cbf2f1879f" />

## EvalScope 版本（必填）
evalscope v0.17.1


- 操作系统：ubuntu22
- Python版本：3.10.18
- vLLM：0.9.2+cu121

参考这个解决方法：https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html#q1-qwqifeval
humaneval的配置去掉模型思考部分

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue:  llmuses 0.3.2/最新代码   本地执行自带的数据集报错：浮点数例外
Root cause: Validation Gap

python -m llmuses.run --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets trivia_qa --dataset-hub Local --dataset-args '{"trivia_qa": {"local_path": "/root/eval-scope/data/trivia_qa"}}' --dataset-dir /root/eval-scope/data/
![image](https://github.com/modelscope/eval-scope/assets/168320760/96a00951-f241-4d3c-814c-fa0310653222)


通过日志debug，发现是
output_ids = self.model.generate(
            input_ids=input_ids,
            attention_mask=attention_mask,
            generation_config=self.generation_config,
            stopping_criteria=stopping_criteria, )
返回的错误
![image](https://github.com/modelscope/eval-scope/assets/168320760/72c84a07-efe4-4d38-99dd-42e879766323)


用arc测试，未出现这个报错：
wget https://modelscope.oss-cn-beijing.aliyuncs.com/open_data/benchmark/data.zip
unzip data.zip
python -m llmuses.run --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets arc --dataset-hub Local --dataset-args '{"arc": {"local_path": "/mnt/workspace/data/arc"}}' --dataset-dir /mnt/workspace/data/arc

trivia_qa 试下这个数据集呢

llmuses 0.3.2 和0.4.0  执行本地数据集 都会有这个错误：浮点数例外
Repository: modelscope/evalscope
Issue: 希望能够增加对ssim, psnr, lpips等指标的支持
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

希望能够增加对ssim, psnr, lpips等指标的支持

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。
Repository: modelscope/evalscope
Issue: 使用modelscope下载评测数据集后，里面的文件是Parquet格式，请问怎么转换成jsonl文件然后给到evalscope去评测呢，evalscope能直接使用parquet格式文件进行评测吗
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.17.1

## 使用的工具
- [√] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。
比如：

<img width="1839" height="506" alt="Image" src="https://github.com/user-attachments/assets/81cf17c7-67f1-4a6f-8def-5980328e9ad9" />

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


在modelscope下载的数据集不需要转换格式，直接指定数据集路径即可加载本地数据集评测

0.17.1版本的evalscope 离线测试humaneval 等格式为parquet的数据集会报错

<img width="1454" height="866" alt="Image" src="https://github.com/user-attachments/assets/a9da7bb5-6561-46f0-a735-a4f78d99037f" />
Repository: modelscope/evalscope
Issue: Qwen2.5-1.5B 评测mmlu-pro 基准，与技术报告相差很远
Root cause: Configuration Error

您的工作非常的优秀，但是我在评测mmlu-pro，与技术报告相差很远，这是我的评测脚本，

from evalscope import TaskConfig, run_task

task_cfg = TaskConfig(
    model='/data0/train-aitech/models/Qwen2.5-1.5B',
    datasets=[
        'mmlu_pro',
    ],
    dataset_args={
        'mmlu_pro': {
            "local_path": "/data0/train-aitech/datasets/MMLU-Pro/data/validation-00000-of-00001.json"
            #'filters': {'remove_until': '</think>'} # 过滤掉思考的内容
        }
    },
    eval_batch_size=128,
    generation_config={
        'max_tokens': 30000,
        'temperature': 0.6,
        'top_p': 0.95,
        'top_k': 20,
        'n': 1,
    },
    timeout=60000,
    stream=True,
    limit=70,
)

run_task(task_cfg=task_cfg)
但是我评测出来的结果是0.1571 但是Qwen2.5-1.5B技术报告写的是28.5，我想问下，是我那些参数设置的有问题吗？期待您的回复。

    api_url='http://localhost:8804/v1/chat/completions',  # vLLM服务地址
    eval_type='service',  # 指定服务模式 我使用api，他会一直报错openai.APIConnectionError: Connection error.这个问题有什么解决办法吗？

> ```
> api_url='http://localhost:8804/v1/chat/completions',  # vLLM服务地址
> eval_type='service',  # 指定服务模式 我使用api，他会一直报错openai.APIConnectionError: Connection error.这个问题有什么解决办法吗？
> ```

这个链接直接curl访问的话，能成功吗？

> > ```
> > api_url='http://localhost:8804/v1/chat/completions',  # vLLM服务地址
> > eval_type='service',  # 指定服务模式 我使用api，他会一直报错openai.APIConnectionError: Connection error.这个问题有什么解决办法吗？
> > ```
> 
> 这个链接直接curl访问的话，能成功吗？

不能，会报错，curl: (7) Failed to connect to localhost port 8804 after 0 ms: Connection refused

你测试的Qwen2.5-1.5B是base模型吗，不是经过sft训练的chat模型，目前框架的评测是针对chat模型设计的，base模型测试结果可能较低

> 你测试的Qwen2.5-1.5B是base模型吗，不是经过sft训练的chat模型，目前框架的评测是针对chat模型设计的，base模型测试结果可能较低

Qwen2.5-1.5B不是base模型，Qwen2.5-1.5B-Base是base模型，和Qwen3 这几个模型（小模型）测试结果与技术报告都差很多

使用evalsocpe v1.0.0再测试一下呢

> 使用evalsocpe v1.0.0再测试一下呢

好的，我更新一下版本，非常感谢

你好 有结论了吗


> > 你测试的Qwen2.5-1.5B是base模型吗，不是经过sft训练的chat模型，目前框架的评测是针对chat模型设计的，base模型测试结果可能较低
> 
> Qwen2.5-1.5B不是base模型，Qwen2.5-1.5B-Base是base模型，和Qwen3 这几个模型（小模型）测试结果与技术报告都差很多

我也发现差很多，请问有结论了吗？
Repository: modelscope/evalscope
Issue: 使用wandb这些工具的时候如何 收集自定义统计数据
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ * ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ * ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ * ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

使用wandb这些工具的时候能否自定义收集额外数据，比如我在集群上部署，希望关注到RMDA的流量，我可以自己写一个脚本提取数据，应该如何合入到统计里面呢？

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [* ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


目前暂不支持通过配置的方式添加统计数据，需要自行修改代码

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 解决离线modelscope
Root cause: Documentation Deficiency


最终解决evalscope/benchmarks/bfcl/bfcl_adapter.py里面
    dataset_id='/root/.cache/modelscope/hub/datasets/AI-ModelScope___bfcl_v3',
这个改成之前下载好的modelscope里面，找了50分钟找到的

找出来供大家参考 也希望能跟新一下源码，支持local

evalscope本身支持离线评测，参考这里：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id10
Repository: modelscope/evalscope
Issue: 指定相同并发db报错？
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
Name: evalscope
Version: 0.17.1

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [*] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。
evalscope perf \
  --parallel 10 10 20 30 \
  --number 100 100 100 100 \
  --model Qwen3-30B-A3B \
  --url http://0.0.0.0:9059/v1/chat/completions \
  --api openai \
  --dataset random \
  --max-tokens 1024 \
  --min-tokens 1024 \
  --prefix-length 0 \
  --min-prompt-length 1024 \
  --max-prompt-length 1024 \
  --tokenizer-path /data/models/Qwen3-30B-A3B \
  --extra-args '{"ignore_eos": true}' \
  --stream

## 错误日志

请粘贴完整的错误日志或控制台输出。

<img width="1483" height="751" alt="Image" src="https://github.com/user-attachments/assets/e182dd77-731d-4193-98ae-53f94fd84ed4" />

## 运行环境

- 操作系统：
- Python版本：3.11

## 其他信息

如果有其他相关信息，请在此处提供。


<img width="1842" height="294" alt="Image" src="https://github.com/user-attachments/assets/e2463985-8d42-4b0b-a95f-d1f265fae4a8" />

相同的并发不要设置多次

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: mac安装ms-vlmeval==0.0.16报错
Root cause: External Dependency Breakage

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

mac安装多模态评测包 ms-vlmeval==0.0.16的时候报错
ERROR: Could not find a version that satisfies the requirement decord

## EvalScope 版本（必填）
v0.16.0

## 使用的工具
- [ ] VLMEvalKit backend


## 执行的代码或指令

pip install ms-vlmeval==0.0.16



尝试运行`pip install ms-vlmeval==0.0.17`

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 多模态模型使用接口测评，还是会启动模型
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ √] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令
```
from evalscope import TaskConfig

task_cfg_dict = TaskConfig(
    work_dir='outputs',
    eval_backend='VLMEvalKit',
    eval_config={
        'data': ['SEEDBench_IMG', 'ChartQA_TEST'],
        'limit': 20,
        'mode': 'all',
        'model': [ 
            {'api_base': 'http://localhost:8000/v1/chat/completions',
            'key': 'EMPTY',
            'name': 'CustomAPIModel',
            'temperature': 0.0,
            'type': 'Qwen2.5-VL-3B-Instruct',
            'img_size': -1,
            'video_llm': False,
            'max_tokens': 1024,}
            ],
        'reuse': False,
        'nproc': 16,
        'judge': 'exact_matching'}
)


```
请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。
VLMEvalKit backend测评多模态数据集
使用方式1. 部署模型服务评测，已经提供模型请求url还是从huggingface下载和启动模型，而不是使用提供的请求url

你好，请问您知道如何挂起来judge吗，我也遇到了这个问题，如果你有运行命令可以看一下吗

> 你好，请问您知道如何挂起来judge吗，我也遇到了这个问题，如果你有运行命令可以看一下吗
```python
import os
os.environ["OPENAI_API_BASE"] = "http://localhost:8000/v1"
os.environ["OPENAI_API_KEY"] = "EMPTY"n
os.environ["LOCAL_LLM"] = 'path'
from evalscope import TaskConfig

task_cfg_dict = TaskConfig(
    work_dir='outputs',
    eval_backend='VLMEvalKit',
    eval_config={
        'data': ['MMMU_DEV_VAL','ChartQA_TEST','MMBench_DEV_CN'],
        'mode': 'all',
        'model': [
            {
            'api_base': 'http://localhost:8000/v1/chat/completions',
            'key': 'EMPTY',
            'name': 'CustomAPIModel',
            'temperature': 0.0,
            'type': 'test',
            'img_size': -1,
            'video_llm': False,
            'max_tokens': 100,}
            ],
        'reuse': False,
        'nproc': 10,
        'judge': 'exact_matching',
        'limit':None}
)

from evalscope.run import run_task
from evalscope.summarizer import Summarizer

def run_eval():
    # 选项 1: python 字典
    task_cfg = task_cfg_dict

    # 选项 2: yaml 配置文件
    # task_cfg = 'eval_openai_api.yaml'

    run_task(task_cfg=task_cfg)

    print('>> Start to get the report with summarizer ...')
    report_list = Summarizer.get_report_from_cfg(task_cfg)
    print(f'\n>> The report list: {report_list}')

run_eval()
```
Repository: modelscope/evalscope
Issue: 性能参数设置
Root cause: Documentation Deficiency

前提条件：利用evalscope进行模型性能测试，查询模型在最大支持token情况下的并发数，
已知：模型最大token是131072
问题：如何设置max_tokens、min_tokens、min_prompt_length和max_prompt_length参数


最大token是131072 ，保证  `max_prompt_length + max_tokens <  131072` 即可，具体的并发数可以从低到高（1到200）多设置几个看看模型的推理性能，观察什么参数配置下吞吐和时延表现较好。具体方法参考 https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/quick_start.html#id3

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: pip install 'evalscope[app]' -U打的镜像过大
Root cause: Architectural Constraint

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本
EvalScope 看板 (v0.17.1)

## 执行的代码或指令
我这边期望打一个专门用来可视化报告的镜像，结果镜像8G，请问有镜像瘦身的可能吗
```
FROM python:3.10-slim

# 设置工作目录
WORKDIR /app

# 设置环境变量
ENV PYTHONUNBUFFERED=1
ENV GRADIO_SERVER_NAME=0.0.0.0
ENV GRADIO_SERVER_PORT=7860

# 升级 pip 并安装 evalscope 可视化组件
RUN pip install --no-cache-dir 'evalscope[app]' -U

# 暴露端口
EXPOSE 7860

# 创建 outputs 目录
RUN mkdir -p /app/outputs

# 启动命令
ENTRYPOINT ["evalscope", "app"]
CMD ["--outputs", "/app/outputs", "--server-name", "0.0.0.0", "--server-port", "7860"]
```

evalscope依赖了torch等较大的包，暂时还无瘦身的计划

好的，希望可以加到后续计划里，哪怕优先级低一点😄
Repository: modelscope/evalscope
Issue: 竞技场模式的候选模型对战如何过滤掉<think>？
Root cause: Configuration Error

### Issue 描述

我在使用自部署的深度思考模型（Qwen3-8B、Qwen3-32B）进行 **竞技场模式评测** 时，遇到一个关于 **思考内容过滤** 的问题。

根据文档说明，流程应为：

1. **候选模型推理**
2. **候选模型对战**

在候选模型推理阶段，我通过参数 `filters: {'remove_until': '</think>'}` 来过滤掉思考内容。从输出结果看，`pred` 字段中的思考内容确实被正确过滤掉了。

但是在候选模型对战阶段，我发现 `answer_1` 和 `answer_2` 中仍然包含了思考内容。

我进一步查看了源码 **`general_arena_adapter.py`**，发现该文件读取的是 `choice['message']['content']`，而不是 `pred`。由于 `choice['message']['content']` 中的思考内容并未经过过滤，导致在竞技场对战时依然会被展示。

---

### 复现步骤

1. 在候选模型推理时，配置 `filters: {'remove_until': '</think>'}`。
2. 使用推理结果作为输入，执行候选模型对战。
3. 在 `answer_1` 和 `answer_2` 中依然可以看到思考内容。

---

### 相关代码

**候选模型推理文件**

```python
from evalscope import TaskConfig, run_task
from evalscope.constants import EvalType

models = [
    {'name': 'Qwen3-32B', 'api_url': 'http://gpunode3:8000/v1'},
    {'name': 'Qwen3-8B', 'api_url': 'http://gpunode4:8000/v1'},
]

task_list = [TaskConfig(
    model=model['name'],
    api_url=model['api_url'],
    api_key="",
    eval_type=EvalType.SERVICE,
    datasets=[
        'general_qa',
    ],
    dataset_args={
        'general_qa': {
            'dataset_id': 'custom_eval/text/qa',
            'subset_list': ['eval'],
            'filters': {'remove_until': '</think>'}
        }
    },
    eval_batch_size=10,
    timeout=3600,
    generation_config={
        'max_tokens': 18000,
        'temperature': 0.6,
        'top_p': 0.95,
        'n': 1
    }) for model in models]

run_task(task_cfg=task_list)
```

**候选模型对战文件**

```python
import os
from evalscope import TaskConfig, run_task

task_cfg = TaskConfig(
    model_id='Arena',
    datasets=['general_arena'],
    dataset_args={
        'general_arena': {
            'extra_params': {
                'models': [
                    {
                        'name': 'Qwen3-8B',
                        'report_path': 'outputs/20250821_173254/reports/Qwen3-8B'
                    },
                    {
                        'name': 'Qwen3-32B',
                        'report_path': 'outputs/20250821_173301/reports/Qwen3-32B'
                    }
                ],
                'baseline': 'Qwen3-8B'
            }
        }
    },
    judge_model_args={
        'model_id': 'Qwen3-235B-A22B',
        'api_url': 'http://gpunode1:8000/v1',
        'api_key': "EMPTY",
        'generation_config': {
            'timeout': 3600,
            'max_tokens': 18000,
            'temperature': 0.6,
            'top_p': 0.95,
            'n': 1
        },
    },
    judge_worker_num=256,
)

run_task(task_cfg=task_cfg)
```


### 建议

如果确认这是一个 **Bug**，我可以协助进行修改。


我刚更新了今天新发布的1.0版本，似乎已不存在这个问题

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: EvalScope 1.0.0 --eval-type: invalid choice: 'service' (choose from llm_ckpt, custom, openai_api)
Root cause: Interface Contract Mismatch

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

EvalScope 升级到1.0.0后评测本地部署sglang服务报错，使用了--eval-type service参数。0.17.1版本正常使用。
把这个参数替换为openai_api后报另一个错误：

File "python3.12/site-packages/openai/_base_client.py", line 1047, in request
    raise self._make_status_error_from_response(err.response) from None
openai.NotFoundError: Error code: 404 - {'detail': 'Not Found'}


## EvalScope 版本（必填）
1.0.0


## 执行的代码或指令
evalscope eval \
--model /DATA/disk1/models/Qwen/Qwen3-32B-FP8 \
--api-url http://localhost:30000/v1/chat/completions \
--api-key EMPTY \
--eval-type openai_api \
--datasets docmath \
--limit 16


使用下面的url，不要加上/chat/completions，后续我处理一下，以兼容之前的方式：
```
evalscope eval
--model /DATA/disk1/models/Qwen/Qwen3-32B-FP8
--api-url http://localhost:30000/v1
--api-key EMPTY
--eval-type openai_api
--datasets docmath
--limit 16
```

@Yunnglin 之前的版本也不需要加chat/completions是吗？但是能跑？

是的，不需要加
Repository: modelscope/evalscope
Issue:  OpenCompass Eval-Backend 不能用自定义的数据集吗？
Root cause: Unimplemented Feature Gap

我在llmuses/benchmarks 按照格式定义了一个数据集，如何来验证vllm部署的模型？Native 模式没找到传模型地址的地方，OpenCompass模式 自定义的数据集不支持

llm-wizard/alpaca-gpt4-data-zh 没有注册

OpenCompass模式因为是使用openai api方式，需要先做settings的对齐，先期放了50个benchmark； 自定义的数据集我们会在这两天支持上。

> OpenCompass模式因为是使用openai api方式，需要先做settings的对齐，先期放了50个benchmark； 自定义的数据集我们会在这两天支持上。

目前支持了么？ @wangxingjun778
Repository: modelscope/evalscope
Issue: how to set trust_remote_code=True when using evalscope perf
Root cause: Configuration Error

I set this in --extra-args but seems not work
when benchmark load model from tokenizer-path, I get this message:

You can avoid this prompt in future by passing the argument `trust_remote_code=True`.
Do you wish to run the custom code? [y/N] 


modelscope 1.29.1版本之后trust_remote_code默认为false，临时解决方法是降级modelscope：
```bash
pip install modelscope==1.29.0
```
Repository: modelscope/evalscope
Issue: 如何压测多模态模型
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

我已经成功运行了通过VLMEvalKit backend评测，我要如何进行多模态模型的压测

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ √] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


参考这个文档：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/examples.html#id4

> https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/examples.html#id4

我这边要测试推测解码，所以random数据不太行，请问有真实数据集的压测方法吗

你可以设置dataset为flickr8k，这个数据集包含图文两个模态。或者可以自定义请求数据集，参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/custom.html#id3

> 你可以设置dataset为flickr8k，这个数据集包含图文两个模态。或者可以自定义请求数据集，参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/custom.html#id3

非常感谢！
Repository: modelscope/evalscope
Issue: 导入模块报错，无法导入macro_mean
Root cause: Environment Incompatibility

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [√] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [√] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [√] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v1.0.0

## 使用的工具
- [√] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

如下图：

<img width="2299" height="1032" alt="Image" src="https://github.com/user-attachments/assets/fc371371-f0f6-43dc-8606-1103a8e344be" />

## 错误日志

如上图

## 运行环境

- 操作系统：linux
- Python版本：3.10


无法复现这个问题，你是用什么方式安装的evalscope

> 无法复现这个问题，你是用什么方式安装的evalscope

由于我的目标服务器没有网络，我在本地虚拟机中使用”pip download evalscope[perf]“下载的包，并导入到服务器的容器中，使用”pip install evalscope[perf] -U --no-index --find-links=path“进行的安装，容器中原有0.16版本。 @Yunnglin 

或许你可以配置好环境之后，直接打包整个conda env，应该就不会遇到这种问题了

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: Feature request: BFCLv4 is release!!!
Root cause: Documentation Deficiency

Can evalscope have bfclv4 like v3 also for tau2 bench

main分支代码已支持BFCL-v4，参考使用文档：https://evalscope.readthedocs.io/zh-cn/latest/third_party/bfcl_v4.html#
Repository: modelscope/evalscope
Issue: v1.0.0版本如何在离线环境使用本地数据集
Root cause: Configuration Error


## 问题描述

v1.0.0版本如何在离线环境使用本地数据集

## EvalScope 版本（必填）
v1.0.0

## 使用的工具
按照[文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id11)里的说明，在提前下载好数据集之后，在实际使用过程中，仍然会按照数据集json文件里声明的地址进行下载数据集文件。
### 文档内容

<img width="1520" height="626" alt="Image" src="https://github.com/user-attachments/assets/748d6e1b-a817-4db0-ae2b-5fb5ecba4a65" />

### 复现步骤
以`competition_math`为例
#### 有网环境下载
```shell
modelscope download --dataset modelscope/competition_math --local_dir ./data/competition_math
ls data/competition_math/
# 输出结果
README.md  competition_math.py  dataset_infos.json
``` 
其中dataset_infos.json里有声明下载文件地址信息。
```json
"download_checksums": {
      "https://sail-moe.oss-cn-hangzhou.aliyuncs.com/open_data/math/MATH.zip": {
        "num_bytes": 7914977,
        "checksum": "d9b88da85e6ffa3e1057ae675238d6e192574243bdc45ca7d00a1339fc4d0874"
      }
},
```
一切正常
#### host设置
设置host用来拦截下载
```
127.0.0.1 sail-moe.oss-cn-hangzhou.aliyuncs.com
```
#### 启动评估
``` shell
DS=competition_math && \
evalscope eval \
    --eval-type=openai_api \
    --model qwen2.5-0.5 \
    --model-id qwen2.5-0.5 \
    --datasets ${DS} \
    --dataset-args "{\"${DS}\": {\"local_path\": \"/app/data/${DS}\"}}" \
    --limit 2 \
    --eval-batch-size 1 \
    --api-url http://127.0.0.1:8000/v1 \
    --api-key EMPTY
# 报错
FileNotFoundError: https://sail-moe.oss-cn-hangzhou.aliyuncs.com/open_data/math/MATH.zip
```


下载使用的数据集不对，参考文档里面：https://evalscope.readthedocs.io/zh-cn/latest/get_started/supported_dataset/llm.html#math

应该从这里下载：https://modelscope.cn/datasets/evalscope/competition_math/summary