zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: MMLU-Pro 版本更新
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
MMLU-Pro 版本进行更新了，官方能更新一下评测数据吗？https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


感谢你的反馈，已修复该问题

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: ScienceQA_TEST的评测怀疑与官方的测评集不对齐！
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
根据ScienceQA论文和官网 https://scienceqa.github.io/index.html#home，训练集、验证集、测试集是3：1：1，测试集应该有4241张图片。

modelscope里面的 
https://modelscope.cn/datasets/swift/ScienceQA 的文档写的数据量是正确的，

执行具体代码
```
from modelscope.msdatasets import MsDataset
ds =  MsDataset.load('AI-ModelScope/ScienceQA', subset_name='default', split='test')
len(ds)==4241
```

也是正确的，是True。

但是VLMEvalKit的评测结果是错的，实测发现 只有2017条数据。

这是我的运行命令
```bash
swift eval \
    --eval_backend VLMEvalKit \
    --infer_backend pt \
    --eval_dataset ScienceQA_TEST \
    --model QwenQwen3-VL-4B-Instruct
```

结果文件在
./eval_output/vlmeval/时间/Qwen3-VL-4B-Instruct/Qwen3-VL-4B-Instruct_ScienceQA_TEST_openai_result.xlsx
中，这个只有一个表格，只有2017条数据。

看起来VLMEvalKit的 ScienceQA_TEST 没有正确对齐官方数据，请问这里面是有什么原因吗？是不是有些数据被特意筛选呢？还是存在一些技术问题？

## EvalScope 版本（必填）
v1.1.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [x] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 运行环境

- 操作系统：Linux
- Python版本：3.11

## 其他信息

我一开始以为是 VLMEvalKit的问题https://github.com/open-compass/VLMEvalKit/issues/1300
但是我搜索发现 VLMEvalKit根本就没有支持ScienceQA数据集，不存在相关代码和字符串！

所以这个数据集是 evalscope 额外支持的，VLMEvalKit只是被调用作为模版？

但是ms-swift自己应该有模版？我其实非常懵，不知道最后QwenVL3的prompt，到底是谁构建的。


evalscope支持的scienceqa是通过VLMEvalKit实现的，参考这里：

https://github.com/open-compass/VLMEvalKit/blob/cd326ad5ce2b50e464f03ae7d3d37612bc5061fd/vlmeval/dataset/image_mcq.py#L67-L69

> evalscope支持的scienceqa是通过VLMEvalKit实现的，参考这里：
> 
> https://github.com/open-compass/VLMEvalKit/blob/cd326ad5ce2b50e464f03ae7d3d37612bc5061fd/vlmeval/dataset/image_mcq.py#L67-L69

好的我去检查下，感谢指路！


目前EvalScope main分支代码已经原生支持了 ScienceQA 评测基准，指定数据集`science_qa`即可使用，测试数据集是 4241 个，更多支持的数据集参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/supported_dataset/vlm.html

> 目前EvalScope main分支代码已经原生支持了 ScienceQA 评测基准，指定数据集`science_qa`即可使用，测试数据集是 4241 个，更多支持的数据集参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/supported_dataset/vlm.html

太棒了兄弟

我还准备给VLMEvalKit那边PR来着
Repository: modelscope/evalscope
Issue: named_metrics.py没了，aime25的pass@k评测有问题
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ✅] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ✅] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ✅] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

新版本里面evalscope/metrics/named_metrics.py没有了，导致aime25的pass@k计算不了了
哪个版本可以正常评测Pass@1、Pass@64

## EvalScope 版本（必填）
v1.1.1

## 使用的工具
- [ ✅] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：python 3.12

## 其他信息

如果有其他相关信息，请在此处提供。


可以使用main分支版本，设置
`'aime25': {'aggregation': 'mean_and_pass_at_k'}`和`repeats=64`即可，参考https://github.com/modelscope/evalscope/pull/964 里面的例子

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 并发评测参数错误
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
文档中评测参数--eval-batch-size: 评测批量大小，默认为1；在eval-type=service时，表示并发评测的请求数,但是新版本并不支持。文档中描述不清，未说明版本。

## EvalScope 版本（必填）
v1.1.0

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

task_cfg = TaskConfig(
    model="smallthinker",
    api_url="http://xxx:xxx/v1",
    api_key="EMPTY",
    # eval_type=EvalType.SERVICE,
    eval_type="service",
    eval_batch_size=10,
    datasets=["chinese_simpleqa"],
    dataset_args={
        "chinese_simpleqa": {
            "local_path": "../data/Chinese-SimpleQA"
        }
    },
    limit=10,
    judge_strategy=JudgeStrategy.AUTO,
    judge_model_args={
        "model_id": "Qwen3-30B-A3B",
        "api_url": "http://xxx:xxx/v1",
        "api_key": "EMPTY",
        "generation_config": {"extra_body": {"enable_thinking": True}},
    },
)

## 错误日志

base_url=http://192.168.0.147:8095/v1, config={'batch_size': 10}, model_args={}
Traceback (most recent call last):
  File "/DATA/LLM/gaojiale/study_project/evalscope/llm_capability_test/singer_dataset_test.py", line 27, in <module>
    run_task(task_cfg=task_cfg)
  File "/DATA/LLM/gaojiale/miniconda/envs/eval/lib/python3.10/site-packages/evalscope/run.py", line 28, in run_task
    return run_single_task(task_cfg, run_time)
  File "/DATA/LLM/gaojiale/miniconda/envs/eval/lib/python3.10/site-packages/evalscope/run.py", line 41, in run_single_task
    result = evaluate_model(task_cfg, outputs)
  File "/DATA/LLM/gaojiale/miniconda/envs/eval/lib/python3.10/site-packages/evalscope/run.py", line 120, in evaluate_model
    model = get_model_with_task_config(task_config=task_config)
  File "/DATA/LLM/gaojiale/miniconda/envs/eval/lib/python3.10/site-packages/evalscope/api/model/model.py", line 314, in get_model_with_task_config
    return get_model(
  File "/DATA/LLM/gaojiale/miniconda/envs/eval/lib/python3.10/site-packages/evalscope/utils/function_utils.py", line 29, in wrapper
    return func(*args, **kwargs)
  File "/DATA/LLM/gaojiale/miniconda/envs/eval/lib/python3.10/site-packages/evalscope/api/model/model.py", line 372, in get_model
    modelapi_type = get_model_api(eval_type)
  File "/DATA/LLM/gaojiale/miniconda/envs/eval/lib/python3.10/site-packages/evalscope/api/registry.py", line 83, in get_model_api
    raise ValueError(f"Model API '{name}' is not registered. Available model APIs: {list(MODEL_APIS.keys())}")
ValueError: Model API 'service' is not registered. Available model APIs: ['mock_llm', 'openai_api', 'server', 'llm_ckpt', 'checkpoint', 'text2image', 'image_editing']

## 运行环境

- 操作系统：
- Python版本：3.10

## 其他信息

如果有其他相关信息，请在此处提供。


文档需要更新一下了，这里需要设置 `eval_type="openai_api"`

我已设置eval_type=EvalType.SERVICE，那此时eval-batch-size=10是生效的吗？


生效，此时会以10并发发送请求

感谢！
Repository: modelscope/evalscope
Issue: 请问VLM的自定义评测集怎么做？
Root cause: Documentation Deficiency

大佬您好！没找到关于这个的教程，可以指点下吗？
我的想法是先用swift的infer，然后自己写指标计算代码，不知道这个项目有没有便捷方式

VLM自定义评测集目前还没支持，后续会加上的

文档已更新，请参考 https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset.html
Repository: modelscope/evalscope
Issue: chinese_simpleqa数据集urls参考链接未使用
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
使用chinese_simpleqa测试模型理解和生成中文正确答案的能力，数据集的urls链接中的参考知识并未使用。数据集如下：

<img width="1270" height="138" alt="Image" src="https://github.com/user-attachments/assets/e2381a51-8af7-4398-a917-ad52c845d62e" />
预测结果分数非常低，然后查看日志发现模型进行预测时并没任何背景知识，故URLs链接是没有使用的

<img width="1676" height="89" alt="Image" src="https://github.com/user-attachments/assets/9ecf5476-9d7c-46f9-a92f-2d1d98dc768d" />

我需要进行什么操作,正确的进行评测？

## EvalScope 版本（必填）
v1.1.0

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

task_cfg = TaskConfig(
    model="smallthinker",
    api_url="http://xx:xx/v1",
    api_key="EMPTY",
    eval_type=EvalType.SERVICE,
    eval_batch_size=1,
    datasets=["chinese_simpleqa"],
    dataset_args={
        "chinese_simpleqa": {
            "local_path": "../data/Chinese-SimpleQA"
        }
    },
    limit=10,
    judge_strategy=JudgeStrategy.AUTO,
    judge_model_args={
        "model_id": "Qwen3-30B-A3B",
        "api_url": "http://xx:xx/v1",
        "api_key": "EMPTY",
        "generation_config": {"extra_body": {"enable_thinking": True}},
    },
)

## 错误日志

无报错

## 运行环境

- 操作系统：
- Python版本：3.10

## 其他信息

如果有其他相关信息，请在此处提供。


simpleqa测试的是模型本身的知识水平，无需使用url

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: MMMU 数据集下 dataset-args.prompt_template 被写入配置但未实际生效
Root cause: Architectural Constraint

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

---

## 问题描述

在使用 `evalscope eval` 评测 **MMMU** 数据集时，我通过 `--dataset-args` 传入了自定义的 `prompt_template`。从生成的 `task_config_*.yaml` 中可以看到：

- `dataset_args.mmmu.prompt_template` 已经被正确设置为我传入的字符串。

但是在实际评测过程中，我抓取到发送给 OpenAI 兼容接口的请求后发现：

- 模型收到的 prompt 仍然是 **MMMU 内置的默认模板样式**，而不是我自定义的 `prompt_template`；
- 看起来 `dataset-args` 中的 `prompt_template` **虽然被解析并写入配置，但在构造实际 prompt 时被忽略或没有完整生效**。

我想确认：

1. MMMU 目前是否应该支持通过 `dataset-args.prompt_template` 来覆盖默认 prompt？
2. 如果理论上应该支持，这是否是 MMMU adapter 或 DataAdapter 部分的 bug？
3. 如果目前设计上不支持覆盖，是否可以在文档中说明，或者考虑后续支持？

---

## EvalScope 版本（必填）

v1.1.1

---

## 使用的工具

- [x] Native / 原生框架（`evalscope eval`，使用 `--eval-type openai_api` 调用 OpenAI 兼容服务）
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

---

## 执行的代码或指令

```bash
evalscope eval \
  --model 'Qwen3-VL-8B-Instruct' \
  --api-url 'http://127.0.0.1:8801/v1/chat/completions' \
  --eval-type 'openai_api' \
  --datasets mmmu \
  --limit 10 \
  --dataset-args '{
    "mmmu": {
      "few_shot_num": 0,
      "prompt_template": "Answer the following multiple choice question directly, without showing any reasoning or explanation. Respond strictly in the format: '\''ANSWER: $LETTER'\'' (without quotes), where LETTER is one of {letters}.\n\n{question}\n\n{choices}"
    }
  }' \
  --generation-config '{"max_tokens":256,"temperature":0}'
```


这个主要是因为MMMU有两个prompt，分别对应多选题和开放问答，两个prompt是固定下来的，因此设置prompt_template并不生效。后续会开发一个prompt管理模块，方便prompt使用和覆盖，参考 https://github.com/modelscope/evalscope/issues/930

> 这个主要是因为MMMU有两个prompt，分别对应多选题和开放问答，两个prompt是固定下来的，因此设置prompt_template并不生效。后续会开发一个prompt管理模块，方便prompt使用和覆盖，参考 https://github.com/modelscope/evalscope/issues/930

好的好的，也就是说MMMU比较特殊是吧，是不是其他大多数多模态Benchmark的prompt template是可以自己指定的？我想改这个prompt template的主要原因是这个template是cot的，我想不cot直接出答案，这样评测快一点



> > 这个主要是因为MMMU有两个prompt，分别对应多选题和开放问答，两个prompt是固定下来的，因此设置prompt_template并不生效。后续会开发一个prompt管理模块，方便prompt使用和覆盖，参考 [#930](https://github.com/modelscope/evalscope/issues/930)
> 
> 好的好的，也就是说MMMU比较特殊是吧，是不是其他大多数多模态Benchmark的prompt template是可以自己指定的？我想改这个prompt template的主要原因是这个template是cot的，我想不cot直接出答案，这样评测快一点

是的，大部分都支持修改prompt template

> > > 这个主要是因为MMMU有两个prompt，分别对应多选题和开放问答，两个prompt是固定下来的，因此设置prompt_template并不生效。后续会开发一个prompt管理模块，方便prompt使用和覆盖，参考 [#930](https://github.com/modelscope/evalscope/issues/930)
> > 
> > 
> > 好的好的，也就是说MMMU比较特殊是吧，是不是其他大多数多模态Benchmark的prompt template是可以自己指定的？我想改这个prompt template的主要原因是这个template是cot的，我想不cot直接出答案，这样评测快一点
> 
> 是的，大部分都支持修改prompt template

好的多谢，希望以后evalscope能够支持非CoT评测~

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 关于evalscope perf支持请求字段映射、响应字段映射、流终止配置参数化配置
Root cause: Unimplemented Feature Gap

新需求支持：

<img width="787" height="917" alt="Image" src="https://github.com/user-attachments/assets/0df34d42-fae3-4924-b8e5-b8b2edcef6a8" />


因为有些模型的api可能未遵循标准的openai协议，存在不兼容的问题，比如没有流终止符 data:[DONE]（这个是字符串而不是json格式）,这样会导致压测前请求解析报错导致无法压测

<img width="1609" height="476" alt="Image" src="https://github.com/user-attachments/assets/e77e8966-91b6-46e1-aa08-af6d7c3cd14e" />

所以看下后续是否考虑把请求字段映射、响应字段映射、流终止配置做成参数可配置的嘛，这样可以提高不同模型的API兼容性
Repository: modelscope/evalscope
Issue: [Feature Request] Add support for ClearML as an experiment visualizer
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description
希望 evalscope 在进行性能压测时，增加对 ClearML 的支持，使其可以像 Wandb 和 SwanLab 一样，作为性能测试结果的可视化后端。

## 需求背景 / Background
统一 MLOps 工作流: 许多团队（包括我们团队）已经在使用 ClearML 作为核心的 MLOps 平台。如果 evalscope 的评测结果也能集成到 ClearML 中，我们就可以在一个统一的平台上查看所有实验数据，无需为性能可视化单独配置和维护其他工具。
保持工作流一致性: 对于已经深度集成 ClearML 的用户来说，支持 ClearML 可以让他们更顺畅地引入 evalscope，减少工具碎片化。
扩大工具生态: ClearML 是一个功能强大的开源 MLOps 平台。支持它能够扩大 evalscope 的适用范围，吸引更多 ClearML 生态的用户。

## 预期行为 / Expected Behavior
根据现有的 SwanLab 集成文档，我期望 ClearML 的集成方式与之类似，以保证用户体验的一致性。

启用方式: 用户可以通过命令行参数 --visualizer clearml 来指定使用 ClearML 作为可视化工具。

命名实验: 用户可以使用 --name 'my-benchmark-run' 参数来指定在 ClearML 中创建的 Task 名称。如果可能，这个参数也可以用于指定 ClearML 的 Project Name，或者可以考虑增加一个如 --project-name 的新参数。

示例命令:

bash
复制代码
evalscope --visualizer clearml --name 'qwen_7b_chat_perf_test' --model ... [其他参数]
后端行为:

当启用该选项后，evalscope 会使用 ClearML Python SDK 初始化一个新的 Task（例如：Task.init(project_name='evalscope_benchmarks', task_name='qwen_7b_chat_perf_test')）。
性能压测过程中的指标（如吞吐量/tokens per second, 时延/latency 等）会被上报到这个 ClearML Task 的 "SCALARS" 面板。
evalscope 应该能自动使用标准的 ClearML 环境变量（如 CLEARML_API_SERVER, CLEARML_API_ACCESS_KEY, CLEARML_API_SECRET_KEY）进行认证和连接，无需额外的命令行参数。

## 其他信息 / Additional Information
这种基于 --visualizer 和 --name 的设计与现有的 SwanLab 集成保持了一致性，易于用户理解和切换。
ClearML 提供了非常成熟的 Python SDK，集成难度应该与现有的 Wandb 和 SwanLab 类似。
ClearML Python SDK 文档: https://clear.ml/docs/latest/docs/
我们非常乐意在功能开发后参与测试并提供反馈。


需求+1

已收到您关于 evalscope 支持 ClearML 作为性能压测可视化后端的需求，后续会在 issue 中更新进度

非常感谢您的响应和跟进！期待后续的更新。

已支持ClearML，参考这个文档来使用：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/examples.html#clearml

有问题欢迎咨询

感谢
Repository: modelscope/evalscope
Issue: 多模态自定义评测集能否支持多图，自定义prompt？
Root cause: Unimplemented Feature Gap

https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset/vlm.html#vqa
参考如上文档，目前自定义vqa的评测集只支持tsv文件吗，而且只能单图吗？是否支持jsonl，sharegpt格式 如下：
```
{
    "messages": [
        {
            "role": "user",
            "content": "<image> <image> <image> 请基于以上多模态信息完成选择最相关图片。候选商品如下，id：1 图片<image>, id：2 图片<image>, id：3 图片 <image>, 输出商品id:"
        },
        {
            "role": "assistant",
            "content": "1"
        }
    ],
    "images": [
        "frame_1.jpg",
        "frame_0.jpg",
        "frame_2.jpg",
        "1.jpg",
        "2.jpg",
        "3.jpg"
    ]
}
```

或者是如上的改为openai-style格式？
如果不行的话，目前这个tsv格式我如何传入多图 然后自定义prompt？ 完成如上格式的评测，计算准确率

目前的自定义VQA评测需要迭代更新了，多图评测后续会支持

好的 期待更新

已支持自定义多模态评测，使用main分支代码，参考这个文档：https://evalscope.readthedocs.io/en/latest/advanced_guides/custom_dataset/vlm.html#multimodal-large-models 如有问题请反馈
Repository: modelscope/evalscope
Issue: OpenCompass，VLMEvalKit 评测模型的时候如何指定请求参数？
Root cause: Documentation Deficiency

本地部署的模型参数和默认的参数不一致，如何在调用的时候指定参数

具体是什么参数不一致？
如果是模型推理的话，支持 temperature 参数

模型服务地址：http://xxx.com.cn:9316/multimodal/glm4v
参数：{
  "query": "xxx",
  "image_path": "/data/ee_22_1714340162.jpeg",
 "history": []
}
![image](https://github.com/user-attachments/assets/a8a115fe-410e-4cd6-8605-16a662782690)

接口可以curl通，但是执行example_eval_vlm_swift.py 的时候一直卡着
2024-08-13 16:05:49,460 - evalscope - INFO - *** Run task with config: Arguments(data=['MMBench_TEST_CN'], model=['glm4v'], nframe=8, pack=False, use_subtitle=False, work_dir='output', mode='all', nproc=16, retry=None, judge=None, verbose=False, ignore=False, rerun=False, limit=2, OPENAI_API_KEY='EMPTY', OPENAI_API_BASE=None, LOCAL_LLM=None)

2024-08-13 16:05:49,944 - ChatAPI - INFO - BaseAPI received the following kwargs: {'name': 'CustomAPIModel', 'type': 'glm4v'}
2024-08-13 16:05:49,945 - ChatAPI - INFO - Will try to use them as kwargs for `generate`.
2024-08-13 16:05:49,945 - ChatAPI - INFO - Using API Base: http://xxx/multimodal/glm4v; API Key: EMPTY
2024-08-13 16:05:49,945 - ChatAPI - INFO - BaseAPI received the following kwargs: {'name': 'CustomAPIModel', 'type': 'glm4v'}
2024-08-13 16:05:49,945 - ChatAPI - INFO - Will try to use them as kwargs for `generate`.
2024-08-13 16:05:49,945 - ChatAPI - INFO - Using API Base: http://xxxn:9316/multimodal/glm4v; API Key: EMPTY
Processing ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ -:--:-- 0/2   0%


目前只支持OpenAI API接口格式的调用
Repository: modelscope/evalscope
Issue: 文生图的最佳实践文档中增加qwen-image示例
GitHub labels: enhancement

## 功能描述 / Feature Description

文生图的最佳实践文档中增加qwen-image示例

## 需求背景 / Background

国内文生图领域开源的qwen-image是主要模型

## 预期行为 / Expected Behavior

提供evalscope测试qwen-image在文生图领域的最佳实践

## 其他信息 / Additional Information

无
Repository: modelscope/evalscope
Issue: [BUG] `KeyError: 'delta'` when perf local OpenAI server with `stream=True`
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v1.2.0
## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

```bash
evalscope perf \
  --api openai \
  --url "$API_URL"/v1/completions \
  --api-key "$API_KEY" \
  --model "$MODEL" \
  --outputs-dir evalscope/perf/${MODEL} \
  --log-every-n-query 5 \
  --connect-timeout 6000 \
  --read-timeout 6000 \
  --number 20 \
  --parallel 1 \
  --sleep-interval 3 \
  --max-tokens 2048 \
  --min-tokens 2048 \
  --dataset speed_benchmark \
  --stream \
  --extra-args '{"ignore_eos": true}' \
  --seed 6611 \
  --debug

```

## 错误日志

```
2025-11-17 14:00:52 - evalscope - default_api.py - process_request - 212 - ERROR: Traceback (most recent call last):
  File "/opt/miniconda3/envs/llm/lib/python3.10/site-packages/evalscope/perf/plugin/api/default_api.py", line 123, in process_request
    content = choices[0]['delta'].get('content')
KeyError: 'delta'

2025-11-17 14:00:52 - evalscope - http_client.py - test_connection - 129 - WARNING: Retrying... <Traceback (most recent call last):
  File "/opt/miniconda3/envs/llm/lib/python3.10/site-packages/evalscope/perf/plugin/api/default_api.py", line 123, in process_request
    content = choices[0]['delta'].get('content')
KeyError: 'delta'
```

## 运行环境

- 操作系统：ubuntu 20.04
- Python版本：3.10.3

## 其他信息

本地利用vllm或lmdeploy部署openAI server测试qwen3模型 30b. 32b均遇到此问题。




当endpoint换成`/v1/chat/completions`，会遇到  422: Unprocessable Entity


main分支已修复该问题，可以在试试

> main分支已修复该问题，可以在试试

今天用evalscope怎么突然有这个问题了，版本是1.2.0，之前用的也是这个版本没这个问题，我都是用pip下载的
Repository: modelscope/evalscope
Issue: ignore参数无效
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
使用 EvalScope RagEval 评测时，T2Retrieval 数据集有的数据太长超过模型上下文限制，设置 ignore_errors 参数无效。


## EvalScope 版本（必填）
v1.2.0

## 使用的工具
- [ ] RAGEval backend

## 执行的代码或指令

请提供您执行的主要代码或指令。
from evalscope import TaskConfig
from evalscope.run import run_task

task_cfg = TaskConfig(
    eval_backend='RAGEval',
    eval_config={
        'tool': 'MTEB',
        'model': [
            {
                'model_name': '/workspace/mnt/inaisfs/user-fs/Qwen/Qwen3-Embedding-0.6B',
                'api_base': '...30011/v1',
                'model_kwargs': {'torch_dtype': 'auto'},
                'prompt': '为这个问题生成一个检索用的表示',
                'encode_kwargs': {
                    'batch_size': 64,
                },
            }
        ],
        'eval': {
            'tasks': [
                'T2Retrieval',
            ],
            'max_length': 32700,
            'verbosity': 2,
            'overwrite_results': True,
            # 'limits': 10,
        },
    },
    
    ignore_errors=True,
    eval_batch_size=64,
    use_cache=False,
)

## 错误日志

请粘贴完整的错误日志或控制台输出。
File "/miniconda3/lib/python3.13/site-packages/openai/_base_client.py", line 1047, in request    raise self._make_status_error_from_response(err.response) from Noneopenai.BadRequestError: Error code: 400 - {'error': {'message': "This model's maximum context length is 32768 tokens. However, your request has 42504 input tokens. Please reduce the length of the input messages.", 'type': 'BadRequestError', 'param': None, 'code': 400}}

## 运行环境

- 操作系统：ubuntu 22.04
- Python版本： python 3.13.2

## 其他信息

如果有其他相关信息，请在此处提供。


ignore_error 参数只对 native 这个 backend 生效
Repository: modelscope/evalscope
Issue: opencompass貌似不对
Root cause: External Dependency Breakage

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ √] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ √] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ √] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
在evalscope/backend/opencompass/backend_manager.py中有段代码

 from opencompass.cli.arguments import Arguments as OpenCompassArguments
实际运行会报错
ModuleNotFoundError: No module named 'opencompass.cli.arguments'
我一开始以为是版本不对，去opencompass仓库看了下确实没有这个模块
https://github.com/open-compass/opencompass/tree/main/opencompass/cli
请简要描述您遇到的问题。

## EvalScope 版本（必填）
1.2.0

## 使用的工具
- [ ] Native / 原生框架
- [√] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


这里的opencompass使用的是团队自己打的包 `ms-opencompass`

> 这里的opencompass使用的是团队自己打的包 `ms-opencompass`

感谢感谢
Repository: modelscope/evalscope
Issue: 好像不支持gguf格式的模型
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


EvalScope 目前不原生支持 GGUF 模型的推理。建议使用 Ollama 等框架启动模型服务，然后通过 API 接口进行评测。

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: aarch64的支持
Root cause: External Dependency Breakage

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
采用pip install ".[all]"时发现不支持arm平台的安装，原因在于ms-vlmeval依赖的decord没有arm平台的whl。现在的vlmeval已经不再强制依赖decord，我可以手动安装vlmeval。可是，观察文档我发现，evalscope依赖的ms-vlmeval是经过定制的，这就意味着我必须安装你们发布的ms-vlmeval才能使用evalscope评估vlm。什么时候可以避免强制依赖decord呢？
<img width="750" height="235" alt="Image" src="https://github.com/user-attachments/assets/dc0d5e77-42bf-45cd-917c-884e8ca44652" />

## EvalScope 版本（必填）
master分支clone后本地构建

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [x] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：linux，aarch64
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


问题已修复，更新了ms-vlmeval 的版本，移除了decord依赖