zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: Evalscope中的Limit参数对MMDU benchmark没用？
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.16.1

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [x] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

from evalscope.run import run_task
from evalscope.summarizer import Summarizer



def run_eval():
    # 选项 1: python 字典
    from evalscope import TaskConfig

    task_cfg_dict = TaskConfig(
        work_dir='outputs',
        eval_backend='VLMEvalKit',
        eval_config=
            {'data': ['MMDU'],
            'mode': 'all',
            'model': [ 
            {'api_base': 'http://localhost:8000/v1/chat/completions',
            'key': 'EMPTY',
            'name': 'CustomAPIModel',
            'temperature': 0.0,
            'type': 'Qwen2.5-VL-7B-Instruct',
            'img_size': -1,
            'video_llm': False,
            'max_tokens': 1024,}
            ],
        'reuse': False,
        'nproc': 16,
        'judge': {
                'type': 'custom',  # 指定为自定义裁判模型
                'model_name': 'qwen2-7b-instruct',  # 裁判模型名称
                'api_base': 'http://localhost:8866/v1/chat/completions',  # 裁判模型的 API 地址
                'key': 'EMPTY'  # 如果不需要认证，可以设置为 EMPTY
            },
        'limit':1,
            }
    )
    task_cfg = task_cfg_dict

    # 选项 2: yaml 配置文件
    # task_cfg = 'eval_openai_api.yaml'

    run_task(task_cfg=task_cfg)

    print('>> Start to get the report with summarizer ...')
    report_list = Summarizer.get_report_from_cfg(task_cfg)
    print(f'\n>> The report list: {report_list}')

run_eval()

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。




这个代码中，limit=1没有用，还是推理了整个数据集，是怎么回事呢？


这里有点问题，我修复一下

更新ms-vlmeval试试，最新是0.0.18版本：
```
pip install ms-vlmeval
```

感谢大佬

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: --max-prompt-length 参数实际不精确
Root cause: Algorithmic Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
明明指定了--max-prompt-length，但是实际触发会超出设定值，没有对input-token做长度截断么？

执行测试如下：
```
evalscope perf --parallel 1 16 32 --model DeepSeek-R1-0528 --url http://127.0.0.1:8000/v1/chat/completions --api openai --dataset random --prefix-length 0  --tokenizer-path /data/model/DeepSeek-R1-0528  --number 10 20 40 --min-prompt-length 127000 --max-prompt-length 127000 --max-tokens 100
```

异常如下：
```
ValueError: This model's maximum context length is 128000 tokens. However, you requested 129946 tokens (129846 in the messages, 100 in the completion). Please reduce the length of the messages or completion.
INFO:     127.0.0.1:41952 - "POST /v1/chat/completions HTTP/1.1" 400 Bad Request
```

## EvalScope 版本（必填）
pip install 最新版

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

evalscope perf --parallel 1 16 32 --model DeepSeek-R1-0528 --url http://127.0.0.1:8000/v1/chat/completions --api openai --dataset random --prefix-length 0  --tokenizer-path /data/model/DeepSeek-R1-0528  --number 10 20 40 --min-prompt-length 127000 --max-prompt-length 127000 --max-tokens 100

## 错误日志

ValueError: This model's maximum context length is 128000 tokens. However, you requested 129946 tokens (129846 in the messages, 100 in the completion). Please reduce the length of the messages or completion.
INFO:     127.0.0.1:41952 - "POST /v1/chat/completions HTTP/1.1" 400 Bad Request

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


这里对这个问题有说明：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/examples.html#random

random的token ids经过encode再decode，token数量会不一致

所以是否可以先随机文本，经过tokenizer之后做len的截断呢

> 所以是否可以先随机文本，经过tokenizer之后做len的截断呢

这样有一个问题，怎么获取随机的文本，压测时可能需要大量的文本

好的，应该是我还没彻底理解输入逻辑，我本以为是如下的逻辑：
```
prompt_token_ids = [1, 2, 3, ..., 30]  # 30 个 Token IDs
output = llm.generate(prompt_token_ids, max_tokens=40)  # 输出最多 40 Token
```
随机`--max-prompt-length`个prompt_token_ids 送入模型就是input prompt长度了

我再学习学习

我知道了，是我想错了，多有打扰
Repository: modelscope/evalscope
Issue: DeepSeek R1-0528 benchmark alignment failed
Root cause: Configuration Error

## Self-Check List

Before submitting an issue, please ensure you have completed the following steps:
- [ ] I have carefully read the [relevant user documentation](https://evalscope.readthedocs.io/en/latest/get_started/parameters.html)
- [ ] I have reviewed the [Frequently Asked Questions](https://evalscope.readthedocs.io/en/latest/get_started/faq.html)
- [ ] I have searched and reviewed existing issues to confirm this is not a duplicate problem

## Problem Description
evaluated deepseek-r1-0528 aime24 got 67.33, much worse than official:

![Image](https://github.com/user-attachments/assets/d94b6af8-01f4-491a-a470-49d295d0c4d7)



## EvalScope Version (Required)
v 0.16.3

## Tools Used
- [ v] Native / Native framework
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / Model inference stress testing tool
- [ ] Arena / Arena mode

## Executed Code or Instructions

client, refer official instruction :
`from evalscope import TaskConfig, run_task
from evalscope.constants import EvalType

task_cfg = TaskConfig(
    model="DeepSeek-R1-0528",   # 模型名称 (需要与部署时的模型名称一致)
    api_url='http://127.0.0.1:8801/v1',  # 推理服务地址
    api_key='EMPTY',
    eval_type=EvalType.SERVICE,   # 评测类型，SERVICE表示评测推理服务
    datasets=[
    # 'math_500',  # 数据集名称
    # 'gpqa',
    'aime24'],
dataset_args={ # EvalScope内置支持，无需指定数据集ID
    # 'math_500': {'few_shot_num': 0 } ,
    # 'gpqa': {'subset_list': ['gpqa_diamond'], 'few_shot_num': 0},
    'aime24': {'few_shot_num': 0}
},
    eval_batch_size=32,       # 发送请求的并发数
    timeout=60000,
    generation_config={       # 模型推理配置
        'max_tokens': 163840,  # 最大生成token数，建议设置为较大值避免输出截断
        'temperature': 0.6,   # 采样温度 (deepseek 报告推荐值)
        'top_p': 0.95,        # top-p采样 (deepseek 报告推荐值)
        'n': 5                # 每个请求产生的回复数量 (注意 lmdeploy 目前只支持 n=1)
    },
    stream=True               # 是否使用流式请求，推荐设置为True防止请求超时
)

run_task(task_cfg=task_cfg)`

vllm server:
`VLLM_CONFIGURE_LOGGING=1
VLLM_LOGGING_CONFIG_PATH="vllmlog.json"

VLLM_USE_MODELSCOPE=True  HIP_VISIBLE_DEVICES="0,1,2,3,4,5,6,7" vllm serve $model_path \
    --served-model-name DeepSeek-R1-0528 \
	--trust_remote_code --port 8801 \
	--max-model-len 163840 \
	--dtype bfloat16 \
	--tensor_parallel_size 8 `


how can i got official benchmark?  

## Running Environment:
docker: rocm6.3, vllm , torch2.7.1

- Operating System: ununtu
- Python Version:  3.12.3

## Additional Information

If there is any other relevant information, please provide it here.


set generation_config={ # 模型推理配置
'max_tokens': 16000, # 最大生成token数，建议设置为较大值避免输出截断
'temperature': 0.6, # 采样温度 (deepseek 报告推荐值)
'top_p': 0.95, # top-p采样 (deepseek 报告推荐值)
'n': 5 # 每个请求产生的回复数量 (注意 lmdeploy 目前只支持 n=1)
}, 
AIME24 got 89.33

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: vlm模型测试时，stream参数不起效么
Root cause: Unimplemented Feature Gap

- VLMEvalKit 后端处理VLM模型输出时，不支持流式么

暂不支持

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 支持自定义多模态大模型压测
Root cause: Documentation Deficiency

## 功能描述 / Feature Description

多模态大模型性能测试里面只指定了“flickr8k”数据集，构建图文输入，是只能用这一个数据集评测吗？希望可以用random 形式生成仿真数据，指定输入输出token进行压测

## 需求背景 / Background

“flickr8k”数据集的图片大小基本是固定的，不能评测更大或更小的图像输入，而且输入只有图像token,不能设置用户输入的指令token

## 预期行为 / Expected Behavior

可以实现用户设置输入图像大小，输入token,输出token,自动生成仿真数据进行压测。





v1.0.0 版本已支持多模态压测，参考 https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/examples.html#id4

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 使用ms-swift eval评测truthful_qa计算结果的时候报错
Root cause: Validation Gap

## 问题描述
安装ms-swift，尝试使用Qwen2.5-14B-Instruct进行测试，数据集使用ceval、cmmlu都没有问题，使用truthful_qa数据集报错？具体信息如下


## EvalScope 版本（必填）
evalscope                 0.16.3                   pypi_0    pypi
ms-swift                  3.5.3                    pypi_0    pypi
vllm                      0.9.1                    pypi_0    pypi

## 使用的工具
- **[ Yes] Native / 原生框架**
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

swift eval \
    --model ./Qwen2.5-14B-Instruct \
    --eval_backend Native \
    --infer_backend vllm \
    --tensor_parallel_size 2 \
    --eval_dataset truthful_qa \

## 错误日志

File "/python3.10/site-packages/evalscope/evaluator/evaluator.py", line 317, in process_single_review
    review_d = self._get_review(answer_d=answer_d, review_id=review_id, reviewer_spec=reviewer_spec)
  File "/python3.10/site-packages/evalscope/evaluator/evaluator.py", line 247, in _get_review
    review_result = self.data_adapter.match(gold_content, pred_content)
  File "/python3.10/site-packages/evalscope/benchmarks/truthful_qa/truthful_qa_adapter.py", line 255, in match
    return {'multiple_choice': {'mc1': mc1(mc1_lls), 'mc2': mc2(mc2_lls)}}  # or {'generation': xxx}
  File "/python3.10/site-packages/evalscope/benchmarks/truthful_qa/truthful_qa_adapter.py", line 247, in mc2
    p_true, p_false = np.exp(np.array(ll_true)), np.exp(np.array(ll_false))
TypeError: ufunc 'exp' not supported for the input types, and the inputs could not be safely coerced to any supported types according to the casting rule ''safe''

## 运行环境

- 操作系统：ubuntu 22.04
- Python版本：3.10.18

## 其他信息




我尝试复现一下这个问题

truthful_qa 这个数据集只支持logits方式评测，不支持generation的方式。你提供的命令是使用swift拉起了模型服务进行测试的，属于generation的方法。

所以是swift项目的问题，还是我使用的命令不对？🧑‍🦯
在swift的文档中也未找到相关case

swift eval不支持truthful_qa评测，要使用该评测集，需要运行下面的命令，用本地transformer推理的方式来评测：
```shell
evalscope eval --model Qwen/Qwen3-0.6B --datasets truthful_qa --limit 4
```

swift main分支代码已更新，已修复改问题

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 数据集缓存生成多次
Root cause: Algorithmic Error

> 我知道了，evalscope加载数据集的时候默认传递了cache_dir参数，默认会在`~/.cache/modelscope/hub/datasets`下进行缓存，这个可以忽略，不会重新下载数据。
> 
> ![Image](https://github.com/user-attachments/assets/af0e15a9-dec6-4ead-8807-7b2f8e0a5761)
> 这个吗？
> 但是我现在设置的是这个路径
> 
> ![Image](https://github.com/user-attachments/assets/40967c51-446c-4116-8cbf-a6faec8dc8dd)
> 然后你看上一个回复的截图中，生成了两次相同的一些文件和文件夹，只是命名不一样，下面这个截图
> 
> ![Image](https://github.com/user-attachments/assets/ddd81a2a-a749-44d5-91c2-168f18ae71d7)
> 
> 这个缓存是必须会生成的？必须会生成的话为什么每次都会生成不同的缓存文件？有一次的缓存文件不就行了? 

 _Originally posted by @maidouxiaozi in [#362](https://github.com/modelscope/evalscope/issues/362#issuecomment-3031529826)_

已修复
Repository: modelscope/evalscope
Issue: bfcl_v3测试过程中，长度太长，报错
Root cause: Configuration Error

import os
from evalscope import TaskConfig, run_task
os.environ['VLLM_ALLOW_LONG_MAX_MODEL_LEN'] = '1'

task_cfg = TaskConfig(
     #model='/home/Qwen/Qwen2.5-0.5B-Instruct',
     api_url='http://127.0.0.1:8801/v1/chat/completions',
     model="qwen2.5",
     #api_key=os.getenv('DASHSCOPE_API_KEY'),
     eval_type='service',  # 使用API模型服务
     datasets=['bfcl_v3'],
     #eval_batch_size=1,
     dataset_args={
         'bfcl_v3': {
             'extra_params':{
                 # 模型在函数名称中拒绝使用点号（`.`）；设置此项，以便在评估期间自动将点号转换为下划线。
                 'underscore_to_dot': True,
                 # 模式是否为函数调用模型（Function Calling Model），如果是则会启用函数调用相关的配置；否则会使用prompt绕过函数调用。
                 'is_fc_model': False,
                 'enable-auto-tool-choice':True,
                 'tool-call-parser hermes':True,
                 'ignore_errors':True
             }
         }
     },
     generation_config={
         'temperature': 0,
         'max_tokens': 4096,
         'parallel_tool_calls': True,  # 启用并行函数调用
     },
     #limit=2,  # 限制评测数量，便于快速测试，正式评测时建议去掉此项
)
run_task(task_cfg=task_cfg)

********************报错信息如下：***************

![Image](https://github.com/user-attachments/assets/2c4ed53c-32ae-4bb1-b858-8e073878b3eb)

> os.environ['VLLM_ALLOW_LONG_MAX_MODEL_LEN'] = '1' 

1. 这个环境变量需要在启动vLLM模型服务的时候配置
2. 你也可以在评测命令中设置`ignore_errors=True`，来跳过报错的样例

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 使用自定义数据集MCQ CSV格式时，prompt_template未能根据可选项数量进行更新
Root cause: Documentation Deficiency


## 问题描述
当CSV选项有5个时，a b c d e，prompt_template还是，请回答问题，并选出其中的正确答案。你的回答的最后一行应该是这样的格式：“答案是：LETTER”（不带引号），其中 LETTER 是 A、B、C、D 中的一个

## EvalScope 版本（必填）
v0.16.3




虽可通过 prompt_template 解决，建议更新文档相关内容

文档已更新
Repository: modelscope/evalscope
Issue: perf评测是否支持不同backend的比较，如ark和openai、或者http直接调用和openai sdk调用
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


perf默认支持的是openai api格式的调用，若要支持其他格式，可以参考文档来注册自定义的api解析方法： https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/custom.html#api

> perf默认支持的是openai api格式的调用，若要支持其他格式，可以参考文档来注册自定义的api解析方法： https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/custom.html#api

感谢。实话说看完了源码里面对于openai api和dashscope的api的定义，还是没太看懂这个调用关系。openai的client和dashscope的client是在哪一步引入的呢 @Yunnglin 

好像不管怎么样都跳不过这个aiohttpclient

> > perf默认支持的是openai api格式的调用，若要支持其他格式，可以参考文档来注册自定义的api解析方法： https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/custom.html#api
> 
> 感谢。实话说看完了源码里面对于openai api和dashscope的api的定义，还是没太看懂这个调用关系。openai的client和dashscope的client是在哪一步引入的呢 [@Yunnglin](https://github.com/Yunnglin)

目前这块是比较耦合的，后续会拆分到各自API解析实现中

https://github.com/modelscope/evalscope/blob/e05c465e45f911907dfa61651986ccb7a1421b12/evalscope/perf/http_client.py#L63-L74

具体的每个client实现是通过register的方式实现的：https://github.com/modelscope/evalscope/blob/main/evalscope/perf/plugin/api/openai_api.py

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: perf 评测无法评测百炼部署模型
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
Perf 无法评测在百炼中部署的模型的性能

<img width="2750" height="82" alt="Image" src="https://github.com/user-attachments/assets/ac9046f6-8473-4def-9083-d823f103a68e" />

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


请提供完整的评测命令

> 由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 我在我的工作中使用了优秀的evalscope，我该如何引用它？

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。
我在我的工作中使用了优秀的evalscope，我该如何引用它？


可以使用下面的格式来引用：

```bibtex
@misc{evalscope_2024,
    title={{EvalScope}: Evaluation Framework for Large Models},
    author={ModelScope Team},
    year={2024},
    url={https://github.com/modelscope/evalscope}
}
```


> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: evalscope app 使用http://localhost:port 和 http://ip:port都无法访问
Root cause: External Dependency Breakage

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

evalscope app 使用http://localhost:port 和 http://ip:port都无法访问.使用curl可以访问

## EvalScope 版本（必填）
v0.17.0

## 执行的代码或指令

evalscope app

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：linux
- Python版本： 3.12.7



麻烦提供一下出错的具体表现，报错或截图，使用5.4.0版本的gradio能否解决问题

升级gradio版本到5.4.0后，问题解决了。感谢
Repository: modelscope/evalscope
Issue: Support for agents
Root cause: Unimplemented Feature Gap

## Self-Check List

Before submitting an issue, please ensure you have completed the following steps:
- [x] I have carefully read the [relevant user documentation](https://evalscope.readthedocs.io/en/latest/get_started/parameters.html)
- [ ] I have reviewed the [Frequently Asked Questions](https://evalscope.readthedocs.io/en/latest/get_started/faq.html)
- [x] I have searched and reviewed existing issues to confirm this is not a duplicate problem

## Problem Description

EvalScope is currently focused on model evaluations specifically. Are there any plans to also support evaluating agentic pipelines (for example, using langchain or semantic kernel) and agent-based benchmarks?

## EvalScope Version (Required)
latest

Currently, we are supporting agent-related evaluations, including benchmarks for models' tool-use capabilities such as ToolBench and BFCL-v3. We are currently adding sandbox functionality to allow models to execute code more safely. In the future, we will support more agent-based benchmarks.

> Thank you for your feedback! We will close this issue now. If you have any further questions, please feel free to reopen it. If EvalScope has been helpful to you, please consider giving us a STAR to show your support. Thank you!
Repository: modelscope/evalscope
Issue: evalscope qwen2-vl-72b EvalScope Command Line tool: error: unrecognized arguments
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
通过如下的命令测评qwen2-vl-72b报了unrecognized arguments 
```
evalscope perf \
  --parallel 1 5 10 20 50 100 150 200 \
  --number 2 10 20 40 100 200 300 400 \
  --model qwen2-vl-72b \
  --url http://127.0.0.1:8000/v1/chat/completions \
  --api openai \
  --dataset flickr8k \
  --dataset-path /root/.cache/modelscope/datasets/clip-benchmark/wds_flickr8k \
  --max-tokens 256 \
  --min-tokens 256 \
  --prefix-length 0 \
  --min-prompt-length 256 \
  --max-prompt-length 256 \
  --tokenizer-path /workspace/cache/grtest-zz/qwen2-vl-72b \
  --extra-args '{"ignore_eos": true}'
```

<img width="1293" height="248" alt="Image" src="https://github.com/user-attachments/assets/5719c758-935c-4294-9ef4-45d2b8f3aa50" />


## EvalScope 版本（必填）
latest

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

<img width="1293" height="248" alt="Image" src="https://github.com/user-attachments/assets/5719c758-935c-4294-9ef4-45d2b8f3aa50" />

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


请问具体使用的evalscope版本是多少？

> 请问具体使用的evalscope版本是多少？

怎么看已安装的evalscope版本？我是按照官方文档方法一安装的

运行`pip show evalscope` 可以看到version字段

> 由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 安装evalscope依赖提示冲突
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

通过源码安装如下依赖的时候，提示依赖冲突
```
pip install -e '.[vlmeval]'
pip install -e '.[all]'
```

<img width="1083" height="178" alt="Image" src="https://github.com/user-attachments/assets/264432b2-bdc6-4a36-a289-91be084fbb74" />

## EvalScope 版本（必填）
源码安装

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


单独运行`pip install -e '.[all]'`即可，`all`里面已经包含`vlmeval`的依赖了

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: vlmevalkit后端如果要启用裁判员模型，对数据集和评测方式是否有要求
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.17.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [x] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

eval_backend: VLMEvalKit
eval_config:
  model:
    - type: qwen25-vl   # model id of the model
      name: CustomAPIModel # Don't change, must be CustomAPIModel for deploy evaluation
      api_base: https://xxx/v1/chat/completions # deployed model api
      key: xxx
      temperature: 0.0
      img_size: -1
      img_detail: low
      video_llm: false
  data:
    - ChartQA_TEST
  mode: all
  limit: 5
  reuse: true
  work_dir: outputs
  nproc: 1
  # judge model server config
  OPENAI_API_KEY: EMPTY
  OPENAI_API_BASE: http://localhost:8866/v1/chat/completions # judge model api
  LOCAL_LLM: qwen2-7b-instruct                               # judge model id
使用上述配置，没有启用裁判员模型的配置
## 错误日志



## 运行环境

- 操作系统：ubuntu
- Python版本：3.10

## 其他信息




请贴一下完整的运行命令，裁判配置是怎么写的呢？

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 可以支持一下Minerva以及AMC数据集吗
Root cause: Documentation Deficiency

## 功能描述 / Feature Description

如题

## 需求背景 / Background

做RL后训练时，测评数学能力非常需要




main分支已支持这两个评测基准，所有支持的benchmark请参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/supported_dataset/llm.html

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 请问Clip_benchmark支持自定义模型吗？
Root cause: Documentation Deficiency

已经按照文档自定义数据集，但是自定义模型部分好像并没有Clip_benchmark的内容，请问是目前还不支持吗？

Clip_benchmark 自定义数据集参考这里：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset/clip.html#id1

如果你的clip模型能被transformers加载的话，直接传递本地路径即可；否则你得修改这个文件的代码，来适配你的模型 evalscope/backend/rag_eval/utils/clip.py
Repository: modelscope/evalscope
Issue: 配置eval scope环境时报错：FileNotFoundError: [Errno 2] No such file or directory: './MANIFEST.in'
Root cause: Environment Incompatibility

按照readme中的指引配置环境时，运行“pip install -e .”命令后报错：FileNotFoundError: [Errno 2] No such file or directory: './MANIFEST.in'，这个怎么解决呢
![image](https://github.com/modelscope/eval-scope/assets/169908719/623c7470-f661-44a7-affa-26fbc1ab25fa)


Please pull latest main branch.