zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: modelscope不支持qwen3vl
Root cause: Unimplemented Feature Gap

源码安装最新版evalscope
评测脚本
```
from evalscope.run import run_task
from evalscope.config import TaskConfig

task_cfg = TaskConfig(
    model='my_path/Qwen3-VL-4B-Instruct',
    datasets=['general_vqa'],
    dataset_args={
        'general_vqa': {
            'local_path': 'my_test_dir',  # 数据集目录
            'subset_list': ['test'],  # 文件名（不含扩展名）
        }
    },
    limit=5,  # 可选：限制评测样本数
)

result = run_task(task_cfg=task_cfg)
```
报错如下：
```
 File "/media//eval/evalscope/.venv/lib/python3.12/site-packages/evalscope/api/model/model.py", line 374, in get_model
    modelapi_instance = modelapi_type(            
                        ^^^^^^^^^^^^^^            
  File "/media/eval/evalscope/.venv/lib/python3.12/site-packages/evalscope/models/modelscope.py", line 101, in __init__
    self.model = AutoModelForCausalLM.from_pretrained(                                              
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^                                              
  File "/media/eval/evalscope/.venv/lib/python3.12/site-packages/modelscope/utils/hf_util/patcher.py", line 285, in from_pretrained
    module_obj = module_class.from_pretrained(    
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^    
  File "/media/eval/evalscope/.venv/lib/python3.12/site-packages/transformers/models/auto/auto_factory.py", line 607, in from_pretrained
    raise ValueError(                             
ValueError: Unrecognized configuration class <class 'transformers.models.qwen3_vl.configuration_qwen3_vl.Qwen3VLConfig'> for this kind of AutoModel: AutoModelForCausalLM.
```
错误位置在evalscope/models/modelscope.py的        
        self.model = AutoModelForCausalLM.from_pretrained(
            model_name_or_path,
            device_map=self.device,
            token=self.api_key,
            torch_dtype=self.torch_dtype,
            trust_remote_code=True,
            **model_args
        )

目前不支持本地推理多模态模型，建议使用vLLM等框架拉起模型服务再测试

> 目前不支持本地推理多模态模型，建议使用vLLM等框架拉起模型服务再测试

Hey @Yunnglin ，如果我使用 General-VQA ，我可以通过 CLI 的方式来获取准确率指标吗？

因为我参考了文档：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset/vlm.html#id4
CLI 评测将输出 BLEU 和 Rouge 指标，但是没有准确率指标，即使我的JSONL文件里面包含answer的数据。
而 judge_model 的方式虽然有准确率指标，但是也是本地推理，无法支持Qwen3VL



@pandalee99 CLI的方式也支持配置judge_model，参考如下：

```bash
evalscope eval \
  --model qwen-vl-plus \
  --api-url https://dashscope.aliyuncs.com/compatible-mode/v1 \
  --api-key "$DASHSCOPE_API_KEY" \
  --datasets general_vqa \
  --dataset-args '{"general_vqa": {"local_path": "custom_eval/multimodal/vqa", "subset_list": ["example_openai"]}}' \
  --limit 5 \
  --judge-model-args '{"model_id": "qwen-plus", "api_url": "https://dashscope.aliyuncs.com/compatible-mode/v1", "api_key": "$DASHSCOPE_API_KEY", "generation_config": {"temperature": 0.0, "max_tokens": 4096}}' \
  --judge-worker-num 5 \
  --judge-strategy llm
```
Repository: modelscope/evalscope
Issue: reranker不支持api方式进行调用
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v1.3.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [x] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

```python
from evalscope.run import run_task
from evalscope.config import TaskConfig

two_stage_task_cfg = {
    "work_dir": "outputs",
    "eval_backend": "RAGEval",
    "eval_config": {
        "tool": "MTEB",
        "model": [
            {
                'model_name': '/workspace/Qwen3-Embedding-0.6B',
                'api_base': 'http://127.0.0.1:8001/v1',
                'api_key': 'empty',
                'encode_kwargs': {
                    'batch_size': 10,
                },
            },
            {
                "model_name": "/workspace/models/BAAI/bge-reranker-large",
                'api_base': 'http://127.0.0.1:8011/v1',
                'api_key': 'empty',
                'is_cross_encoder': True,
                "encode_kwargs": {
                    "batch_size": 10,
                },
            },
        ],
        "eval": {
            "tasks": ["T2Retrieval"],
            "verbosity": 2,
            "overwrite_results": True,
            "top_k": 5,
            "limits": 50,
        },
    },
}
run_task(task_cfg=two_stage_task_cfg)

```

## 错误日志

INFO:     127.0.0.1:50804 - "POST /v1/embeddings HTTP/1.1" 404 Not Found


## 运行环境

- 操作系统：ubuntu22.04
- Python版本：3.10

## 其他信息

如果有其他相关信息，请在此处提供。


这部分文档我再更新一下，reranker目前还不支持api方式进行调用，这块后续还需开发
Repository: modelscope/evalscope
Issue: 能够描述一下 每个指标的含义，有几个指标不太懂什么意思
Root cause: Documentation Deficiency

Benchmarking summary: 
 Time taken for tests: 22.512 seconds
 Expected number of requests: 100
 Number of concurrency: 128
 Total requests: 100
 Succeed requests: 100
 Failed requests: 0
 Average QPS: 4.442
 Average latency: 14.140
 Throughput(average output tokens per second): 891.275
 Average time to first token: 2.701
 Average input tokens per request: 28.890
 Average output tokens per request: 200.640
 Average time per output token: 0.00112
 Average package per request: 191.830
 Average package latency: 0.060
 Percentile of time to first token: 
     p50: 2.7137
     p66: 2.7370
     p75: 2.7879
     p80: 2.8042
     p90: 2.8816
     p95: 2.9215
     p98: 2.9364
     p99: 2.9847
 Percentile of request latency: 
     p50: 14.7637
     p66: 17.0512
     p75: 17.7525
     p80: 18.3740
     p90: 19.7777
     p95: 20.1707
     p98: 21.1066
     p99: 22.5016

ok  我们补充一下

参考这里： https://github.com/modelscope/evalscope/tree/main/evalscope/perf
Repository: modelscope/evalscope
Issue: 压测MOE模型时有并发输出token的量对不上
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

并发测试MOE模型时，输出token，会有部分并发token达不到设定的值

<img width="978" height="774" alt="Image" src="https://github.com/user-attachments/assets/3345f3f8-fc99-4944-9b97-a7d1a0c1d7dc" />

<img width="974" height="784" alt="Image" src="https://github.com/user-attachments/assets/53ac0aab-8603-4e4e-8e50-fc1e98c3cbff" />

## EvalScope 版本（必填）
(/root/test) root@ub2404:~# pip show EvalScope 
Name: evalscope
Version: 1.2.0


## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [-] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式
Perf / 模型推理压测工具
## 执行的代码或指令

请提供您执行的主要代码或指令。
python 235B-A22B-NVFP4.py --p 1-100 --port 8123
[235B-A22B-NVFP4.py](https://github.com/user-attachments/files/23851279/235B-A22B-NVFP4.py)
## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：ubuntu24.04.3
- Python版本：



Python 3.12.12


## 其他信息

如果有其他相关信息，请在此处提供。


参考这个：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html#id6 
参数中加上`extra_args={"ignore_eos": true}`

> 参考这个：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html#id6 参数中加上`extra_args={"ignore_eos": true}`

与这个关系不大，找到问题了，是预热并发的提示词出的问题，不用预热并发就行了

> > 参考这个：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html#id6 参数中加上`extra_args={"ignore_eos": true}`
> 
> 与这个关系不大，找到问题了，是预热并发的提示词出的问题，不用预热并发就行了

请教下大佬，我压测发现，用不用预热，都会在正式测试的前几个step，吞吐很低，然后慢慢涨上来。你有遇到过这种情况吗？
Repository: modelscope/evalscope
Issue: tau2-bench 的默认评估设置存在问题，没有与 leaderboard 的设置对齐
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v1.3.0

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

[tau2_bench/generation.py](https://github.com/modelscope/evalscope/blob/main/evalscope/benchmarks/tau_bench/tau2_bench/generation.py)

## 错误日志

```python
def predict(model: Model, sample: Sample, adapter_instance) -> ModelOutput:

    build_model(agent_model=model, adapter_instance=adapter_instance)

    domain = sample.subset_key
    task = Task.model_validate(sample.metadata)
    res = run_task(
        domain=domain,
        task=task,
        agent='llm_agent_gt',      # 这里应该为：llm_agent
        user='user_simulator',
        llm_agent='agent',
        llm_user='user',
    )

    sample.metadata['task_result'] = res.reward_info.model_dump()
    return ModelOutput(
        model=model.name,
        choices=[ChatCompletionChoice.from_content(res.model_dump_json(indent=2))],
    )
```

## 运行环境

- 操作系统：ubuntu
- Python版本：python 3.10

## 其他信息

如果有其他相关信息，请在此处提供。


已修复该问题
Repository: modelscope/evalscope
Issue: HallusionBench数据集的"aAcc","fAcc","qAcc"指标含义

大佬好，请教下，我用evalscope在HallusionBench数据集上测试，报告是 [{'InternVL2-26B-DPO_HallusionBench_score': {'split': 'Overall', 'aAcc': '59.89473684210527', 'fAcc': '34.39306358381503', 'qAcc': '33.62637362637363'}}]
没看懂这几个指标是啥意思。https://github.com/tianyi-lab/HallusionBench 在官方GitHub也没看到

aAcc是Accuracy per Question，也即 average acc
fAcc是Accuracy per Figure
qAcc是Accuracy per Question Pair

参考：
- 官方文档：https://github.com/tianyi-lab/HallusionBench#metric
- 代码实现：https://github.com/open-compass/VLMEvalKit/blob/0697b148c91da9297ed4c06e664f4fb85a63bb94/vlmeval/dataset/utils/yorn.py#L50
Repository: modelscope/evalscope
Issue: 关于指定 --work-dir 参数后仍然在时间戳下生成结果的疑问🤔
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

当我指定了 --work-dir 后：
```
--work-dir "$OUTPUTS_BASE/$MODEL/$CKPT"
```

最终输出路径仍然存在一个时间戳：

 "$OUTPUTS_BASE/$MODEL/$CKPT/{time}"

想知道这样的用意是什么，主要加了这个时间后对于批量评测、批量统计或者批量重跑不太方便。

## EvalScope 版本（必填）
Latest version

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式



这个逻辑我修正一下

添加了no_timestamp参数，设置为True不会自动添加时间戳
Repository: modelscope/evalscope
Issue: chartQA数据集评测结果不符合预期的相关问题
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

您好，我在使用evalscope评测Qwen2.5-VL-72B-Instruct模型的时候发现模型的评测精度异常，使用evalscope eval命令与使用evalscope的vlmevalkit后端评测，结果相差很多。
请问：
1. 这可能是什么原因引起的呢？
2. 我应该如何做来让evalscope eval命令的输出结果接近vlmevalkit的结果？
3. 我注意到了一个可能是bug的地方，就是我在使用evalscope eval的时候指定了dataset-dir参数，但是它并没有起作用，还是将数据集下载到了/root/.cache/evalscope/datasets/lmms-lab_ChartQA-4e9c5ffde2dfcd6969ccbbb5710e2555

## EvalScope 版本（必填）
v1.3.0

## 使用的工具
- [x] Native / 原生框架
- [x] VLMEvalKit backend

## 执行的代码或指令
使用evalscope eval的命令与结果：
（请忽略generation-config中的后端参数，这些后端参数对于推理服务不生效，不会影响精度）
```python
evalscope eval \
  --model Qwen2.5-VL-72B-Instruct \
  --api-url http://0.0.0.0:9521/v1 \
  --timeout 600 \
  --eval-batch-size 8 \
  --eval-type openai_api \
  --dataset-dir /data2/models/datasets \
  --datasets chartqa \
  --work-dir evalscope_eval_0 \
  --generation-config '{"top_k":20,"top_p":0.8,"temperature":0.7}' \
  --stream
```

<img width="1015" height="381" alt="Image" src="https://github.com/user-attachments/assets/2004e4a8-6273-481a-880c-ce840e763823" />


使用vlmevalkit的命令与得到的结果：

```python
from evalscope.run import run_task
from evalscope.summarizer import Summarizer
from evalscope import TaskConfig

def run_eval():
    task_cfg = TaskConfig(
        work_dir="evalscope_eval/",
        eval_backend='VLMEvalKit',
        eval_config={
                'data': "ChartQA_TEST".split(" "),
                'mode': 'all',
                'model': [
                    {
                        'type': 'qwen-vl-plus',
                        'name': 'CustomAPIModel',
                        'model_path': 'models/Qwen-VL-Chat',
                        'api_base': f'http://0.0.0.0:9521/v1/chat/completions',
                        'temperature': float(0),
                        'img_size': int(-1),
                        'timeout': int(6000),
                        'max_new_tokens': float(1024),
                    }
                ],
                'nproc': 16,
                'retry': True
            }
    )

    run_task(task_cfg=task_cfg)

    print('>> Start to get the report with summarizer ...')
    report_list = Summarizer.get_report_from_cfg(task_cfg)
    print(f'\n>> The report list: {report_list}')

if __name__=='__main__':
    run_eval()
```

<img width="847" height="450" alt="Image" src="https://github.com/user-attachments/assets/3022543a-fea0-4578-a470-50f0d5476978" />


使用 evalscope app 启动可视化界面，看一下模型输出的内容，确定一下是模型输出错误还是evalscope解析答案出错了

更新了一下chartqa的prompt，现在模型的表现可能会好一些，用main分支代码

> 更新了一下chartqa的prompt，现在模型的表现可能会好一些，用main分支代码

@Yunnglin 您好，今天验证了下，精度高了很多，但还是跟chartqa的精度有些差距：

<img width="1312" height="968" alt="Image" src="https://github.com/user-attachments/assets/f636fdae-7b1c-4d1b-af20-04875b61f62e" />
Repository: modelscope/evalscope
Issue: aime2024，aime2025数据集下得分为0
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

你好，我在本地评测qwen3-32b在aime-2024和aime-2025的表现上时发现：

> 尽管在日志中模型正确回答了一些问题，但好像并没有得到正确的匹配，这导致最终的评测得分为0（我尝试了全部数据集和设置`limit: 5`）

我猜测这是由于prompt格式和匹配方法引起的问题，但是我更改prompt后并未发现改变，并且在开启judge model后出现**request time out**问题。

我希望了解：

1. 更改prompt是否是可行的
2. aime的答案匹配机制是否存在问题
3. 是否有不涉及prompt的解决方案

非常感谢您的回答

## EvalScope 版本（必填）
v1.1.1

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

```
model: qwen3-32b
api_url: http:172.10.0.6:8000/v1/chat/completions
eval_type: openai_api
datasets:
  - aime24
dataset_args:
  aime24:
    dataset_id: /workspace/data/aime_2024
```





请使用最新版本v1.3.0的evalscope，此外用`evalscope app`命令看一下模型输出，贴一下bad case

感谢您的回复，检查之后我调整了max_tokens以及prompt格式，返回结果已经正常
Repository: modelscope/evalscope
Issue: ifbench/multi_if eval bug
Root cause: Validation Gap

For ifbench:
the usage of check_nltk_data in ifbench/instrustion.py is wrong

for multi_if: it cannot support turn 3 and failed to get pass@k
Predicting[multi_if@English]: 100%|██████████| 1818/1818 [05:47<00:00,  5.23it/s] 
2025-12-08 21:53:48 - evalscope - INFO: Finished getting predictions for subset: English.
2025-12-08 21:53:48 - evalscope - INFO: Getting reviews for subset: English
2025-12-08 21:53:48 - evalscope - INFO: Reviewing 1818 samples, if data is large, it may take a while.
Reviewing[multi_if@English]: 100%|██████████| 1818/1818 [00:31<00:00, 57.14it/s]
2025-12-08 21:54:20 - evalscope - INFO: Finished reviewing subset: English. Total reviewed: 1818
2025-12-08 21:54:20 - evalscope - INFO: Aggregating scores for subset: English
Traceback (most recent call last):
  File "/home/tiger/.local/bin/evalscope", line 7, in <module>
    sys.exit(run_cmd())
             ^^^^^^^^^
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/cli/cli.py", line 27, in run_cmd
    cmd.execute()
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/cli/start_eval.py", line 32, in execute
    run_task(self.args)
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/run.py", line 28, in run_task
    return run_single_task(task_cfg, run_time)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/run.py", line 42, in run_single_task
    result = evaluate_model(task_cfg, outputs)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/run.py", line 148, in evaluate_model
    res_dict = evaluator.eval()
               ^^^^^^^^^^^^^^^^
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/evaluator/evaluator.py", line 106, in eval
    subset_score = self.evaluate_subset(subset, dataset)
                   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/evaluator/evaluator.py", line 144, in evaluate_subset
    agg_scores = self.benchmark.aggregate_scores(sample_scores=sample_scores)
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/api/benchmark/adapters/default_data_adapter.py", line 695, in aggregate_scores
    agg_scores = aggregator(sample_scores)
                 ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/tiger/eval_general/eval_scope_local/evalscope/metrics/metric.py", line 404, in __call__
    value = float(s.score.value[metric_name])
                  ~~~~~~~~~~~~~^^^^^^^^^^^^^
KeyError: 'turn_3_prompt_level_strict'
[W1208 21:54:21.091689039 AllocatorConfig.cpp:28] Warning: PYTORCH_CUDA_ALLOC_CONF is deprecated, use PYTORCH_ALLOC_CONF instead (function operator()

已修复该问题，请使用main分支代码
Repository: modelscope/evalscope
Issue: 关于evalscope eval参数的问题
Root cause: Documentation Deficiency

您好，我看到evalscope官方最新文档https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html好像去掉了repeats这个参数,请问后续是不打算支持命令行使用evalscope eval repeats=xxx了么？


支持的，我更新一下文档

> 支持的，我更新一下文档

好的！了解，那我这边关闭一下issue。
Repository: modelscope/evalscope
Issue: What if I set `enable=false` in `evalscope/registry/config/cfg_single.yaml`?

Like `reviews_gen` or `rating_gen`? What would happen?

The prediction stage will be skipped if enable=false for specific model like chatglm3-6b, in the same way that could be happened in `review` and `rating` stages. 

The desc of stages:
`answers_gen`: predictions and output answers
`reviews_gen`: to call the judge model like `gpt-4` to get review results
`rating_gen`: to compute ELO score 

Due to a lack of activity for an extended period, we will be closing this issue. If you have any questions, please feel free to reopen it. If EvalScope has been helpful to you, we would appreciate a STAR as a form of support. Thank you!
Repository: modelscope/evalscope
Issue: 支持输出字典结构的内容中，各个字段的细粒度打分么
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。
Repository: modelscope/evalscope
Issue: 支持输出的字典内容中，各个字段的细粒度打分么？
Root cause: Documentation Deficiency

如果用待测评的情况是，输入为图片，输出为一个字典。需要获取字典中每一个字段的准确率，而不是整个字典有一个正误的判断。那么用evalscope来测评是否支持呢？看起来给的示例，都是将一个测试数据的一整条输出，作为打分的最小单位。

支持的，但你需要自行实现评测逻辑：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/add_benchmark.html 。可以参考evalscope/benchmarks/ifeval/ifeval_adapter.py ，每个数据有4个指标
Repository: modelscope/evalscope
Issue: evalscope perf 如何支持视频数据集的压测
Root cause: Documentation Deficiency

evalscope perf 如何支持视频数据集的压测呢？比如使用 evalscope perf + Video-MME 数据集来压测。我没有找到相关的文档和示例。

这个需要你自定义压测使用的数据集，需为你模型服务api接受的格式，参考 https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/custom.html#id3
Repository: modelscope/evalscope
Issue: 未来是否有计划支持对 embedding/reranker 模型 性能/指标 的评估
Root cause: Documentation Deficiency

未来是否有计划支持对 embedding/reranker 模型 性能/指标 的评估

有~  RAG相关的评估链路预计在最近两个迭代内会支持，估计会分步进行，一个是增加评价指标和方法 单独对embedding、reranker等进行评估，另一个是结合modelscope swift进行训练后评估。

现在已经支持embedding/reranker模型评估，也支持RAG端到端的评估，请参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/rageval_backend/index.html#
Repository: modelscope/evalscope
Issue: bug of nltk or evalscope in ifbench evaluation?
Root cause: Configuration Error

It is a very big mistake with less consideration. In some offline GPU services, it keeps downloading the latested punkt_tab even the package has been downloaded in `root/nltk_data`. I mean, it have when I firstly evaluate ifbench via evalscope. It was like this, and the evaluation worked.

<img width="980" height="434" alt="Image" src="https://github.com/user-attachments/assets/cc93cf63-667c-45c5-ab4e-4c238a0529d8" />

However, when I immediately restarted evaluation, such things happened again! And sometimes, when the network wasn't that good, it fails even though I didn't change anything! 

I have found the essential bug with little consideration! 详情  #1072
Repository: modelscope/evalscope
Issue: 重大bug，ifbench的punkt_tab下载逻辑是非常欠考虑的！
Root cause: Validation Gap

非常重大的bug！非常欠考虑！
比如在 https://github.com/modelscope/evalscope/blob/main/evalscope/benchmarks/ifbench/instructions.py#L238
存在大量的nltk.download('punkt_tab')，导致每次其实本地已经下载好了，路径全对。在linux机器上，每次还会存在大量的强行download的情况！如果机器网络不好，直接pending！或者说，如果我是离线机器，即使我把NLTK_DATA的数据全部准备完成，都会出现punk_tab的问题。

我现在把这些nltk.download全部注释掉，可以完美测评！

我觉得这个设计，非常不考虑实际生产环境下，很多服务器是没法联网的！我能说定位这个问题，花费了3天吗！
Repository: modelscope/evalscope
Issue: Evalscope App 针对General Mcq 没办法展示subset
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

Evalscope App 针对General Mcq 没办法展示subset。主要是针对自定义的数据（需要用到genear_mcq），然后没法把各个subset展示为雷达图的各个角。

<img width="1157" height="811" alt="Image" src="https://github.com/user-attachments/assets/37564c91-81d1-4690-bbb5-b58f50b37fe6" />
Repository: modelscope/evalscope
Issue: 测试单请求单输出时，Output token throughput （系统输出吞吐）（tokens/s）和Total token throughput指标返回不正确
Root cause: Algorithmic Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。
在测试单请求单输出时，Output token throughput （系统输出吞吐）（tokens/s）和Total token throughput（系统总吞吐）（tokens/s）指标返回不正确，返回的是总值，不是除以耗时的速率

## EvalScope 版本（必填）
v1.3.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [Y] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


请提供一下运行的命令，具体的case和返回的结果