zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 自定义数据集的时候assistant prompt在哪里可以添加
Root cause: Documentation Deficiency


## 问题描述

在自定义数据集的时候，我知道system prompt如何添加(可以在model的配置里添加)，想问一下assistant prompt在哪里添加呢 (而且我的assistant prompt是个变量，需要根据RAG返回的信息进行包装)，这种情况应该在哪里添加呢

## EvalScope 版本（必填）
v0.17.0



请问你使用的具体是哪种自定义的数据集，general qa吗？

> 请问你使用的具体是哪种自定义的数据集，general qa吗？

多模态的 VQA，一张图片，一个提问和一段返回的answer

1. 你是参考的这个教程自定义的吗：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset/vlm.html#vqa 如果是的话，只支持文中所述的格式。

2. 你也可以参考general_qa的方式来构造messages，支持多轮对话格式： https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset/llm.html#qa

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 自定义数据的时候请求体key-value组织问题
Root cause: Unimplemented Feature Gap


## 问题描述

多模态普通VQA形式的自定义测试集，在编写请求体的时候注意到evalscope只是支持 'type': text, 'value': 'query' 的形式，打印最终的请求体，里面会有多个并列的'type': text, 'value': 'xxx'结构，那么怎么区分哪个text是system(这个可以通过配置model传参解决)，哪个text是user呢

## EvalScope 版本（必填）
v0.16.1


自定义VQA还不支持多轮对话的格式
Repository: modelscope/evalscope
Issue: 请问怎么传入一个model而不是一个model_id？
Root cause: Documentation Deficiency

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Qwen3/Qwen3-4B"
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_path)

即传入model对象。

你可以传模型的本地路径，参考这个例子：https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id13

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: enable_thinking参数在server_adapter中不起作用
Root cause: Configuration Error

你好，请问在进行server进行推理的时候，设置'chat_template_kwargs': {'enable_thinking': False}还是会进入thinking mode，应该如何解决？看了一下server_adapter是用的openai chat.completion，可能没有使用apply_chat_template。谢谢！

请问你使用的server使用的是什么框架？测试的模型是哪个？

参考这里：https://qwen.readthedocs.io/en/latest/deployment/vllm.html#thinking-non-thinking-modes

> 请问你使用的server使用的是什么框架？测试的模型是哪个？
> 
> 参考这里：https://qwen.readthedocs.io/en/latest/deployment/vllm.html#thinking-non-thinking-modes

我用的是SGLang，测评Qwen3-32b，设置了"chat_template_kwargs": {"enable_thinking": false}，但还是在thinking。所以目前我是在messages里手动加了'\no think' token，不知道有没有更好的方案？

参考这个文章的示例，能成功发送no think的请求吗： https://qwen.readthedocs.io/en/latest/deployment/sglang.html#thinking-non-thinking-modes

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: MTEB两阶段评估是否支持API模式
Root cause: Unimplemented Feature Gap


rerank模型的调用方式为：
curl XXXX/rerank -X POST -d '{"query":"What is Deep Learning?", "texts": ["Deep Learning is not...", "Deep learning is..."]}' -H 'Content-Type: application/json'

模型配置为：
'model': [
                {
                    'model_name': 'bge-m3',
                    'api_base': 'http://xxxx',
                    'is_cross_encoder': False,
                    "pooling_mode": 'cls',
                    'api_key': 'xxx',
                    'max_seq_length': 1024,
                    'dimensions': 1024,
                    'encode_kwargs': {
                        'batch_size': 32,
                    },
                },
                {
                    'model_name': 'bge-reranker-v2-m3',
                    'api_base': 'http://xxxx',
                    'api_key': 'xxx',
                    'is_cross_encoder': True,
                    'max_seq_length': 1024,
                    'prompt': '为这个问题生成一个检索用的表示',
                    'encode_kwargs': {
                        'batch_size': 32,
                    }
                }
            ],
报错：
2025-07-22T05:57:30.004137Z ERROR openai_embed:embed_pooled{truncate=false truncation_direction=Right prompt_name=None normalize=true}: text_embeddings_core::infer: core/src/infer.rs:315: Model is not an embedding model
rerank模型配置为本地模型可以运行

rerank模型不支持API模式

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 使用service模式调用模型API服务推理时，模型的上下文窗口大小由什么参数控制？

根据手册，max_tokens是输出长度控制，如何控制总体长度？

<img width="1483" height="969" alt="Image" src="https://github.com/user-attachments/assets/35a8f62c-a780-44ee-84a9-8b22da1df957" />

如果是vLLM的话，启动时有--max-model-len 参数： https://docs.vllm.ai/en/v0.7.2/serving/engine_args.html

> 如果是vLLM的话，启动时有--max-model-len 参数：https://docs.vllm.ai/en/v0.7.2/serving/engine_args.html

明白 就是说evalscope在vllm-server调用过程中不进行额外的长度控制是吗 vllm原生server调用有提供这个参数

是的evalscope不控制上下文长度

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 数据集缺失
Root cause: Unimplemented Feature Gap

codeforces,
swe-bench verified,
tau2-bench,
livecode-bench-v6,
swe-bench multilingual,
mmmlu,
multi-if,
mgsm,
ace-bench

以上数据集都不支持，但是前沿技术报告都有评测结果
Repository: modelscope/evalscope
Issue: 离线测试livecodebench，predict进度一直为0
Root cause: Resource Mishandling

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

离线测试livecodebench时，predict进度一直为0。已确认过发送和接受请求是正常的，在evalutor.py中定位到程序卡在line193-197
```python
for future in as_completed(futures):
    answer_ds: List[dict] = future.result()
    answers_list.extend(answer_ds)
    dump_jsonl_data(answer_ds, pred_file_path, dump_mode=DumpMode.APPEND)
    pbar.update(len(answer_ds)
```
之前的流程都可正常跑通

## EvalScope 版本（必填）
v2.0.0

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

```shell
evalscope eval \
    --model ${MODEL} \
    --api-url http://${MASTER_IP}:${PROXY_PORT}/v1 \
    --api-key EMPTY \
    --datasets live_code_bench \
    --dataset-args '{"live_code_bench": {"local_path": "'${datapath_live_code_bench}'", "subset_list":["default"], "filters": {"remove_until": "</think>"}}}' \
    --eval-type service \
    --eval-batch-size ${BATCH_SIZE} \
    --work-dir "./outputs/${timestamp}/live_code_bench" \
    --generation-config '{"max_tokens":"20480", "temperature":"0.5", "top_p":"0.95"}' \
    --stream \
    --timeout 60000 \

```
所有参数均保证正确

## 错误日志

无报错，仅predict卡死在0进度





这个是已知问题，暂时无法完全解决 #449 

我看到这个相关issue了，但那个是predict正常，到review才出现的问题。但我现在连predict都有问题，这两个是同一个问题么？

> 我看到这个相关issue了，但那个是predict正常，到review才出现的问题。但我现在连predict都有问题，这两个是同一个问题么？

测试的模型推理速度如何，降低max_tokens能否正常返回

返回是正常的，在evaluator.py的类方法_get_answer（线程执行的方法）中进行结果打印，可以看到模型的返回内容。
即如下代码中第一个循环正常，_get_answer方法也正常有返回，但无法进入第二个循环
``` python
for input_prompt in prompts_list:
    futures.append(executor.submit(self._get_answer, [input_prompt], subset_name, infer_cfg))
for future in as_completed(futures):
    answer_ds: List[dict] = future.result()
    answers_list.extend(answer_ds)
    dump_jsonl_data(answer_ds, pred_file_path, dump_mode=DumpMode.APPEND)
    pbar.update(len(answer_ds))
```
此外我也离线测过ifeval，gpqa，math500，aime24这些测试集，都是正常的，目前只有在测livecodebench出现了这个问题

使用 v1.0.0 版本是否还有这个问题

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: Clip_Benchmark如何评估验证集的结果？
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

无法评估各个数据集的在验证集上的结果

## EvalScope 版本（必填）
v2.0.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [x] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

from evalscope.run import run_task

task_cfg = {
    "work_dir":"outputs/clip_benchmark",
    "eval_backend": "RAGEval",
    "eval_config": {
        "tool": "clip_benchmark",
        "eval": {
            "models": [
                {
                    "model_name": "360zhinao/fg-clip-base"
                }
            ],
            "dataset_name": ["mscoco_captions2017"],
            "split": "valid",
            "batch_size": 128,
            "num_workers": 1,
            "verbose": True,
            "skip_existing": False,
            "limit": 1000,
        },
    },
}
run_task(task_cfg=task_cfg)


## 错误日志

raise FileNotFoundError(f'Failed to read {fname}: {e}')
FileNotFoundError: Failed to read https://modelscope.cn/datasets/clip-benchmark/wds_mscoco_captions2017/resolve/master/val/nshards.txt: 404 Client Error:  for url: https://modelscope.cn/datasets/clip-benchmark/wds_mscoco_captions2017/resolve/master/val/nshards.txt

## 运行环境

- 操作系统：
- Python版本：3.10.18

## 其他信息
使用"split": "valid"和"split": "val"都会报这个错误，请问该怎么设置成验证集呢？
Repository: modelscope/evalscope
Issue: 评测基准可以增加安全/合规相关测试数据集吗
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

增加内置的安全/合规测试数据集 

## 需求背景 / Background

安全/合规测试是大模型测试中一个重要环节

## 预期行为 / Expected Behavior

增加跟其他的知识水平测试、逻辑推理测试数据集一样的支持

## 其他信息 / Additional Information

还有其他相关信息吗？ / Any other relevant information?
Repository: modelscope/evalscope
Issue: unrecognized arguments: --swanlab-api-key --name
Root cause: Documentation Deficiency

## Self-Check List

Before submitting an issue, please ensure you have completed the following steps:
- [X] I have carefully read the [relevant user documentation](https://evalscope.readthedocs.io/en/latest/get_started/parameters.html)
- [X] I have reviewed the [Frequently Asked Questions](https://evalscope.readthedocs.io/en/latest/get_started/faq.html)
- [X] I have searched and reviewed existing issues to confirm this is not a duplicate problem

## Problem Description

swanlab related arguments don't exist

## EvalScope Version (Required)
v0.17.1

## Tools Used
- [X] Native / Native framework
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / Model inference stress testing tool
- [ ] Arena / Arena mode

## Executed Code or Instructions

```
evalscope eval \
>  --model Qwen/Qwen2.5-0.5B-Instruct \
>  --datasets gsm8k arc \
>  --limit 5 \
>  --swanlab-api-key '你的API Key' \
>  --name 'qwen2.5-gsm8k-arc'
```

## Error Log

``` 
usage: evalscope <command> [<args>]
EvalScope Command Line tool: error: unrecognized arguments: --swanlab-api-key 你的API Key --name qwen2.5-gsm8k-arc
```

## Running Environment

- Operating System:
- Python Version: 3.10.14



The --swanlab-api-key only supports the "perf" command and does not support the "eval" command.

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 【Featrue】限定延迟下测试最高负载QPM
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

在很多业务场景中，可能需要限定固定latency或者固定TTFT测试能够负载的QPM或者QPS，目前evalscope仅支持指定并发数的测评，如果能支持该功能，使用场景会更多。

## 需求背景 / Background

对latency敏感性测评的业务需求

## 预期行为 / Expected Behavior

目前我的想法是测试的时候动态调整并发数，待延迟稳定后保持该并发测试

## 其他信息 / Additional Information

无

已支持SLA自动调优模型API服务，自动测试模型服务在特定时延、TTFT、吞吐量下的最高并发，参考[使用文档](https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/sla_auto_tune.html)

很实用的功能
Repository: modelscope/evalscope
Issue: 文档中的简单示例没法执行：cannot import name 'DEFAULT_CIPHERS' from 'urllib3.util.ssl_' (/data/anaconda3/lib/python3.11/site-packages/urllib3/util/ssl_.py)
Root cause: External Dependency Breakage

python llmuses/run.py --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets trivia_qa limit 2


方便提供一下llmuses版本吗

--limit 2
Repository: modelscope/evalscope
Issue: 使用自定义数据集进行 T2I 评测时报错
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

当我使用自定义数据集评测T2I任务时，是否只能指定
```
datasets=["general_t2i", ]
```
我希望运行结果中的 Dataset 字段能够显示为我自定义的数据集名称，例如 coco2017，而不是 general_t2i。

## EvalScope 版本（必填）
v2.0.0

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

Exception: Unknown benchmark: coco2017. Available tasks: ['maritime_bench', 'gpqa', 'arc', 'hellaswag', 'docmath', 'mmlu', 'mmlu_pro', 'bfcl_v3', 'tau_bench', 'needle_haystack', 'gsm8k', 'ceval', 'general_i2i', 'evalmuse', 'genai_bench', 'general_t2i', 'tifa160', 'hpdv2', 'process_bench', 'math_500', 'arena_hard', 'data_collection', 'alpaca_eval', 'cmmlu', 'super_gpqa', 'musr', 'tool_bench', 'drop', 'general_mcq', 'humaneval', 'winogrande', 'iquiz', 'trivia_qa', 'hle', 'chinese_simpleqa', 'general_arena', 'aime25', 'aime24', 'simple_qa', 'live_code_bench', 'general_qa', 'competition_math', 'frames', 'bbh', 'truthful_qa', 'mmlu_redux', 'ifeval', 'race']

## 运行环境

- 操作系统：
- Python版本：3.10.18

## 其他信息

如果有其他相关信息，请在此处提供。


输出结果表格中 Dataset 字段不能修改，但你可以通过修改 example.jsonl 的文件名，来修改Subset字段的显示

请问我该如何同时测试多个自定义的数据集呢

这样配置，写多个jsonl文件，local path指定到目录这一级：
```python
dataset_args={
    'general_t2i': {
        "local_path": "custom_eval/path",  # 自定义数据集路径
        "subset_list": [
            # 评测数据集名称，上述 *.jsonl 中的 *，可配置多个子数据集
            "example",
            "coco",
        ]
    }
},
```

好的，十分感谢！

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 要额外安装一堆依赖，wiki文档里为啥不写呀？或者在pip install的时候为啥不自动同时安装呀？
Root cause: Documentation Deficiency

在执行pip install evalscope之后，还要至少手工pip install下面这些包，才能运行，不然会报错找不到模块

uvicorn、fastapi、sse_starlette、rich



官网wiki有问题：
https://evalscope.readthedocs.io/zh-cn/latest/get_started/installation.html

里面有相关介绍，使用perf模块需要运行：
```
pip install 'evalscope[perf]'          # 安装 模型压测模块 依赖
```

> 里面有相关介绍，使用perf模块需要运行：
> 
> ```
> pip install 'evalscope[perf]'          # 安装 模型压测模块 依赖
> ```

没有这些依赖就无法运行，这是必选项，不应该作为可选项

不安装这些依赖模型评测eval是可以正常运行的，perf模块会报错

文档已更新

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: Chunk too big
Root cause: Configuration Error

使用evalscope pref测试时，提示 Chunk too big。是测试的上下文太大不支持嘛？有解决方法嘛？

![Image](https://github.com/user-attachments/assets/4e02c2cb-0565-4480-86b1-a6c2036e72c2)

看你的配置中 min_prompt_length 是 40960，这个可能是你的模型服务不支持，我这边复现不了这个问题

> 看你的配置中 min_prompt_length 是 40960，这个可能是你的模型服务不支持，我这边复现不了这个问题

我测的是MindIE输出，在流式输出的最后一条data数据内会汇总decode time以及完整内容，导致数据过长已无法解析。

MindIE 应该有相关的配置，让每个chunk是增量输出，而不是返回完整的内容
Repository: modelscope/evalscope
Issue: unstructured处理文档总是报错文档太短不能处理
Root cause: Validation Gap

unstructured处理文档总是报错文档太短不能处理，能提供一个长度合适的中文文档数据集吗？我尝试了README_zh.md也无法处理。


这个RAGAS工具需后续再更新版本进行统一处理

> 这个RAGAS工具需后续再更新版本进行统一处理

那RAGAS目前该怎么样使用好的原始数据文本进行测试集生成，可以提供建议吗？还是这个工具目前暂时还不能使用？
Repository: modelscope/evalscope
Issue:  llmuses 0.3.2   执行自带的数据集报错：ImportError: cannot import name '_datasets_server' from 'datasets.utils' (/data/anaconda3/envs/eval-scope/lib/python3.10/site-packages/datasets/utils/__init__.py)
Root cause: External Dependency Breakage

 python -m llmuses.run --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets trivia_qa limit 2


报错是ModuleNotFoundError: No module named 'llmuses.benchmarks.limit'吗？

--limit 2

![image](https://github.com/user-attachments/assets/0d2c2a84-4eca-4d3a-8db6-269a2e8acc57)
 python -m llmuses.run --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets trivia_qa --limit 2

bbh  这个数据集执行也是上面的报错

这边测试环境:
python 3.10
modelscope 1.16.0
git clone https://github.com/modelscope/eval-scope.git
cd eval-scope/
pip install -e .


环境是一样的：
modelscope Version: 1.16.0
llmuses  0.4.0
![image](https://github.com/user-attachments/assets/428eba89-67bd-4409-ba10-d61ac0c60948)


 python llmuses/run.py --model qwen/Qwen2-7B-Instruct --template-type qwen --datasets arc  --dataset-hub Local --dataset-args '{"arc": {"local_path": "/root/eval-scope/data/arc"}}' --dataset-dir /root/eval-scope/data/


浮点数例外这个报错貌似和你的环境有关，尝试运行下面例程检测一下：
```python
from modelscope import AutoModelForCausalLM, AutoTokenizer
import torch


device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "qwen/Qwen2-7B-Instruct",
    torch_dtype=torch.float16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen2-7B-Instruct")

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
```

![image](https://github.com/user-attachments/assets/98603590-e6b7-4513-8092-fdcc38fdb1b9)


显卡支持bf16吗

果然是环境的问题，请问支持访问部署好的模型吗？比如远程部署了大模型，怎么通过地址来评测这个大模型

下面测试用了vllm部署的模型，换成你的url、model以及dataset_path，可以先用curl测试远程部署的大模型。
```shell
llmuses perf --url 'http://127.0.0.1:8000/v1/chat/completions' --parallel 1 --model '/mnt/workspace/qwen2-7b-instruct/qwen/Qwen2-7B-Instruct' --log-every-n-query 10 --read-timeout=120 --dataset-path '/mnt/workspace/HC3-Chinese/open_qa.jsonl' -n 50 --max-prompt-length 128000 --api openai --stream --dataset openqa
```

谢谢，我试了上面的方法是可以通的，不过这个是测性能的吧，对模型结果验证需要怎么做呢？用自带的数据集或者自定义数据集验证模型的能力，模型在远端机器部署着
Repository: modelscope/evalscope
Issue: 框架支持judge_strategy 扩展吗
Root cause: Unimplemented Feature Gap

该框架支持judge_strategy 扩展吗
## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


import os
from evalscope import TaskConfig, run_task
from evalscope.constants import EvalType

# 1. 定义「跳过违规用例」的自定义 Judge 策略（需框架支持扩展）
def custom_judge_strategy(results, **kwargs):
    for case_result in results:
        if "data_inspection_failed" in str(case_result.get("error")):
            case_result["status"] = "skipped"  # 标记为跳过，不中断流程
    return results

task_cfg = TaskConfig(
    model='gpt-4o',
    api_url='https://api.chatanywhere.tech/v1',
    api_key=os.getenv('API_KEY'),
    eval_type=EvalType.SERVICE,

    datasets=['general_qa'],  
    dataset_args={
        'general_qa': {
            "local_path": "/root/autodl-tmp",  
            "subset_list": ["example"]  
        }
    },

    # 2. 注入自定义错误处理策略（需框架支持 `judge_strategy` 扩展）
    judge_strategy=custom_judge_strategy,  
)

run_task(task_cfg=task_cfg)
Repository: modelscope/evalscope
Issue: 多模态模型评测结果不对
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v0.17.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [√] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令
config.yaml

<img width="992" height="511" alt="Image" src="https://github.com/user-attachments/assets/9b8b4475-776d-44fe-97af-fb9f092b48b1" />
执行脚本

<img width="642" height="157" alt="Image" src="https://github.com/user-attachments/assets/b099efbe-dd26-4588-9c3c-dd64c98278ab" />

请提供您执行的主要代码或指令。

## 错误日志

<img width="2271" height="190" alt="Image" src="https://github.com/user-attachments/assets/7d781840-0b2e-4ece-899d-e493dfa5f301" />

请粘贴完整的错误日志或控制台输出。
结果

<img width="2015" height="188" alt="Image" src="https://github.com/user-attachments/assets/5fccd2d4-d8bc-4c85-9772-52ecfa117b85" />

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


MMMU_TEST不提供标准答案，若要自动评估，使用MMMU_DEV_VAL

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: gsm8k的评测结果异常
Root cause: Validation Gap


+--------------+-----------+-----------------+----------+-------+---------+---------+
| Model        | Dataset   | Metric          | Subset   |   Num |   Score | Cat.0   |
+==============+===========+=================+==========+=======+=========+=========+
| Qwen2.5-7B-1 | gsm8k     | AverageAccuracy | main     |  1319 |  0.0379 | default |
+--------------+-----------+-----------------+----------+-------+---------+---------+ 
这个是官方未经过sft的原版的模型，gsm8k的分数应该在81.5左右，但我反复测试分数都只有0.0几，这是我的测评脚本：
task_cfg = TaskConfig(
    model='Qwen2.5-7B-1',
    api_url='http://127.0.0.1:8805/v1/chat/completions',
    api_key='EMPTY',
    eval_type='service',
    datasets=['gsm8k'],
    eval_batch_size = 32, 
    work_dir = "/mnt/dolphinfs/hdd_pool/docker/user/hadoop-fsprisk/fudesheng/evalscope/scripts/outputs/qwen2.5_7b_baseline/gsm8k",
    dataset_args={
        'gsm8k': {
            "local_path": "/mnt/dolphinfs/hdd_pool/docker/user/hadoop-fsprisk/fudesheng/evalscope/data/gsm8k",
        }

我看了一下模型推理的结果，有些问题出现的频率非常高，例如：
1.答非所问：
原问题是关于Janet的鸭蛋销售收入
模型回答的却是关于水果篮子的问题
无限循环：
2.模型陷入了重复输出的循环
"finish_reason": "length" 表明是因为达到最大长度才停止

目前的框架评测是针对chat模型设计的（SFT后的模型）；基础模型生成内容不会停下，直到设置的最大长度

谢谢您的解答，但是我还是感到疑惑，因为我使用过evalscope其他基准评测集测试过非instruct 模型，也就是qwen2.5-7b，例如HSwag，DROP 这些，与官方的分数比较接近，可能也就一两分的差距，但是使用gsm8k时，只有0.3分，即使我修改了模型的生成参数，例如max tokens，stop 重复惩罚与prompt等等，也仍然只有28分😭 ，这是为什么呢

这个跟框架抽取答案的方式有关，对于gsm8k是抽取最后ANSWER中的内容，如果模型没有按照格式解答的话，答案就抽取不到，导致得分低。

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 文档中对--number参数的定义存在歧义
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

关于evalscope perf工具的--number参数的含义，在文档的两处地方有不同的表述
[快速开始](https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/quick_start.html)这里描述--numbers是每个并发请求的数量，但是在[参数描述](https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html)中，描述--number是发出的请求的总数量。

例如--parallel 10 --number 10 的情况下，应该是总共发出10*10个请求，还是总共发出10个请求？


以下是两处地方的截图
<img width="999" height="204" alt="Image" src="https://github.com/user-attachments/assets/554ab0ed-4778-4b00-90c7-478c49ea546c" />

<img width="1098" height="282" alt="Image" src="https://github.com/user-attachments/assets/60eec3d1-b5f3-4ce6-bafb-d5a4239c6942" />


## EvalScope 版本（必填）
latest

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

无

## 错误日志

无


此处我修改一下，--number是发出的请求的总数量，例如 --parallel 10 --number 10 的情况下，是总共发出10个请求

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 在evalscope如何中快速自定义RAGAS其他测评指标，想要自定义更多指标
Root cause: Unimplemented Feature Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

在evalscope如何中快速自定义RAGAS其他测评指标，想要自定义更多指标

## EvalScope 版本（必填）
v0.17.1

## 使用的工具
- [ ] Native / 原生框架
- [✅ ] RAGEval backend


## 其他信息

如果有其他相关信息，请在此处提供。


RAGEval 还不支持自定义评测指标