zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 压测的时候，我提高parallel参数就报这个错误
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
```bash
This error occurs when:
1. The API response does not contain usage data, AND
2. No tokenizer has been specified or found.

To resolve this issue, do ONE of the following:
a) Ensure that the API you're using supports and returns usage information, OR
b) Specify a tokenizer using the `--tokenizer-path` parameter.

If you continue to experience issues, please open an issue on our GitHub repository https://github.com/modelscope/evalscope .
Traceback (most recent call last):
  File "/usr/local/lib/python3.11/site-packages/evalscope/perf/utils/handler.py", line 17, in async_wrapper
    return await func(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/evalscope/perf/benchmark.py", line 167, in statistic_benchmark_metric_worker
    metrics.update_metrics(benchmark_data, api_plugin)
  File "/usr/local/lib/python3.11/site-packages/evalscope/perf/utils/benchmark_util.py", line 89, in update_metrics
    benchmark_data._calculate_tokens(api_plugin)
  File "/usr/local/lib/python3.11/site-packages/evalscope/perf/utils/benchmark_util.py", line 45, in _calculate_tokens
    api_plugin.parse_responses(self.response_messages, request=self.request)
  File "/usr/local/lib/python3.11/site-packages/evalscope/perf/plugin/api/openai_api.py", line 125, in parse_responses
    input_tokens, output_tokens = self.__calculate_tokens_from_content(request, delta_contents)
                                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/evalscope/perf/plugin/api/openai_api.py", line 164, in __calculate_tokens_from_content
    raise ValueError('Error: Unable to retrieve usage information\n\n'
ValueError: Error: Unable to retrieve usage information

This error occurs when:
1. The API response does not contain usage data, AND
2. No tokenizer has been specified or found.

To resolve this issue, do ONE of the following:
a) Ensure that the API you're using supports and returns usage information, OR
b) Specify a tokenizer using the `--tokenizer-path` parameter.

```


## EvalScope 版本（必填）
0.13.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


请使用最新版的evalscope，并在启动命令中加上`--debug`来观察控制台输出

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: When evaluating the BGE-Code-v1 model using the CoIR dataset, why is the result in the Apps section so poor？
Root cause: Configuration Error

## Problem Description

When evaluating the BGE-Code-v1 model using the CoIR dataset, why is the result in the Apps section so poor, only around 20? （https://modelscope.cn/models/BAAI/bge-code-v1/summary）Below are the main configurations. The results are the same whether using the official CoIR library or the evalscope library. Is there anything wrong?

## EvalScope Version (Required)
v0.16.0

## Tools Used
- [ ] Native / Native framework
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [√ ] RAGEval backend
- [ ] Perf / Model inference stress testing tool
- [ ] Arena / Arena mode

## Executed Code or Instructions

```
from evalscope.run import run_task

one_stage_task_cfg = {
    "work_dir": "outputs",
    "eval_backend": "RAGEval",
    "eval_config": {
        "tool": "MTEB",
        "model": [
            {
                "model_name_or_path": "bge-code-v1",
                "pooling_mode": "lasttoken",		
                "max_seq_length": 512,
                "prompt": "<instruct>Given a code contest problem description, retrieve relevant code that can help solve the problem.\n<query>",
                "model_kwargs": {"torch_dtype": "auto"},
                "encode_kwargs": {
                    "batch_size": 128,
                },
            }
        ],
        "eval": {
            "tasks": [
                "AppsRetrieval",
            ],
            "verbosity": 2,
            "overwrite_results": True,
            "top_k": 10,
        },
    },
}

run_task(task_cfg=one_stage_task_cfg) 
```


有个可能的原因是：在配置eval_config里设置了Prompt，但仍然提示诸如这样的日志：mteb.models.sentence_transformer_wrapper - INFO - No model prompts found for task=CodeFeedbackST prompt_type=query


如果evalscope结果和coir结果一致，那可能是模型配置有问题，建议看一下官方的设置，比如修改 max_seq_length

> 如果evalscope结果和coir结果一致，那可能是模型配置有问题，建议看一下官方的设置，比如修改 max_seq_length

我尝试修改过max_seq_length的长度，随着长度增加，评估结果是有一点提升，但仍有很大差距。应该不是这个问题。我看日志提示没有设置Prompt，好像在配置里设置不生效的。

mteb这部分正在修改，需要兼容最新版本

我更新了代码，测试了一下bge-code-v1这个模型，得到的结果也差不多是 20多分，可能还是模型配置哪里有问题

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: FRAMES/Codeforces/CNMO  dataset eval
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

support some dataset describe in deepseek-r1：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/README.md?plain=1#L118


- FRAMES dataset
  - https://zhuanlan.zhihu.com/p/735394464
  
- Codeforces
- CNMO 2024

最新版v0.16.1已支持该数据集
Repository: modelscope/evalscope
Issue: 评估指标原理

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

score的计算原理是什么？

## EvalScope 版本（必填）
v0.16.0

## 使用的工具
- [x] Native / 原生框架

## 执行的代码或指令

from evalscope import TaskConfig, run_task


if __name__ == '__main__':
    task_cfg = TaskConfig(
        model='Qwen/Qwen3-32B',
        api_url="https://api-inference.modelscope.cn/v1/chat/completions",
        api_key='xxx',
        # api_url='http://127.0.0.1:8801/v1/chat/completions',
        eval_type='service',
        datasets=[
            'data_collection',
        ],
        dataset_args={
            'data_collection': {
                'dataset_id': 'modelscope/EvalScope-Qwen3-Test',
            }
        },
        eval_batch_size=128,
        generation_config={
            'max_tokens': 16380,  # 最大生成token数，建议设置为较大值避免输出截断
            'temperature': 0.7,  # 采样温度 (qwen 报告推荐值)
            'top_p': 0.8,  # top-p采样 (qwen 报告推荐值)
            'top_k': 20,  # top-k采样 (qwen 报告推荐值)
            'n': 1,  # 每个请求产生的回复数量
            'chat_template_kwargs': {'enable_thinking': False}  # 关闭思考模式
        },
        timeout=60000,  # 超时时间
        stream=True,  # 是否使用流式输出
        limit=5,  # 设置为1000条数据进行测试
    )

    run_task(task_cfg=task_cfg)

## 错误日志

无

## 运行环境

- 操作系统：macos
- Python版本：3.10

## 其他信息
请问下，上述代码，输出的score，具体是如何计算的呢？是否有说明文档


可以通过这个文档来了解一下整个流程：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/add_benchmark.html#id1

具体的score分数计算建议参考源代码 https://github.com/modelscope/evalscope/blob/main/evalscope/metrics/named_metrics.py

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！

所以socre的含义可以简单说明一下吗
Repository: modelscope/evalscope
Issue: 使用模型性能压测工具 提前结束压测并输出结果
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

使用模型性能压测工具 我设置了3000请求 跑到2000请求后结束了

## EvalScope 版本（必填）
v0.16.0

## 使用的工具
- [ ] Perf / 模型推理压测工具


## 执行的代码或指令

evalscope perf \
    --url "http://xxx/v1/completions" \
    --parallel 80 \
    --model deepseek-r1 \
    --log-every-n-query 20 \
    --dataset line_by_line \
    --dataset-path /path \
    --connect-timeout 300000 \
    --read-timeout 300000 \
    --api openai \
    --number 3000 \
    --stream


## 错误日志


Processing:  67%|███████████████████████████████▎               | 2000/3000 [34:30<17:15,  1.04s/it]
2025-05-30 04:21:25,577 - evalscope - INFO - 
Benchmarking summary:
+-----------------------------------+-----------+
| Key                               |     Value |
+===================================+===========+
| Time taken for tests (s)          | 2070.64   |
+-----------------------------------+-----------+
| Number of concurrency             |   80      |
+-----------------------------------+-----------+
| Total requests                    | 2000      |
+-----------------------------------+-----------+
| Succeed requests                  | 2000      |
+-----------------------------------+-----------+

## 运行环境

- 操作系统：
- Python版本：3.10.0

## 其他信息

如果有其他相关信息，请在此处提供。


请问你提供的路径里数据有多少条，是否少于3000

> 请问你提供的路径里数据有多少条，是否少于3000

啊 问题解决了 谢谢 
顺便想问一下压测是没有那个 app 可视化的吗

压测不支持app可视化，但可以用wandb和swanlab来可视化，参考 https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/quick_start.html#id6

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: limit参数，浮点数情形时，表示百分比
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description
- 当前limit参数只能是整数，表示测试数据集的前limit个样本
- 考虑limit参数为[0,1]浮点数时，表示测评数据集总量*limit个样本
- 参考lm_eval：https://github.com/EleutherAI/lm-evaluation-harness/blob/8bc4afff22e73995883de41018388428e39f8a92/lm_eval/__main__.py#L141

新版本v0.16.1已支持该功能

good work.
Repository: modelscope/evalscope
Issue: 加载本地math_500数据报错
Root cause: Validation Gap

## 问题描述
math_500数据从http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/math.zip下载
指定local_path到已下载的数据，测试会报错


## EvalScope 版本（必填）
0.16.0

## 测试脚本：

```
from evalscope import TaskConfig, run_task
def run_eval(model, port):
    task_config = TaskConfig(
        api_url=f'http://127.0.0.1:{port}/v1',
        model=f'{model}',  
        eval_type='service',  
        datasets=['math_500'],
        dataset_args={
            'math_500': {
                'local_path': '/raid/data/AI-ModelScope/MATH-500/test.jsonl',   
            }
            },
        dataset_dir="/raid/data/",
        eval_batch_size=32,  
        generation_config={
            'max_tokens': 14000,  
            'temperature': 0.6, 
            'top_p': 0.95,  
            'top_k': 40, 
            'n': 1,  
        },
    )
    run_task(task_config)

def main():
    model = "DIS-Llama-70B-fp8"
    port = 30001
    run_eval(model, port)

if __name__ == "__main__":
    main()

```
## 错误日志
math_500 报错信息见math.log


[math.log](https://github.com/user-attachments/files/20533803/math.log)


math500的math_500_adapter.py里没有实现load_from_disk

解决了，local_path指向test_prm800k_500.jsonl文件就可以了
Repository: modelscope/evalscope
Issue: clip_benchmark脚本报错：FileNotFoundError: Failed to retreive data
Root cause: Algorithmic Error

**平台**：Windows10

**脚本内容如下：**
`from evalscope.run import run_task

task_cfg = {
    "work_dir": "outputs",
    "eval_backend": "RAGEval",
    "eval_config": {
        "tool": "clip_benchmark",
        "eval": {
            "models": [
                {
                    "model_name": "AI-ModelScope/chinese-clip-vit-large-patch14-336px",
                }
            ],
            "dataset_name": ["flickr8k"],
            "split": "test",
            "batch_size": 128,
            "num_workers": 1,
            "verbose": True,
            "skip_existing": False,
            "cache_dir": "cache",
            "limit": 1000,
        },
    },
}

run_task(task_cfg=task_cfg)`

**报错信息如下：**

![Image](https://github.com/user-attachments/assets/2ffbefaa-c8d2-41d9-aecd-64f3df3da2c1)



已修复，可以使用main分支代码再测试一下

`https://github.com/modelscope/evalscope/blob/f5465182c15589e8fac7db4720f3d0fee88f3ffd/evalscope/backend/rag_eval/clip_benchmark/dataset_builder.py#L216`
如果是Windows并且是网址的话，os.path.join将会拼接出类似：https://modelscope.cn/datasets/clip-benchmark/wds_flickr8k/resolve/master\\test\\nshards.txt
在进入[read_txt函数](https://github.com/modelscope/evalscope/blob/cbaef6b7965d1056cc185ebc363cbcad34ac493d/evalscope/backend/rag_eval/clip_benchmark/dataset_builder.py#L192)时，依然会报错。

**下面是可能的办法：**
if metadata_dir.startswith('http'):
    from urllib.parse import urljoin  # 额外的导入
    nshards_fname = urljoin(metadata_dir + '/', f'{split}/nshards.txt')
else:
    nshards_fname = os.path.join(metadata_dir, split, 'nshards.txt')

@qiuchen001 非常欢迎你提交一个PR来修复这个问题，我这边没有windows的测试环境，thanks！

对这个问题又进行了修复，可以用main分支代码再试一下

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: Model adapter 'continuous_logits' is not registered
Root cause: Unimplemented Feature Gap

## Executed Code or Instructions

CUDA_VISIBLE_DEVICES=0 \
evalscope eval \
    --model ms-swift/output/v4/checkpoint-312 \
    --datasets truthful_qa \
    --limit 1 

## Error Log

  File "R1/evalscope/evalscope/run.py", line 44, in run_single_task
    result = evaluate_model(task_cfg, outputs)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "R1/evalscope/evalscope/run.py", line 122, in evaluate_model
    evaluator = create_evaluator(task_cfg, dataset_name, outputs, base_model)
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "R1/evalscope/evalscope/run.py", line 171, in create_evaluator
    model_adapter = initialize_model_adapter(task_cfg, data_adapter, base_model)
                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "R1/evalscope/evalscope/models/adapters/base_adapter.py", line 73, in initialize_model_adapter
    model_adapter_cls = get_model_adapter(model_adapter_cls_str)
                        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "evalscope/evalscope/models/register.py", line 29, in get_model_adapter
    raise ValueError(
ValueError: Model adapter 'continuous_logits' is not registered. Available model adapters: ['base', 'generation', 'logits', 'multiple_choice_logits', 'custom', 'server', 'image_generation']

# Version
Current main version 


已修复该问题，更新main分支代码来测试一下

pypi包有更新吗

pypi包还没发，还得等等。可以先用main分支代码
Repository: modelscope/evalscope
Issue: 自定义数据集只能是csv格式，不能json或jsonl么
Root cause: Unimplemented Feature Gap

![Image](https://github.com/user-attachments/assets/60a434cc-fd3a-4220-ba47-b19206095c97)

暂时只支持csv格式

main分支代码已更新，支持jsonl格式，详情参考：https://evalscope.readthedocs.io/zh-cn/latest/advanced_guides/custom_dataset/llm.html#id2

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: ignore_error参数不生效
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
使用大模型API进行评测时，会出现因为API本身导致的报错，在其他issue中看到可以通过设置ignore_errors=true来跳过。
但在实际使用中发现，在我的自定义数据集上这个参数可以生效，但是在自动生成的数据混合数据集上测试时参数不再生效，依然会以为APi错误而终止评测。

## EvalScope 版本（必填）
v0.16.1

## 使用的工具
- [x]  Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

from evalscope import TaskConfig, run_task  
from evalscope.constants import EvalType  
  
task_cfg = TaskConfig(
    model='qwen2.5-0.5b-instruct',  # API服务模型名称
    # model='Qwen3-4B',  # API服务模型名称
    api_url='https://dashscope.aliyuncs.com/compatible-mode/v1',  # API端点
    # api_url='http://127.0.0.1:8000/v1/chat/completions',
    api_key='',  # 替换为您的API密钥
    eval_type=EvalType.SERVICE,  # 指定为服务评测类型
    # datasets=['data_collection'],  # 混合数据集
    # dataset_args={  
    #     'data_collection': {  
    #         'local_path': 'data/comprehensive_domains_mixed_data.jsonl',
    #         'few_shot_num': 3,
    #         'few_shot_random': False,
    #         # "filters": {"remove_until": "</think>"}
    #     }  
    # }, 
    datasets=['general_mcq'],  # 自定义数据集
    dataset_args={
        'general_mcq': {
            "local_path": "custom_eval/text/mcq",  # 自定义数据集路径
            "subset_list": ["admin","education","finance","legal","medical"],
            'few_shot_num': 3,
            'few_shot_random': False,
            "query_template": "Question: {question}\n{choices}\nAnswer: {answer}",  # 修改后的模板
        },
    },
    eval_batch_size=16,  # API并发请求数  
    timeout= 60000,
    limit=None,  # 限制评测数据量（可选）  
    work_dir= './outputs/qwen2.5-0.5b-instruct-mcq',
    use_cache= './outputs/qwen2.5-0.5b-instruct-mcq', #使用本地缓存的路径
    dry_run= False,
    # debug=True,
    ignore_errors=True,
    generation_config={  
        'temperature': 0.6,  # 生成参数  
        'max_tokens':8192,  
        'top_p': 0.8,
        'top_k': 20,
        'n': 1,
        # 'chat_template_kwargs': {'enable_thinking': False} # 关闭思考模式 
    },
)

# 执行测评  
run_task(task_cfg=task_cfg)  

## 错误日志
使用自定义数据集时可以自动跳过报错数据
![Image](https://github.com/user-attachments/assets/1b4c697e-2ecc-4f8a-bdf1-f80009025edd)
使用混合数据集时无法自动跳过报错数据
![Image](https://github.com/user-attachments/assets/6dd6b5ff-b38e-4035-9db1-851dda8e436c)

## 运行环境

- 操作系统：linux
- Python版本：3.10

## 其他信息

如果有其他相关信息，请在此处提供。


已修复，可以使用main分支代码再测试一下

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 测评结果log日志中不展示完整数据集的精度值
Root cause: Documentation Deficiency

![Image](https://github.com/user-attachments/assets/d33e139d-1f96-43e6-93d0-b4234c4104e9)

- 能否展示整个数据集的精度信息

main分支代码已支持该功能

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 模型已经跑完了 很久才出结果 导致性能评估很糟糕
Root cause: Environment Incompatibility

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

模型已经跑完了 很久才出结果 导致性能评估很糟糕

## EvalScope 版本（必填）
0.16.1

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

evalscope perf  --url 'http://127.0.0.1:8000/v1/chat/completions'  --parallel 50 --model /mnt/nvme1/public-model/Qwen2.5-72B-Instruct/   --number 50  --api openai  --max-tokens 1024  --min-tokens 1024  --max-prompt-length 1024  --min-prompt-length 1024 --prefix-length 0 --stream   --dataset random  --tokenizer-path /mnt/nvme1/public-model/Qwen2.5-72B-Instruct --extra-args '{"ignore_eos": true}'

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：unbunt22.04
海光Hygon C86 7360 24-core Processor
GPU：MetaX N260
- Python版本：3.10.

## 其他信息
会在这里停很久
![Image](https://github.com/user-attachments/assets/b0f3d7bb-cc8b-470f-b6dc-1058fecc70a8)

此时日志和显卡情况：
日志没有滚动 已经停止输出了
![Image](https://github.com/user-attachments/assets/7d624b7e-fa53-4176-874b-dd88a3d35119)

显卡低功率运行 表示模型已经输出
![Image](https://github.com/user-attachments/assets/affdf063-f76a-4bd0-9d06-d75038e26a40)


1. 卡很久是有多长时间，输出的性能指标如何
2. 有尝试降低parallel吗，或者测试多个parallel

指标也是不理想：

![Image](https://github.com/user-attachments/assets/0ba2e4d7-49c5-436b-a245-f7fc7c5d4746)

paralles 为10 是正常的  为20就开始不正常了  

多个parallel 也尝试了  我将number设置为100  会在第一个50的时候卡住   卡完接触后 才开始后面的50个parallel

这个应该不是卡住，50 parallel是有 50个worker来发送请求，服务端会一起处理这50个请求，处理过程中看起来像卡住了。如果减少输出token长度还会卡住吗？

减少了token 一样会卡主  主要是 VLLM 那边已经停止输出token了  但是这边测试工具 还没结束  有点奇怪

是因为用的 国产化CPU吗  

无法复现这个问题，可能是你的环境有问题
Repository: modelscope/evalscope
Issue: 做了个界面化的版本，欢迎star

[https://github.com/justplus/llm-eval](https://github.com/justplus/llm-eval)
数据集管理，尤其是自定义数据集管理至关重要，因此基于evalscope做了个界面化的版本，欢迎star并本地部署给团队使用。

**支持主观题、客观题、RAG的效果评估和性能评估。
对自定义数据集及自定义指标做了基于jinja2的扩展，可以更灵活的使用自定义数据集。**

🎯 评估能力
多基准支持：内置主流评估基准，支持自定义评估标准
智能评分：基于大模型的自动评分系统，支持多种评分策略
数据集管理：支持QA、MCQ、RAG、自定义格式数据集的上传和管理
批量评估：高效的批量评估处理，支持并发执行

📊 性能测试
压力测试：支持并发性能测试，全面评估模型服务性能
指标分析：详细的性能指标统计，包括延迟、吞吐量等关键指标
可视化报告：直观的性能数据展示和分析报告

🛠 管理功能
模型管理：统一管理多个LLM模型，支持API配置和密钥管理
用户权限：完善的用户权限控制，支持多用户协作
结果导出：支持评估结果导出为Excel等格式

🚀 Comming Soon
大模型安全评估(价值观对齐 + prompt诱导)

感谢evalscope框架出色的工作！

Great work!

Great work!

感谢 @Yunnglin pinned~ 即将发布的版本支持了安全测评~~ 

What a nice job!
Repository: modelscope/evalscope
Issue: 🚀功能需求：希望支持用户在本地添加和运行自定义评测基准
Root cause: Documentation Deficiency

## 功能描述 / Feature Description

希望支持用户在本地添加自定义评测基准，允许用户在本地编写的后处理逻辑和打分逻辑，并注册到框架中运行。让用户无需提 PR 就能本地运行和调试自己的评测逻辑。

## 需求背景 / Background

目前 EvalScope 似乎尚不支持用户在本地添加和运行自定义的评测基准。虽然官方提供了通过 Pull Request 贡献评测基准的机制，但该流程主要适用于公开数据，对于包含私有数据或不便公开的数据集来说并不适用。请问目前是否有相关的支持或开发计划？如暂不支持，强烈建议将此功能列入未来的版本规划中。


贡献评测基准 的流程也适用于自行本地开发，后续可以写一个教程

我从 GitHub 克隆了 evalscope 的代码到本地，并自行添加了一个自定义的 benchmark。然而，由于我同时也通过 pip 安装了 evalscope 库，在运行自定义 benchmark 测试时，Python 默认会调用 pip 安装路径下的 evalscope 源代码，而不是我本地修改后的代码。请问这个问题有什么解决方法吗？是否只能直接修改 Python 环境中安装的 evalscope 库文件？

请使用源码方式安装：https://evalscope.readthedocs.io/zh-cn/latest/get_started/installation.html#id2

关键是下面的命令，可以调试代码：
```bash
pip install -e xxx
```
Repository: modelscope/evalscope
Issue: SuperGPQA的Prompt拼接问题
Root cause: Algorithmic Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

在评估 Qwen3-8B 模型在 SuperGPQA 基准上的表现时，我发现生成的 Prompt 中仅包含问题本身，而未包含对应的选项。例如，生成的 Prompt 如下：

{'model': 'Qwen3-8B', 'messages': [{'role': 'user', 'content': "Answer the following multiple choice question. There is only one correct answer. The last line of your response should be in the format 'Answer: $LETTER' (without quotes), where LETTER is one of A, B, C, D, E, F, G, H, I, or J.\n\nIf we tetrahedralize a regular triangular prism, how many ways of tetrahedralization are legal? (Each vertex is different)\n"}], 'max_tokens': 16400, 'temperature': 0.6, 'top_p': 0.95}

从以上内容可以看出，Prompt 中只有题干，而没有任何选项信息。

为进一步确认原因，我查阅了 evalscope/benchmarks/super_gpqa/super_gpqa_adapter.py 中的相关代码，发现在 gen_prompt 函数中，Prompt 的生成仅使用了 input_d['question'] 字段，而未包含选项内容：

    def gen_prompt(self, input_d: dict, subset_name: str, few_shot_list: list, **kwargs) -> dict:
        if not self.prompt_template:
            if few_shot_list:
                prompt = self.few_shot_prompt.format(query=input_d['question'])
            else:
                prompt = self.zero_shot_prompt.format(query=input_d['question'])
        else:
            prompt = self.prompt_template.format(query=input_d['question'])
        return self.gen_prompt_data(prompt)

由此推测，Prompt 中未包含选项，可能是因为在生成 Prompt 时仅使用了数据中 question 字段，而未使用options 字段。由于我对 EvalScope 的代码结构尚不太熟悉，因此在此提交 issue，想请官方确认该问题究竟是由于代码本身未正确拼接选项造成的，还是由于我在使用或配置过程中的设置问题所致。感谢！

## EvalScope 版本（必填）
v0.16.1

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

from evalscope import TaskConfig, run_task
from evalscope.constants import EvalType

task_cfg = TaskConfig(
    model="Qwen3-8B",   # 从命令行参数获取
    api_url="xxxxxxxx",  # 从命令行参数获取
    api_key='EMPTY',
    eval_type=EvalType.SERVICE,   # 评测类型，SERVICE表示评测推理服务
    datasets=[
        'super_gpqa',
    ],

    dataset_args={ # EvalScope内置支持，无需指定数据集ID
        'super_gpqa': {'few_shot_num': 0, "subset_list": ['Mathematics', 'Physics', 'Chemistry', 'Biology', 'Astronomy', 'Geography']},
    },
    eval_batch_size=1,       # 发送请求的并发数
    generation_config={       # 模型推理配置
        'max_tokens': 16400,  # 最大生成token数，建议设置为较大值避免输出截断
        'temperature': 0.6,   # 采样温度 (deepseek 报告推荐值)
        'top_p': 0.95,        # top-p采样 (deepseek 报告推荐值)
    },
    debug=True,              # 是否开启调试模式
)

run_task(task_cfg=task_cfg)


## 运行环境

- 操作系统：Ubuntu 22.04
- Python版本：3.10.16



main分支已修复该问题