zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 自建测试集（qa）测试的时候多个测试集每个都测试了全部
Root cause: Algorithmic Error

## 问题描述 / Issue Description

如题，自建测试集（qa）测试的时候多个测试集每个都测试了全部
事情是这样的，我自建了一个有13个数据集的法律能力测试集，每个文件都只有500个文件，结果我一运行直接一次就跑6500个，短短的测试集花了我26个小时（我用的L40卡）

## EvalScope 版本 / Version (必须)
pip五天前安装的最新版本，（all版本）

## 使用的工具 / Tools Used
- [*] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

```python
from evalscope import TaskConfig, run_task

task_cfg = TaskConfig(
    model='/root/autodl-tmp/text-generation-webui-2.7/models/Qwen2.5-7B-1M',
    datasets=['general_qa'],  # 数据格式，选择题格式固定为 'general_qa'
    dataset_args={
        'general_qa': {
            "local_path": "/root/LawBench-eval/text",  # 自定义数据集路径
            "subset_list": [
                "1-1法条背诵",
                "2-1文件校对",
                "2-5阅读理解",
                "2-6命名实体识别",
                "2-7舆情摘要",
                "2-10触发词提取",
                "3-1法条预测(基于事实)",
                "3-2法条预测(基于场景)",
                "3-3罪名预测",
                "3-4刑期预测(无法条内容)",
                "3-5刑期预测(给定法条内容)",
                "3-7犯罪金额计算",
                "3-8咨询" # 评测数据集名称，上述 *.jsonl 中的 *
            ]
        }
    },
)

run_task(task_cfg=task_cfg)
```


## 错误日志 / Error Log
其实没有报错，是我自己发现的bug
## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [*] Ubuntu

- Python版本 / Python Version:
  - [*] 3.11
  - [ ] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

<img width="1020" alt="Image" src="https://github.com/user-attachments/assets/5c02a6b2-d6e1-4d26-ba05-13c826799a25" />
具体的测评结果我push到一个仓库了，直接下（主要是太大了这里传不上去）https://github.com/KallerIsaac10086/fileshare#


麻烦贴一下/root/LawBench-eval/text下面的文件夹结构

> 麻烦贴一下/root/LawBench-eval/text下面的文件夹结构

<img width="983" alt="Image" src="https://github.com/user-attachments/assets/8e80110b-7a8a-42a8-bf5d-2bd527998c17" />

> 麻烦贴一下/root/LawBench-eval/text下面的文件夹结构

具体的文件内容可以参考 https://github.com/KallerIsaac10086/fileshare/tree/main/%E6%B5%8B%E8%AF%95%E9%9B%86/qa
这里

使用main分支代码试一下，应该已经修复了

> 使用main分支代码试一下，应该已经修复了

好了解决了，什么时候推送到pypi呀


近几天会推送的

问题已修复

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 多GPU加载大模型推理
Root cause: Environment Incompatibility

当我指定本地大模型进行推理时，需要设置什么参数能够tp模型来进行加载推理

1. 可以使用vLLM拉起模型API服务，这样可以指定tp
2. 本地加载模型可以在--model-args中指定 device_map 参数为 auto, 可以自动划分模型

> 2\. 以



> 1. 可以使用vLLM拉起模型API服务，这样可以指定tp
> 2. 本地加载模型可以在--model-args中指定 device_map 参数为 auto, 可以自动划分模型

请问npu卡也同样适用吗？
更换成--model-args revision=master,precision=torch.float16,device_map=auto\ 底层设备加载两张NPU卡，会报错：Traceback (most recent call last):
  File "/root/.local/bin/evalscope", line 8, in <module>
    sys.exit(run_cmd())
  File "/root/work/filestorage/guodong/evalscope/evalscope/cli/cli.py", line 25, in run_cmd
    cmd.execute()
  File "/root/work/filestorage/guodong/evalscope/evalscope/cli/start_eval.py", line 32, in execute
    run_task(self.args)
  File "/root/work/filestorage/guodong/evalscope/evalscope/run.py", line 31, in run_task
    return run_single_task(task_cfg, run_time)
  File "/root/work/filestorage/guodong/evalscope/evalscope/run.py", line 44, in run_single_task
    result = evaluate_model(task_cfg, outputs)
  File "/root/work/filestorage/guodong/evalscope/evalscope/run.py", line 115, in evaluate_model
    base_model = get_local_model(task_cfg)
  File "/root/work/filestorage/guodong/evalscope/evalscope/models/local_model.py", line 73, in get_local_model
    base_model = LocalModel(
  File "/root/work/filestorage/guodong/evalscope/evalscope/models/local_model.py", line 45, in __init__
    self.model = AutoModelForCausalLM.from_pretrained(
  File "/root/.local/lib/python3.10/site-packages/modelscope/utils/hf_util/patcher.py", line 247, in from_pretrained
    module_obj = module_class.from_pretrained(
  File "/root/.local/lib/python3.10/site-packages/transformers/models/auto/auto_factory.py", line 571, in from_pretrained
    return model_class.from_pretrained(
  File "/root/.local/lib/python3.10/site-packages/transformers/modeling_utils.py", line 279, in _wrapper
    return func(*args, **kwargs)
  File "/root/.local/lib/python3.10/site-packages/transformers/modeling_utils.py", line 4041, in from_pretrained
    index = None if device_type == "cpu" else torch.cuda.current_device()
  File "/root/.local/lib/python3.10/site-packages/torch/cuda/__init__.py", line 940, in current_device
    _lazy_init()
  File "/root/.local/lib/python3.10/site-packages/torch/cuda/__init__.py", line 310, in _lazy_init
    raise AssertionError("Torch not compiled with CUDA enabled")
AssertionError: Torch not compiled with CUDA enabled
[ERROR] 2025-04-29-16:51:23 (PID:200, Device:-1, RankID:-1) ERR99999 UNKNOWN applicaiton exception
请问有相关经验吗？
Repository: modelscope/evalscope
Issue: 希望支持一下opencompass 的lawbench 法律专业测评集，Lawbench自带评分标准，对接上即可。
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

希望支持一下opencompass 的lawbench 法律专业测评集，Lawbench自带评分标准，对接上即可。

## 需求背景 / Background

法律专业的测评集，希望增加，而且opencompass已支持。
Repository: modelscope/evalscope
Issue: 希望支持一下opencompass 的lawbench 法律专业测评集，Lawbench自带评分标准，对接上即可。
Root cause: Unimplemented Feature Gap


希望支持一下opencompass 的lawbench 法律专业测评集，Lawbench自带评分标准，对接上即可。
[https://lawbench.opencompass.org.cn/home](url)

> 希望支持一下opencompass 的lawbench 法律专业测评集，Lawbench自带评分标准，对接上即可。 [https://lawbench.opencompass.org.cn/home](url)

我做了一个开源项目，已经对接上了嘻嘻
https://github.com/KallerIsaac10086/UniLawBench

> > 希望支持一下opencompass 的lawbench 法律专业测评集，Lawbench自带评分标准，对接上即可。 [https://lawbench.opencompass.org.cn/home](url)
> 
> 我做了一个开源项目，已经对接上了嘻嘻 https://github.com/KallerIsaac10086/UniLawBench

你这个不支持open_ai接口方式，必须得本地启模型，不方便 使用
Repository: modelscope/evalscope
Issue: 是否支持NPU多卡只接测评
Root cause: Unimplemented Feature Gap

根据官方示例，本人使用一下快捷方式进行模型评估：
evalscope eval \
 --model ./Qwen2.5-0.5B-Instruct \
 --model-args revision=master,precision=torch.float16,device_map=npu \
 --generation-config do_sample=true,temperature=0.5 \
 --dataset-args '{"arc": {"local_path": "/root/work/filestorage/guodong/evalscope/data/arc"}}' \
 --datasets arc \
 --limit 10
使用过程中使用的是npu卡，当模型过大时，如：Qwen2.5-32B-Instruct 一张NPU卡无法满足，此时是否可以提供对应的环境变量，是指可以直接用多张卡进行直接评估？

设置 `device_map=auto` 是否可以

> 设置 `device_map=auto` 是否可以
会直接识别到CUDA 报错：AssertionError: Torch not compiled with CUDA enabled 使用device_map=balanced可以，但是利用率会非常低，910B2只有4%


那还有一种方式，用模型推理框架拉起模型服务来进行测试，提供api url即可
Repository: modelscope/evalscope
Issue: VLM model perf benchmark
Root cause: Unimplemented Feature Gap

- 考虑VLM类模型性能测试

VLM的perf目前支持`flickr8k`数据集

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 多个数据集review报错
Root cause: Validation Gap

arena_hard、simple_qa、alpaca_eval几个数据集review的时候都报

![Image](https://github.com/user-attachments/assets/8c3713c1-e1f9-45b6-99f4-f91d269cf8e0)

你执行的命令是什么呢，一般这几个数据集不会走到这个函数

main分支代码已解决该问题
Repository: modelscope/evalscope
Issue: 希望能够支持VDC数据集（多模态视频caption）的评测
Root cause: Unimplemented Feature Gap

希望能够支持VDC数据集（多模态视频caption）的评测


参考：https://aicarrier.feishu.cn/wiki/Qp7wwSzQ9iK1Y6kNUJVcr6zTnPe?table=tblsdEpLieDoCxtb&view=vewa8sGZrY

已支持VDC数据集，使用时可以指定`VDC_8frame`或`VDC_1fps`

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 为什么Total requests 不等于 Expected number of requests
Root cause: Documentation Deficiency

## 问题描述 / Issue Description

为什么Total requests 不等于 Expected number of requests   ？
[文档](https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/quick_start.html)里没有解释这两个的区别

<img width="1000" alt="Image" src="https://github.com/user-attachments/assets/62dbb83b-936d-4ebe-88d3-527611314abf" />

## EvalScope 版本 / Version (必须)
v0.15.1

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed


```bash
evalscope perf \
 --parallel 5 \
 --url http://192.168.188.246:8001/v1/completions \
 --number 100 \
 --model Qwen3-235B-A22B-AWQ \
 --log-every-n-query 5 \
 --connect-timeout 6000 \
 --read-timeout 6000 \
 --max-tokens 50 \
 --min-tokens 20 \
 --api openai \
 --dataset speed_benchmark \
 --debug
```

## 错误日志 / Error Log



## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [x] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [x] 3.10
  - [ ] 3.9





speed_benchmark 只有8个请求，而默认 Expected number of requests 是 100

> speed_benchmark 只有8个请求，而默认 Expected number of requests 是 100

那就是用这个dataset就只会是8个请求，number的设置实际是无效的，要想测试更多的请求数只能换别的dataset是么？


是的，可以用random等其他dataset

> 是的，可以用random等其他dataset

好的，谢谢
Repository: modelscope/evalscope
Issue: arena-hard和aplace_eval数据集review阶段卡住
Root cause: Resource Mishandling

用的最新的main分支，judge_worker_num为1。


麻烦提供下运行的命令和log

要卡很久才会报出来
用的命令是:
`evalscope eval --api-url http://0.0.0.0:8802/v1 --model /workspace/model_zoo/DeepSeek-R1-tokenizer --api-key EMPTY --eval-type service --datasets alpaca_eval --dataset-args '{"alpaca_eval": {"few_shot_num": 0, "filters": {"remove_until":"</think>"}}}' --eval-batch-size 128 --generation-config max_tokens=32768,temperature=0.0 --timeout 36000 --judge-strategy llm_recall --judge-model-args '{"api_url":"http://0.0.0.0:8802/v1/chat/completions","model_id":"/workspace/model_zoo/DeepSeek-R1-tokenizer"}'`

报的错是
![Image](https://github.com/user-attachments/assets/c4ea6aa5-b43a-4553-95f8-f83b21a4e3c6)

> 麻烦提供下运行的命令和log

已提供

请问，尝试更换judge model后还会卡着吗

> Thank you for your feedback! We will close this issue now. If you have any further questions, please feel free to reopen it. If EvalScope has been helpful to you, please consider giving us a STAR to show your support. Thank you!
Repository: modelscope/evalscope
Issue: 请问是否会支持GPQA Diamond数据集

谢谢~

框架已支持GPQA Diamond，如下配置可直接使用：

```python
datasets=[
    'gpqa',
],
dataset_args={
    'gpqa': {'subset_list': ['gpqa_diamond'], 'few_shot_num': 0},
},
```
Repository: modelscope/evalscope
Issue: perf缺少依赖
Root cause: Configuration Error

## 问题描述 / Issue Description
请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.
完成安装pip install 'evalscope[perf]'
运行evalscope perf提示缺少ModuleNotFoundError: No module named 'uvicorn'，查看https://github.com/modelscope/evalscope/blob/main/requirements/perf.txt，有unicorn无uvicorn

## EvalScope 版本 / Version (必须)
0.15.1

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed
请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:
```bash
pip install 'evalscope[perf]'
evalscope perf \
    --url "http://192.168.1.2:11434/v1/chat/completions" \
    --parallel 5 \
    --model qwen2_5-i:14b \
    --number 20 \
    --api openai \
    --dataset openqa \
    --stream
```

## 错误日志 / Error Log
请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

```
Traceback (most recent call last):
  File "/usr/local/bin/evalscope", line 8, in <module>
    sys.exit(run_cmd())
             ~~~~~~~^^
  File "/usr/local/lib/python3.13/site-packages/evalscope/cli/cli.py", line 25, in run_cmd
    cmd.execute()
    ~~~~~~~~~~~^^
  File "/usr/local/lib/python3.13/site-packages/evalscope/cli/start_perf.py", line 31, in execute
    from evalscope.perf.main import run_perf_benchmark
  File "/usr/local/lib/python3.13/site-packages/evalscope/perf/main.py", line 7, in <module>
    from evalscope.perf.benchmark import benchmark
  File "/usr/local/lib/python3.13/site-packages/evalscope/perf/benchmark.py", line 15, in <module>
    from evalscope.perf.http_client import AioHttpClient, test_connection
  File "/usr/local/lib/python3.13/site-packages/evalscope/perf/http_client.py", line 9, in <module>
    from evalscope.perf.utils.local_server import ServerSentEvent
  File "/usr/local/lib/python3.13/site-packages/evalscope/perf/utils/local_server.py", line 4, in <module>
    import uvicorn
ModuleNotFoundError: No module named 'uvicorn'
```

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [x] Ubuntu

- Python版本 / Python Version:
  - [x] 3.13
  - [ ] 3.11
  - [ ] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


感谢你的反馈！已修复该问题

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 测评R1时，evalscope - ERROR - Error when calling remote API: timed out
Root cause: Configuration Error

## 问题描述 / Issue Description

在测试R1对应的math,amie2024,gpqa这个集合数据集时，n=1的时候没问题，只是性能较差，但是n不是1的时候则报错evalscope - ERROR - Error when calling remote API: timed out

## EvalScope 版本 / Version (必须)
v0.15.1

## 使用的工具 / Tools Used
- [√] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

from evalscope import TaskConfig, run_task
from evalscope.constants import EvalType

task_cfg = TaskConfig(
    model='llama-8b-my',   # 模型名称 (需要与部署时的模型名称一致)
    api_url='http://127.0.0.1:8804/v1',  # 推理服务地址
    api_key='EMPTY',
    eval_type=EvalType.SERVICE,   # 评测类型，SERVICE表示评测推理服务
    datasets=[
        'data_collection',  # 数据集名称(固定为data_collection表示使用混合数据集)
    ],
    dataset_args={
        'data_collection': {
            'dataset_id': 'modelscope/R1-Distill-Math-Test'  # 数据集ID 或 数据集本地路径
        }
    },
    eval_batch_size=32,       # 发送请求的并发数
    generation_config={       # 模型推理配置
        'max_tokens': 20000,  # 最大生成token数，建议设置为较大值避免输出截断
        'temperature': 0.6,   # 采样温度 (deepseek 报告推荐值)
        'top_p': 0.95,        # top-p采样 (deepseek 报告推荐值)
        'n': 5                # 每个请求产生的回复数量 (注意 lmdeploy 目前只支持 n=1)
    },
    stream=True               # 是否使用流式请求，推荐设置为True防止请求超时
)

run_task(task_cfg=task_cfg)

## 错误日志 / Error Log

evalscope - ERROR - Error when calling remote API: timed out
evalscope - ERROR - Error when calling remote API: timed out
evalscope - ERROR - Error when calling remote API: timed out

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [√] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [ √] 3.10
  - [ ] 3.9
Repository: modelscope/evalscope
Issue: 数据集评测支持resume
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

python接口和cmd支持数据集评测续跑

## 需求背景 / Background

数据集评测时间过长时，可能机器断电或其它情况导致评测中断，希望可以接着之前进度继续跑

## 预期行为 / Expected Behavior

能够在中断的精度评测任务上续跑

## 其他信息 / Additional Information

no


参考这个问题 https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html#q29 ，设置use_cache 参数
Repository: modelscope/evalscope
Issue: qwen3 bbh评测异常
Root cause: Configuration Error

在评测qwen3-4B bbh评测集的时候，发现开think（79.1）比不开think得分还要低（77.7），请问是什么原因？
具体评测方式参考https://evalscope.readthedocs.io/zh-cn/latest/best_practice/qwen3.html
评测配置如下：
from evalscope import TaskConfig, run_task

task_cfg = TaskConfig(
    model='Qwen3-4B',
    api_url='http://127.0.0.1:8801/v1/chat/completions',
    eval_type='service',
    datasets=[
        'gsm8k','bbh','gpqa','humaneval','ifeval','live_code_bench','math_500','mmlu_pro'
    ],


    eval_batch_size=128,
    generation_config={
        'max_tokens': 20000,  # 最大生成token数，建议设置为较大值避免输出截断
        'temperature': 0,  # 采样温度 (qwen 报告推荐值)
        'n': 1,  # 每个请求产生的回复数量
        'chat_template_kwargs': {'enable_thinking': True}  # 关闭思考模式
    },
    timeout=60000,  # 超时时间
    stream=True,  # 是否使用流式输出
)

run_task(task_cfg=task_cfg)

> 开think（79.1）比不开think得分还要低（77.7）

是不是写错了

是的，写反了，这个可能是什么原因呢

temperature 不要设置为0，对think可能有影响

请问如果是测qwen-3的sft模型的bbh指标，是用few shot还是zero shot呢，有没有对应的测试指标

参考qwen3的报告：https://github.com/QwenLM/Qwen3/blob/main/Qwen3_Technical_Report.pdf

![Image](https://github.com/user-attachments/assets/af4e59bf-8597-4a19-9cc5-78ae2a936423)

这个是测base模型吧，我说的是sft模型

测sft一般不加few-shot，但加few-shot也可能提升模型效果，看你的测试需求

所以能否提供一下你们这边测试qwen3 sft ，不加few shot的评测结果

我这边没有在Qwen3上测试过你说的这个setting，我这边主要是提供测试工具
Repository: modelscope/evalscope
Issue: evalscope和opencompass榜单对齐问题
Root cause: Documentation Deficiency

想请问下，在相同设置的情况下（是否是fewshot，token长度，采样参数等），evalscope和opencompass跑出来的指标能否对齐，对应评测集的评测代码是否一致呢，因为发现一些评测集用这两个评测框架跑出来的指标不一致

不同评测框架评测代码并不一致，评测指标也很难对齐，建议在同一框架下对比指标

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: Add OpenAI health_bench support
Root cause: Documentation Deficiency

## 功能描述 / Feature Description

OpenAI发布了一个 [Health Bench](https://openai.com/index/healthbench/) ,并且在自己下[simple_eval ](https://github.com/openai/simple-evals/blob/main/healthbench_eval.py)里面给了调用的例子。

## 需求背景 / Background

这个功能有助于评测模型的医疗健康方面的能力

## 预期行为 / Expected Behavior

作为一个支持的eval 数据集加入



main分支已支持Health Bench

> main分支已支持Health Bench

这个是需要judge llm的？对这个llm的能力有要求吗？准确性是否依赖llm的能力？

> > main分支已支持Health Bench
> 
> 这个是需要judge llm的？对这个llm的能力有要求吗？准确性是否依赖llm的能力？

需要judge，openai官方使用GPT4.1作为judge，你可以换成其他模型，但打分可能会不一样

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 运行文档内的复杂评测样例，报参数错误
Root cause: Environment Incompatibility

直接复制了样例内容：
evalscope eval \
 --model Qwen/Qwen2.5-0.5B-Instruct \
 --model-args revision=master,precision=torch.float16,device_map=auto \
 --generation-config do_sample=true,temperature=0.5 \
 --dataset-args '{"gsm8k": {"few_shot_num": 0, "few_shot_random": false}}' \
 --datasets gsm8k \
 --limit 10
报错：evalscope <command> [<args>] eval: error: argument --dataset-args: invalid loads value: "'{gsm8k:"

<img width="788" alt="Image" src="https://github.com/user-attachments/assets/5ac69e08-b171-4eb9-8303-ec2605dc18da" />

平台：windows, python3.10.16, evalscope2.0.0

我这边在ubuntu上测试了，没有问题。windows上命令行对引号的处理可能会导致这个字符串不能被正确解析。可以尝试使用 PowerShell，或者对引号加上反斜杠：
```
--dataset-args "{\"gsm8k\": {\"few_shot_num\": 0, \"few_shot_random\": false}}"
```

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 使用 evalscope perf 如何 调用 本地的数据集
Root cause: Documentation Deficiency

evalscope perf \
    --url "http://192.168.1.2:11434/v1/chat/completions" \
    --parallel 5 \
    --model qwen2_5-i:14b \
    --number 20 \
    --api openai \
    --dataset openqa \
    --stream


参考这里：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/parameters.html#id5

需指定dataset为 `line_by_line` 并提供dataset_path，会逐行将txt文件的每一行作为一个提示

> Thank you for your feedback! We will close this issue now. If you have any further questions, please feel free to reopen it. If EvalScope has been helpful to you, please consider giving us a STAR to show your support. Thank you!
Repository: modelscope/evalscope
Issue: use-cache参数相关问题
Root cause: Unimplemented Feature Gap

当我配置use-cache参数的时候，llm-as-judge类型的数据集会重新评估，例如chinese_simpleqa，其它数据集正常。目前看看是因为judge模型没有使用缓存，是我有什么地方未正确配置？还是当前并不支持judge模型的缓存？

thanks～

目前judge还不支持缓存，后续会支持

好的，我针对这个问题提了pr，本地测试正常，没问题的话可以合入

感谢你的PR，代码已合入

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 使用evalscope eval评测如何修改请求头
Root cause: Documentation Deficiency

如题，我想使用eval命令调用本地https服务评测自己的数据集，请求服务时需要往请求头里塞一个token，如何实现？

“往请求头里塞一个token”是什么意思，请给一下具体的形式


就是我调用https模型服务的时候需要在headers里放入一个token参数，我使用perf命令是支持的，通过--header参数，类似于--headers 参数名=mytoken这种形式，想问下eval支不支持这种，或者有什么其他方式可以实现

在generation_config中设置 `{"extra_headers": {"key": "value"}} `试试呢

当我使用generation-config传入json字符串时，报这个错是因为什么？

![Image](https://github.com/user-attachments/assets/1e10ffce-736e-4066-bb96-0eb207397457)

更新 evalscope版本到0.16.0 再尝试

在generation_config中设置 {"extra_headers": {"key": "value"}} 试试呢   这种方式似乎不生效

麻烦提供一下你运行的完整命令

调用命令如图，我隐去了敏感信息

![Image](https://github.com/user-attachments/assets/38051201-26cc-419c-8362-b8937df301ba)

写的命令看起没有问题。可以加上`--debug`参数，控制台会打印发送的请求参数；也可以在模型服务端看一下收到请求的具体内容，再具体分析一下问题

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 请问evalscope支持断点重跑吗
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
使用evalscope跑模型的math500评估时在level5发生了异常退出，因为整个测试过程耗时很长，所以想问下前4个level跑完的结果能不能复用，即从level5开始断点重跑，从而获得模型评估精度。


## EvalScope 版本（必填）
v0.15.1




支持的，请使用use_cache参数定传入上次评测输出的路径

> 支持的，请使用use_cache参数定传入上次评测输出的路径

确实可以了，非常感谢！
Repository: modelscope/evalscope
Issue: 指定模型API评估支持SGLang嘛
Root cause: Documentation Deficiency

export VLLM_USE_MODELSCOPE=True && python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-0.5B-Instruct --served-model-name qwen2.5 --trust_remote_code --port 8801

evalscope对接的是OpenAI API兼容的API接口，服务引擎是SGLang，VLLM，OLLAMA等，或者是云上的API都是可以的。

> evalscope对接的是OpenAI API兼容的API接口，服务引擎是SGLang，VLLM，OLLAMA等，或者是云上的API都是可以的。

了解，非常感谢您的回答

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 命名的demo英文名翻车了，嘿嘿

<img width="847" alt="截屏2024-06-11 01 04 54" src="https://github.com/modelscope/eval-scope/assets/5730163/28bfbd48-2eee-4529-adb6-22a338fbfba7">
<img width="777" alt="截屏2024-06-11 01 05 06" src="https://github.com/modelscope/eval-scope/assets/5730163/cd37eaca-1117-48dc-b38a-d85293cc09e3">


```
<<< hello
Hello! How can I assist you today?
--------------------------------------------------
<<< 浙江的省会在哪
浙江省的省会是杭州市。
--------------------------------------------------
<<< who are you
I am an artificial intelligence assistant named Li XiaoLong, trained by Beauty Lin. I am designed to answer your questions, provide information, and engage in conversation. How can I assist you?
--------------------------------------------------
<<< 

```

一切正常哇, 要使用last checkpoint的

哦哦，原来如此，我用的是best checkpoint，看来eval那个集合的得分不能用来参考了

Jintao ***@***.***> 于2024年6月14日周五 01:26写道：

> <<< hello
> Hello! How can I assist you today?
> --------------------------------------------------
> <<< 浙江的省会在哪
> 浙江省的省会是杭州市。
> --------------------------------------------------
> <<< who are you
> I am an artificial intelligence assistant named Li XiaoLong, trained by Beauty Lin. I am designed to answer your questions, provide information, and engage in conversation. How can I assist you?
> --------------------------------------------------
> <<<
>
>
> 一切正常哇, 要使用last checkpoint的
>
> —
> Reply to this email directly, view it on GitHub
> <https://github.com/modelscope/eval-scope/issues/57#issuecomment-2166391370>,
> or unsubscribe
> <https://github.com/notifications/unsubscribe-auth/ABLW64YDNW7Q5E2FDX42EIDZHHI55AVCNFSM6AAAAABJCWTP7GVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCNRWGM4TCMZXGA>
> .
> You are receiving this because you authored the thread.Message ID:
> ***@***.***>
>


> ```
> <<< hello
> Hello! How can I assist you today?
> --------------------------------------------------
> <<< 浙江的省会在哪
> 浙江省的省会是杭州市。
> --------------------------------------------------
> <<< who are you
> I am an artificial intelligence assistant named Li XiaoLong, trained by Beauty Lin. I am designed to answer your questions, provide information, and engage in conversation. How can I assist you?
> --------------------------------------------------
> <<< 
> ```
> 
> 一切正常哇, 要使用last checkpoint的

试了一下checkpoint-93，”林妹妹的英文名是”，回答依然是“林妹妹的英文名是 Li XiaoLong.”
感觉是有一道思维的弯没转过来的样子