zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 大并发下成功率降低
Root cause: Resource Mishandling


## 问题描述
当并发超过512后，会有client端的报错，server端(sglang)没有错误log.



## EvalScope 版本（必填）
0.0.0.dev0

## 错误日志

<img width="768" height="365" alt="Image" src="https://github.com/user-attachments/assets/0bc5cfaf-a7e2-4ef7-ab9e-5f403b1e816a" />

<img width="853" height="261" alt="Image" src="https://github.com/user-attachments/assets/0388a8bb-490c-421d-bf30-1320f32a5602" />

## 运行环境
- 模型：DeepSeekR1
- GPU: H20-141G 8卡
- python: 3.12


是因为超时断连了吗？


应该是并发太大，一些请求超时了，默认的超时参数如下，你可以适当调整这些参数：
```python
connect_timeout: int = 600  # Connection timeout in seconds
read_timeout: int = 600  # Read timeout in seconds
```

<img width="958" height="739" alt="Image" src="https://github.com/user-attachments/assets/62bdb917-5404-4575-8101-01a645a28ee1" /> 
还是调整connect_timeout和read_timeout到600000后，还是一样的错误。有个挺有意思点，这里的total request 是520，然后成功的请求条数恰好等于并发数？ @Yunnglin 

贴一下你运行的命令

> 贴一下你运行的命令
```
evalscope perf --parallel 1 512 640 --number 2 1024 1280 --api openai --dataset random --prefix-length 0 --connect-timeout 6000000 --read-timeout 6000000 --extra-args {"ignore_eos": true} --model DeepSeek-V3 --url http://10.217.83.35:8081/v1/chat/completions --min-prompt-length 4300 --max-prompt-length 4300 --max-tokens 2048 --min-tokens 2048 --prefix-length 1844 --tokenizer-path /workspace/models/DeepSeek-R1-0528
```

已更新默认的perf timeout参数，超时时间设置到6小时了，请使用main分支代码

> 已更新默认的perf timeout参数，超时时间设置到6小时了，请使用main分支代码

使用main分支后问题仍然存在，相同的报错信息 @Yunnglin 

使用如下命令，如有问题，可以贴一下完整的log
```bash
evalscope perf --parallel 1 512 640 --number 2 1024 1280 --api openai --dataset random --prefix-length 0 --extra-args {"ignore_eos": true} --model DeepSeek-V3 --url http://10.217.83.35:8081/v1/chat/completions --min-prompt-length 4300 --max-prompt-length 4300 --max-tokens 2048 --min-tokens 2048 --prefix-length 1844 --tokenizer-path /workspace/models/DeepSeek-R1-0528
```

辛苦看下[output.log](https://github.com/user-attachments/files/23813479/output.log) @Yunnglin 

这个应该是vLLM服务端的问题，服务端过载导致连接断开，这说明设置并发太高了，服务端处理不过来，需要降低并发

> 高并发（512/640）、超长流式会话（TTFT/Latency 数百秒）导致大量长连接占用。当调度器按 in_flight_task_multiplier=2 提交第二批任务时，服务端达到连接/worker上限或关闭了空闲/长时间 keep-alive 的 socket，客户端复用已被服务端关闭的连接，触发断连。
错误是瞬时的、批量出现，最终仍完成多数请求，说明主要是连接复用与服务端限流/超时策略的耦合问题。

好的，不过我是用的sglang。我在测试极限吞吐，所有batch会打得很大🤔  @Yunnglin  
不过很奇怪的是我在server端没有看到任何的报错信息

这个问题不会在server端报错

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: evalscope进行性能压测，无法指定数据集的文件夹目录
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

用evalscope进行性能压测时，使用离线的数据集，如openqa，下载下来是一个文件夹，不能把文件夹的路径给他吗？或者有没有办法，一次评估多个数据集文件

## EvalScope 版本（必填）
v0.1.2.0

## 使用的工具
- [ ] Native / 原生框架

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。
rocessing:   0%|          | 0/10 [00:00<?, ?it/s]2025-11-25 06:39:58 - evalscope - ERROR: Exception in async function 'benchmark': [Errno 21] Is a directory: '/dataset/5/5'
Traceback (most recent call last):
  File "/usr/local/lib/python3.10/site-packages/evalscope/perf/utils/handler.py", line 17, in async_wrapper
    return await func(*args, **kwargs)
  File "/usr/local/lib/python3.10/site-packages/evalscope/perf/benchmark.py", line 174, in benchmark
    async for request in get_requests(args, api_plugin):
  File "/usr/local/lib/python3.10/site-packages/evalscope/perf/benchmark.py", line 70, in get_requests
    async for request in generator:
  File "/usr/local/lib/python3.10/site-packages/evalscope/perf/benchmark.py", line 41, in generate_requests_from_dataset
    for messages in message_generator.build_messages():
  File "/usr/local/lib/python3.10/site-packages/evalscope/perf/plugin/datasets/openqa.py", line 27, in build_messages
    for item in self.dataset_line_by_line(self.query_parameters.dataset_path):
  File "/usr/local/lib/python3.10/site-packages/evalscope/perf/plugin/datasets/base.py", line 53, in dataset_line_by_line
    with open(dataset, 'r', encoding='utf-8') as f:
IsADirectoryError: [Errno 21] Is a directory: '/dataset/5/5'
2025-11-25 06:39:58,474 - asyncio - ERROR: Task was destroyed but it is pending!
task: <Task pending name='Task-7' coro=<Queue.get() running at /usr/local/lib/python3.10/asyncio/queues.py:150> cb=[_release_waiter(<Future pendi...ask_wakeup()]>)() at /usr/local/lib/python3.10/asyncio/tasks.py:387]>
sys:1: RuntimeWarning: coroutine 'Queue.get' was never awaited
RuntimeWarning: Enable tracemalloc to get the object allocation traceback
Processing:   0%|          | 0/10 [00:00<?, ?it/s]
2025-11-25 06:39:58,478 - asyncio - ERROR: Task was destroyed but it is pending!
task: <Task pending name='Task-6' coro=<statistic_benchmark_metric() done, defined at /usr/local/lib/python3.10/site-packages/evalscope/perf/utils/handler.py:14> wait_for=<Future pending cb=[Task.task_wakeup()]>>

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


openqa使用的是这个文件 https://www.modelscope.cn/datasets/AI-ModelScope/HC3-Chinese/resolve/master/open_qa.jsonl 

下载到本地并指定`dataset_path`参数为这个文件即可。不支持一次测多个文件。

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: live_code_bench处理函数调用类测试用例错误
Root cause: Validation Gap

## 问题描述

测试live_code_bench数据集时，函数调用类的用例，会产生两种错误。一种是找不到List<T>类型，一种是传入参数不正确。
测试用例类型示例如下：
{"question_title": "number-of-senior-citizens", "question_content": "...", "platform": "leetcode", "question_id": "2727", "contest_id": "biweekly-contest-104", "contest_date": "2023-05-13T00:00:00", "starter_code": "class Solution:\n    def countSeniors(self, details: List[str]) -> int:\n        ", "difficulty": "easy", "public_test_cases": "[{\"input\": \"[\\\"7868190130M7522\\\", \\\"5303914400F9211\\\", \\\"9273338290F4010\\\"]\", \"output\": \"2\", **\"testtype\": \"functional\"**}, {\"input\": \"[\\\"1313579440F2036\\\", \\\"2921522980M5644\\\"]\", \"output\": \"0\", **\"testtype\": \"functional\"**}]", "private_test_cases": "...", "metadata": "**{\"func_name\": \"countSeniors\"}"**}

## EvalScope 版本（必填）
evalscope v1.2.0

## 使用的工具
- [ ] Native / 原生框架


## 执行的代码或指令
v50_custom_model = PanguCustomModel(
    model_name='model-nlp-v50',
    base_url=url,
    api_key="Bearer APIKey",
    v50_messge_proc=v50_message_proc
)
task_config = TaskConfig(
    model=v50_custom_model,
    datasets=[ 'live_code_bench'],
    dataset_args={"dataset_id":f"{DATASET_DIR}/code_generation_lite"},
    generation_config={"batch_size": 64, "max_tokens": 32768, "temperature": 1.0, "stream": True},
    work_dir="./V50/output",
    api_url=url,
    eval_type="openai_api",
    eval_batch_size=64,
    use_sandbox= True,
)
results = run_task(task_cfg=v50_task_config)

## 错误日志
ERROR1:
"failed_cases": ["Test 0: Sandbox execution failed - Result: {'status': <ExecutionStatus.ERROR: 'error'>, 'timestamp': datetime.datetime(2025, 10, 21, 3, 21, 21, 660940), 'tool_name': 'python_executor', 'output': 'Traceback (most recent call last):\\r\\n  File \"/tmp/exec_script_29a62bb5901c4b90a15bd8bee455664d.py\", line 6, in <module>\\r\\n    class Solution:\\r\\n  File \"/tmp/exec_script_29a62bb5901c4b90a15bd8bee455664d.py\", line 7, in Solution\\r\\n    def countSeniors(self, details: List[str]) -> int:\\r\\n                                    ^^^^\\r\\nNameError: name \\'List\\' is not defined. Did you mean: \\'list\\'?\\r\\n', 'metadata': {}}"]

ERROR2:
### Solution Code\n```python\nclass Solution:\n    def maximumOr(self, nums: List[int], k: int) -> int:\n        n = len(nums)\n        prefix_or = [0] * (n + 1)\n        for i in range(n):\n            prefix_or[i + 1] = prefix_or[i] | nums[i]\n        \n        suffix_or = [0] * (n + 1)\n        for i in range(n - 1, -1, -1):\n            suffix_or[i] = suffix_or[i + 1] | nums[i]\n        \n        max_val = 0\n        for i in range(n):\n            current_or = prefix_or[i] | suffix_or[i + 1]\n            shifted = nums[i] << k\n            total = current_or | shifted\n            if total > max_val:\n                max_val = total\n        \n        return max_val\n```\n\n###
"failed_cases": ["Test 0: EXECUTION_ERROR: Solution.maximumOr() missing 1 required positional argument: 'k'"]

## 运行环境
- 操作系统：Linux 5.4.0-216-generic #236-Ubuntu
- Python版本：3.12.8

## 其他信息
该问题已定位，正在提交修正代码
Repository: modelscope/evalscope
Issue: 测试模型报错：Test connection failed
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

2025-11-26 04:07:55 - evalscope - WARNING: Retrying... <>
2025-11-26 04:07:55 - evalscope - ERROR: Overall connection attempt timed out.
2025-11-26 04:07:55 - evalscope - ERROR: Exception in async function 'connect_test': Test connection failed
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/dist-packages/evalscope/perf/utils/handler.py", line 17, in async_wrapper
    return await func(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/dist-packages/evalscope/perf/benchmark.py", line 143, in connect_test
    raise TimeoutError('Test connection failed')
TimeoutError: Test connection failed


## EvalScope 版本（必填）
最新版

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

 evalscope perf  --url "http://192.168.60.112:22222/v1/chat/completions"   --parallel 1  --model Qwen2.5-72B-Instruct  --number 5 --api  openai  --min-prompt-length 4096 --max-prompt-length 4096  --stream --dataset random --max-tokens 4096  --min-tokens 4096  --tokenizer-path /data/models/qwen2.5-72b-bf16


## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


2k 和4k 都能测出来只有8k和16k不行


应该也是这个问题，参考 https://github.com/modelscope/evalscope/issues/1003#issuecomment-3573979058

已更新默认的perf timeout参数，超时时间设置到6小时了，请使用main分支代码
Repository: modelscope/evalscope
Issue:  perf 只发送一条请求
Root cause: Validation Gap

`evalscope perf --url 'http://localhost:8082/v1/chat/completions' --parallel 128 --model 'qwen' --log-every-n-query 10 --read-timeout=120 -n 1 --max-prompt-length 128000 --api openai --stream --stop '
' --dataset openqa --dataset-path './datasets/open_qa.jsonl' --debug`

我运行以上命令的时候 发现只请求了第一条数据就停止了：
```
Benchmarking summary: 
 Time taken for tests: 10.011 seconds
 Expected number of requests: 1
 Number of concurrency: 128
 Total requests: 1
 Succeed requests: 1
 Failed requests: 0
 Average QPS: 0.100
 Average latency: 9.822
 Throughput(average output tokens per second): 41.556
 Average time to first token: 0.319
 Average input tokens per request: 23.000
 Average output tokens per request: 416.000
 Average time per output token: 0.02406
 Average package per request: 405.000
 Average package latency: 0.024
 Too little data to calculate quantiles!
```
这个是什么问题

 -n NUMBER, --number NUMBER
                        How many requests to be made,
Repository: modelscope/evalscope
Issue: evalscope eval测试，报不支持 AveragePass@1，求解答
Root cause: Documentation Deficiency

## 问题描述
2025-11-26 15:11:44 - evalscope - ERROR: Error calculating metric AveragePass@1: Metric 'AveragePass@1' not found in the registry. Available metrics: ['exact_match', 'acc', 'numeric_match', 'math_acc', 'multi_choice_acc', 'anls', 'bertscore', 'comet', 'VQAScore', 'PickScore', 'CLIPScore', 'BLIPv2Score', 'HPSv2Score', 'HPSv2.1Score', 'ImageRewardScore', 'FGA_BLIP2Score', 'MPS']


## EvalScope 版本（必填）
git clone拉取的主分支，pip list显示的版本为：evalscope==0.0.0.dev0
commit id：732bb549377c4ff1ec4c80bb56547ac5dc953f74


## 执行的代码或指令
server端
vllm serve /model/Qwen3-8B --served-model-name Qwen3-8B --swap-space 16 --tensor-parallel-size 8 --disable-log-requests --port 7992 --trust-remote-code --distributed-executor-backend mp --max-model-len 9600 --max-num-seqs 8 --max-seq-len-to-capture 9600 --max-num-batched-tokens 9600 --dtype bfloat16 --gpu-memory-utilization 0.95

client端
evalscope eval --api-url http://127.0.0.1:7992/v1  --api-key EMPTY  --eval-type openai_api --model Qwen3-8B --datasets aime24 --dataset-args '{"aime24": {"metric_list": ["AveragePass@1"], "few_shot_num": 0}}' --eval-batch-size 8

## 错误日志
2025-11-26 15:11:44 - evalscope - ERROR: Error calculating metric AveragePass@1: Metric 'AveragePass@1' not found in the registry. Available metrics: ['exact_match', 'acc', 'numeric_match', 'math_acc', 'multi_choice_acc', 'anls', 'bertscore', 'comet', 'VQAScore', 'PickScore', 'CLIPScore', 'BLIPv2Score', 'HPSv2Score', 'HPSv2.1Score', 'ImageRewardScore', 'FGA_BLIP2Score', 'MPS']

## 运行环境

- 操作系统：docker ubuntu22.04
- Python版本：python3.10.12


参考这个文档的示例2: https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id6

> 参考这个文档的示例2: https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id6

@Yunnglin 
所以添加 --dataset-args '{"aime24": {"aggregation": "mean_and_pass_at_k","few_shot_num": 0}}' --repeats 1 参数后，最终输出的mean_acc_pass@1 指标就是之前的 AveragePass@1 。我可以这么理解吗？

@zsgd901 是的

> 参考这个文档的示例2： https://evalscope.readthedocs.io/zh-cn/latest/get_started/basic_usage.html#id6

好的，已经解决了确实是这个问题


> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: RuntimeError: expected scalar type Float but found BFloat16 when running openai/gpt-oss-120b (also with float16)
Root cause: External Dependency Breakage

Hi, I’m encountering a runtime error when trying to run `openai/gpt-oss-120b` with evalscope:

```bash
RuntimeError: expected scalar type Float but found BFloat16
```

Here is the command I’m using:

```bash
evalscope eval \
    --model openai/gpt-oss-20b \
    --generation-config '{"extra_body":{"reasoning_effort":"high"}}' \
    --model-args '{"revision": "master", "precision": "torch.bfloat16", "device_map": "auto"}' \
    --datasets gsm8k
```

Even if I change the precision from `torch.bfloat16` to `torch.float16`, I still hit the same error.

Environment / Versions:
 - transformers: 4.57.1
 - torch: 2.6.0
 - evalscope: 2.0.0

The code has been updated. You can test again using the main branch.

Sorry for the belated reply, just pull the updated version, I can now confirm it's working. Thanks!
Repository: modelscope/evalscope
Issue: 现有文档中缺失对 repeats 参数的描述 & Pass@N (N<=K) 评测支持
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

**问题：**
在现有[最新版文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html) 中，参数内没有对 repeats 的描述，只在 aggregation 中存在下面的描述：

> mean_and_pass_at_k: 计算平均值和pass_at_k，需指定repeats=k，自动计算同一样例k次的至少有一次通过的概率。例如humaneval数据集可指定repeats=5，将计算模型在同一样例5次生成结果中的通过率。

广泛查阅文档我也不能确定 repeats 是 --dataset-args 的一个子参数还是 --generation-config 的子参数 还是一个单独的参数，因为没有对这个参数的额外介绍。

而在 [常见问题](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html) 中是这样描述的：

> Q: 如何进行 pass@k 评测或一个样本生成多个答案？
> A: 在 generation_config 中设置 n 参数即可。n 的值表示每个样本生成答案的数量。框架会自动计算 pass@k 等指标。

貌似这两个地方存在一个版本差异。

**请求支持：**
当 repeats=32 时，默认选取 mean_and_pass_at_k 指标，只能得到 Pass@32 的结果，但如果想在这个基础上得到 Pass@8 ，Pass@16 或许只能重新跑？能否支持当 repeats = K 时，可以获取 N <= K 的任意 Pass@N 的评测结果


## EvalScope 版本（必填）
v1.2.0

## 使用的工具
- [x] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式


这部分文档我更新一下，计算Pass@N (N<=K) 我也支持一下

> 这部分文档我更新一下，计算Pass@N (N<=K) 我也支持一下

为 您和 evalscope 团队的效率点赞 👍 ！
Repository: modelscope/evalscope
Issue: VLMEvalKit 后端，测试CMMMU数据集
Root cause: Unimplemented Feature Gap

## 问题描述

使用 --eval_backend VLMEvalKit 时，VLMEvalKit 官方已经支持了 CMMMU数据集，但是在 evalscope 的 这里 （https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/vlmevalkit_backend.html#id2）没有的话，测试就会报错。这个是需要evalscope官方支持吗。还是说有办法加载本地的 CMMMU数据集？求解答

## EvalScope 版本（必填）
v1.2.0

## 使用的工具

 VLMEvalKit backend


## 执行的代码或指令

from evalscope.run import run_task
from evalscope import TaskConfig
from evalscope.summarizer import Summarizer

def run_eval():
    # 选项 1: python 字典
    task_cfg = TaskConfig(
        work_dir='outputs',
        eval_backend='VLMEvalKit',
        eval_config=
            {'data': ['CMMMU'],
            'mode': 'all',
            'model': [
                {'name': 'Qwen2.5-VL-32B-Instruct',
                'model_path': '/data/models/Qwen2.5-VL-32B-Instruct',
                'video_llm': False,
                'max_new_tokens': 4096,
                }
              ],
            'reuse': False}
   )

    # 选项 2: yaml 配置文件
    # task_cfg = 'eval_openai_api.yaml'

    run_task(task_cfg=task_cfg)

    print('>> Start to get the report with summarizer ...')
    report_list = Summarizer.get_report_from_cfg(task_cfg)
    print(f'\n>> The report list: {report_list}')

run_eval()

## 错误日志

UserWarning: Dataset CMMMU is not officially supported.
UserWarning: Data file /root/LMUData/CMMMU.tsv does not exist. Dataset building failed.

## 运行环境

- 操作系统：ubuntu22.04
- Python版本：3.10.12



运行`pip show ms-vlmeval`看一下版本，升级到0.0.19再试试
Repository: modelscope/evalscope
Issue: health bench数据集测评错误
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。
health bench数据集第一个子集跑完 后review报错

![Image](https://github.com/user-attachments/assets/c458239f-d8af-411f-8dcf-8c3f216204d9)
测评命令：
## EvalScope 版本（必填）
v1.2.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。
Repository: modelscope/evalscope
Issue: health bench数据集精度测试报错
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [ ] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [ ] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [ ] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。
health bench数据集精度测试报错：
第一个子集 测完后 review后报错

![Image](https://github.com/user-attachments/assets/ae805711-0aef-47b4-887d-7bdd76816e45)

## EvalScope 版本（必填）
v1.2.0

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令
evalscope eval \
    --model /models/Ling-flash-2.0 \
    --api-url http://0.0.0.0:30000/v1/chat/completions \
    --api-key EMPTY \
    --eval-type server \
    --datasets health_bench \
    --timeout 10000 \
    --eval-batch-size 8 \
    --stream \
    --use-cache /workspace/evalscope/outputs/20251128_114536
    --judge-strategy llm \
    --judge-model-args '{"api_url": "http://10.213.208.143:30000/v1/chat/completions", "model_id": "/workspace/models/DeepSeek-R1-w4a8-v3"}'
请提供您执行的主要代码或指令。

## 错误日志

请粘贴完整的错误日志或控制台输出。

## 运行环境

- 操作系统：
- Python版本：

## 其他信息

如果有其他相关信息，请在此处提供。


这里主要还是judge模型没有正确遵循指令，输出的格式不对，healthbench官方的judge是GPT‑4.1，可以参考一下

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 无法调用910B显卡进行基准测试
Root cause: Configuration Error

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [√] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [√] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [√] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

请简要描述您遇到的问题。

## EvalScope 版本（必填）
v1.2.0

## 使用的工具
- [√] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

export ASCEND_VISIBLE_DEVICE=6

evalscope eval \
    --model local/model/path \
    --datasets gsm8k \
    --model-args '{"device_map":"auto"}'


## 错误日志

<img width="804" height="375" alt="Image" src="https://github.com/user-attachments/assets/c1d37108-cccd-4ea4-bf38-6be1473329b9" />

## 运行环境

- 操作系统：linux
- Python版本：3.11.6

## 其他信息

推理速度较慢，显卡上无进程，不确定是否是在使用CPU进行推理

参数这样设置再尝试一下`--model-args '{"device_map":"npu"}'`

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 支持SWE-bench Multilingual
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description


现平台支持swebench已支持SWE-bench Verified等3个数据集，是否考虑同步支持SWE-bench Multilingual

## 需求背景 / Background

现大模型评测过程，软件工程能力是重要指标

## 预期行为 / Expected Behavior

符合evalscope的执行逻辑，并输出结果和工具的输出保持一致
Repository: modelscope/evalscope
Issue: 支持acebench
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

现平台支持了BFCL_v4能力，需要可以支持真实多轮对话的数据集 Acebench

## 需求背景 / Background

BFCL_v4是模拟多轮对话，缺少真实多轮对话场景

## 预期行为 / Expected Behavior

输入输出和evalscope其他数据集保持一致
Repository: modelscope/evalscope
Issue: 支持BrowerComp这类searchAgent能力
Root cause: Unimplemented Feature Gap

## 功能描述 / Feature Description

支持BrowerComp这类searchAgent能力

## 需求背景 / Background

现有大模型都在完善自身模型的searchagent相关能力，是重要的评测项

## 预期行为 / Expected Behavior

输入输出保持evalscope的规则