Repository: modelscope/evalscope
Issue: 使用自定义范围测试Live_code_bench会出现卡住
Root cause: Resource Mishandling

1.使用文档提供的默认参数范围，可以通过测试。'extra_params': {'start_date': '2024-12-01','end_date': '2025-01-01'} 
2.如果自己设置范围，向前增加更多验证题目，会卡在最后Reviewing(release_latest)剩余 2%左右。
![Image](https://github.com/user-attachments/assets/3d63cc52-390c-4af7-9e90-b0339574e233)

我这边测试没有复现这个问题，评测时设置了默认的超时时间为6s，超过了会跳过的。看一下使用的评测命令和evalscope版本，控制台有其他的报错吗

![Image](https://github.com/user-attachments/assets/28cb6aa3-87c8-443e-8767-159329a41675)

@Yunnglin 

![Image](https://github.com/user-attachments/assets/a778a7d8-2830-4fca-a6ee-5f4477278bea)

也卡住

> @Yunnglin 
> 
> ![Image](https://github.com/user-attachments/assets/a778a7d8-2830-4fca-a6ee-5f4477278bea)
> 
> 也卡住

使用的evalscope版本是哪个，贴一下启动命令

> > [@Yunnglin](https://github.com/Yunnglin)
> > ![Image](https://github.com/user-attachments/assets/a778a7d8-2830-4fca-a6ee-5f4477278bea)
> > 也卡住
> 
> 使用的evalscope版本是哪个，贴一下启动命令

Name: evalscope
Version: 0.13.0


task_config = TaskConfig(
    api_url='http://*****',  # Inference service address
    model='****B',  # Model name (must match the deployed model name)
    eval_type='service',  # Evaluation type; SERVICE indicates evaluating the inference service
    datasets=datasets,  # Dataset name  ceval gpqa aime24 chinese_simpleqa  live_code_bench
    dataset_args=dataset_args,  # Dataset parameters
    eval_batch_size=1,  # Number of concurrent requests
    generation_config={
        'max_tokens': 30000,  # Maximum number of tokens to generate; recommended to set a high value to avoid truncation
        'temperature': 0.6,  # Sampling temperature (recommended value from Qwen)
        'top_p': 0.95,  # Top-p sampling (recommended value from Qwen)
        'top_k': 40,  # Top-k sampling (recommended value from Qwen)
        'n': 1,  # Number of responses generated for each request
    },
    stream=True,               # 是否使用流式请求，推荐设置为True防止请求超时
    timeout=60000,
}
)

复现不了这个问题 :(

执行命令里面加上
```bash
use_cache=outputs/2025_xxxx,
judge_worker_num=16,
```
可以重新运行一遍review，不会重新运行generate，再试一试呢

> 复现不了这个问题 :(
> 
> 执行命令里面加上
> 
> use_cache=outputs/2025_xxxx,
> judge_worker_num=16,
> 可以重新运行一遍review，不会重新运行generate，再试一试呢

只评估，还是卡住，

![Image](https://github.com/user-attachments/assets/202d53e8-b60e-4098-b00e-798048ff2335)

然后我用'extra_params': {'start_date': '2024-12-01','end_date': '2025-01-01'}限制，也一直不动，

![Image](https://github.com/user-attachments/assets/a37ac9e6-5c53-4979-b78f-578f2bb7a8f1)

timeout对于eval_type='service'是外部url的时候，不起作用？

跟eval_type没有关系，我也是测试的远端url，能不能用py-spy看一下程序卡在哪里了

d

> 跟eval_type没有关系，我也是测试的远端url，能不能用py-spy看一下程序卡在哪里了

上面测试的机器用py-spy需要sudo权限，暂且看不了，等晚点开通权限后，再调试一下。然后就换了台机器跑，ok了，但是score是0

![Image](https://github.com/user-attachments/assets/8cf0dbeb-0618-430c-9f02-5e3acfd7f6d5)



对于reasoning模型可以在dataset_args里加一下后处理:

```python
'live_code_bench': {
    'extra_params': {
        'start_date': '2024-09-01',
        'end_date': '2024-09-30'
    },
    "filters": {"remove_until": "</think>"}
```

实测结果正常：
```text
+------------------------------+-----------------+----------+----------------+-------+---------+---------+
| Model                        | Dataset         | Metric   | Subset         |   Num |   Score | Cat.0   |
+==============================+=================+==========+================+=======+=========+=========+
| deepseek-r1-distill-qwen-32b | live_code_bench | Pass@1   | release_latest |    10 |     0.6 | default |
+------------------------------+-----------------+----------+----------------+-------+---------+---------+ 
```

@Yunnglin 

上面结果其实都加了你上面提的参数；目前评测的时候又卡了

<!-- Failed to upload "image.png" -->

![Image](https://github.com/user-attachments/assets/bad36e43-76fa-410a-ae90-2676146b6057)

> [@Yunnglin](https://github.com/Yunnglin)
> 
> 上面结果其实都加了你上面提的参数；目前评测的时候又卡了
> 
> ![Image](https://github.com/user-attachments/assets/bad36e43-76fa-410a-ae90-2676146b6057)

![Image](https://github.com/user-attachments/assets/15e72cac-449b-4f1e-adda-76c2cf47186e)

这个应该是偶现的，livecodebench官方代码的问题：https://github.com/LiveCodeBench/LiveCodeBench/issues/76

> 这个应该是偶现的，livecodebench官方代码的问题：[LiveCodeBench/LiveCodeBench#76](https://github.com/LiveCodeBench/LiveCodeBench/issues/76)

@Yunnglin 目前我测试了5次，无论是全量880，还是部分，把judge_worker_num设置1，评估的时候都有结果，judge_worker_num大就会出现卡住，不确定是不是跟多线程相关。

还有，qwen2.5-72b-instruct官方2305-2409区间得分是55.5，我这边自测好像低不少，这是什么原因？

![Image](https://github.com/user-attachments/assets/06631c09-76da-48f2-86f2-56050636a3c8)

![Image](https://github.com/user-attachments/assets/2105e8fc-a5f3-4624-ac85-c87abff8043b)


qwen2.5官方报告中没有给评测的具体setting，包括generation config等，自己评测的指标跟官方可能有些差距

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！