Repository: modelscope/evalscope
Issue: Qwen2.5-VL-7B-Instruct 测试结果异常
Root cause: Documentation Deficiency

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [1] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [1] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [1] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述

对Qwen2.5-VL-7B-Instruct进行测试时，如果设置提示词长度为1175，测试结果似乎不符合常理，TTFT随着并发的提高并没有表现出提高的现象。提示词长度为2645、4700、10580时均不会出现此现象。我已在两台服务器上测试，测试结果都是这样。

## EvalScope 版本（必填）
v0.xx.x

## 使用的工具
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [1] Perf / 模型推理压测工具
- [ ] Arena / 竞技场模式

## 执行的代码或指令

```
from evalscope.perf.main import run_perf_benchmark
from evalscope.perf.arguments import Arguments

task_cfg = Arguments(
    parallel=[1, 4, 8, 12, 16, 20, 30],
    number=[2, 8, 16, 24 ,32, 40, 60],
    model='Qwen2.5-VL-7B-Instruct',
    url='http://127.0.0.1:8860/v1/chat/completions',
    api='openai',
    dataset='random',
    min_tokens=512,
    max_tokens=512,
    prefix_length=0,
    min_prompt_length=1175,
    max_prompt_length=1175,
    rate=30,
    tokenizer_path='/root/tmgenius-installer-v2/weights/Qwen2.5-VL-7B-Instruct',
    extra_args={'ignore_eos': True}
)
results = run_perf_benchmark(task_cfg)
```

## 错误日志

| Conc. | RPS  | Avg Lat.(s) | P99 Lat.(s) | Gen. toks/s | Avg TTFT(s) | P99 TTFT(s) | Avg TPOT(s) | P99 TPOT(s) | Success Rate |
|-------|------|-------------|-------------|-------------|-------------|-------------|-------------|-------------|--------------|
| 1     | 0.20 | 10.117      | 10.151      | 100.88      | 0.142       | 0.145       | 0.019       | 0.020       | 100.0%       |
| 4     | 0.19 | 21.061      | 21.157      | 97.06       | 7.270       | 9.768       | 0.027       | 0.041       | 100.0%       |
| 8     | 0.44 | 18.103      | 22.916      | 225.60      | 2.570       | 10.478      | 0.030       | 0.045       | 100.0%       |
| 12    | 0.63 | 19.004      | 23.513      | 321.49      | 5.198       | 10.202      | 0.027       | 0.046       | 100.0%       |
| 16    | 1.00 | 15.918      | 16.314      | 510.07      | 1.848       | 2.765       | 0.028       | 0.031       | 100.0%       |
| 20    | 0.82 | 24.096      | 24.386      | 420.85      | 9.464       | 10.513      | 0.029       | 0.047       | 100.0%       |
| 30    | 1.59 | 18.658      | 18.975      | 812.22      | 2.216       | 3.515       | 0.032       | 0.037       | 100.0%       |


## 运行环境

- 操作系统：Ubuntu 22.04
- Python版本：3.10

## 其他信息

如果有其他相关信息，请在此处提供。


去掉 rate=30 的限制再试一下呢

@Yunnglin
| Conc. | RPS  | Avg Lat.(s) | P99 Lat.(s) | Gen. toks/s | Avg TTFT(s) | P99 TTFT(s) | Avg TPOT(s) | P99 TPOT(s) | Success Rate |
|-------|------|-------------|-------------|-------------|-------------|-------------|-------------|-------------|--------------|
| 1     | 0.19 | 10.296      | 10.326      | 99.16       | 0.147       | 0.150       | 0.020       | 0.020       | 100.0%       |
| 4     | 0.19 | 20.929      | 21.084      | 97.84       | 7.306       | 9.836       | 0.027       | 0.041       | 100.0%       |
| 8     | 0.60 | 13.263      | 13.372      | 308.73      | 0.848       | 1.099       | 0.024       | 0.026       | 100.0%       |
| 12    | 0.81 | 14.865      | 14.900      | 413.06      | 1.605       | 1.861       | 0.026       | 0.029       | 100.0%       |
| 16    | 0.98 | 16.288      | 16.363      | 502.65      | 2.421       | 2.743       | 0.027       | 0.031       | 100.0%       |
| 20    | 1.22 | 16.319      | 16.719      | 626.83      | 2.083       | 3.007       | 0.028       | 0.032       | 100.0%       |
| 30    | 1.60 | 18.703      | 18.907      | 820.30      | 2.482       | 3.604       | 0.032       | 0.036       | 100.0%       |

还是这样的

你的模型服务看起来没到瓶颈，可尝试更高的并发，以及更多请求：
```python
parallel=[1, 4, 8, 16, 32, 64, 128, 256],
number=[5, 20, 40, 80 ,160, 320, 640, 1280],
```

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！