Repository: modelscope/evalscope
Issue: min_prompt_length与max_prompt_length参数效果
Root cause: Validation Gap

## 自查清单

在提交 issue 之前，请确保您已完成以下步骤:
- [x] 我已仔细阅读了[相关使用说明文档](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)
- [x] 我已查看了[常见问题解答](https://evalscope.readthedocs.io/zh-cn/latest/get_started/faq.html)
- [x] 我已搜索并查看了现有的 issues，确认这不是一个重复的问题

## 问题描述
task_cfg = {
        "url": "https://aigate-dev.catl.com/v1/chat/completions",
        "api_key": ds_api_key,
        "parallel": 14,        # 并行请求数量
        "model": "DeepSeek-V3.1-Terminus-128K-nonthinking",
        "number": 28,          # 总请求数量
        "api": "openai",
        "dataset": "random",    # 测试数据集
        "stream": True,
        "tokenizer_path": "./benchmarks/DeepSeek-V3.1-tokenizer/",
        "min_prompt_length": 102400,
        "max_prompt_length": 102400,
        "max_tokens":1024,
        "min_tokens":1024
}
我的压测参数是这么设置的，"min_prompt_length"和"max_prompt_length"设的都是102400，但是压测结果显示：

+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+    
| Percentiles | TTFT (s) | ITL (s) | TPOT (s) | Latency (s) | Input tokens | Output tokens | Output (tok/s) | Total (tok/s) |    
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+    
|     10%     | 81.7659  | 0.1132  |   0.0    |  184.8897   |    102403    |       0       |      0.0       |    340.179    |    
|     25%     | 159.5441 | 0.1145  |   0.0    |   185.005   |    102403    |       0       |      0.0       |   342.4598    |    
|     50%     | 184.9968 | 0.1155  |   0.0    |  185.6277   |    191283    |       0       |      0.0       |   1033.8139   |    
|     66%     | 185.0569 | 0.1163  |   0.0    |  185.6805   |    194797    |       0       |      0.0       |   1049.6174   |    
|     75%     | 185.5723 | 0.1169  |  0.142   |  302.0121   |    198006    |     1024      |     3.3593     |   1069.8389   |    
|     80%     | 185.6277 | 0.1172  |   0.18   |  303.1879   |    202682    |     1024      |     3.368      |   1096.3421   |    
|     90%     | 185.6605 | 0.1182  |  0.2356  |  304.6297   |    205861    |     1024      |     3.3835     |   1106.4434   |    
|     95%     | 185.6805 | 0.1204  |  0.2539  |  304.8262   |    206710    |     1024      |     3.3906     |   1113.3765   |    
|     98%     | 186.1306 | 2.1751  |  0.2729  |  305.1753   |    209224    |     1024      |     3.398      |   1131.6155   |    
|     99%     | 186.1306 | 3.5644  |  0.2729  |  305.1753   |    209224    |     1024      |     3.398      |   1131.6155   |   
...

input token在25%之后会变的很大

## EvalScope 版本（必填）
v0.1.0

## 使用的工具
- [ ] Opencompass backend


## 执行的代码或指令

from evalscope.perf.main import run_perf_benchmark

if __name__ == '__main__':
    # DeepSeek API密钥
    ds_api_key = '...'  # 替换为你的API密钥
    
    task_cfg = {
        "url": "...",
        "api_key": ds_api_key,
        "parallel": 14,        # 并行请求数量
        "model": "DeepSeek-V3.1-Terminus-128K-nonthinking",
        "number": 28,          # 总请求数量
        "api": "openai",
        "dataset": "random",    # 测试数据集
        "stream": True,
        "tokenizer_path": "./benchmarks/DeepSeek-V3.1-tokenizer/",
        "min_prompt_length": 16384,
        "max_prompt_length": 16384,
        "max_tokens":1024,
        "min_tokens":1024
        #"min_prompt_length": 30000,
        #"max_prompt_length": 64000
        # "wandb_api_key": "xxx-xxx",  # 可选：用于结果记录
    }

    run_perf_benchmark(task_cfg)

## 错误日志

没有报错，只是压测结果输出奇怪，见问题描述

## 运行环境

- 操作系统：
- Python版本：
python 3.12.0

## 其他信息

如果有其他相关信息，请在此处提供。


请问你使用evalscope版本是多少

> 请问你使用evalscope版本是多少

v0.1.0

最新版是v1.1.1，你升级到最新版再试试呢

> 最新版是v1.1.1，你升级到最新版再试试呢

好的我试一下


> 最新版是v1.1.1，你升级到最新版再试试呢

老师，我已经升级到了1.1.1，还是有类似问题：
Percentile results:
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+  
| Percentiles | TTFT (s) | ITL (s) | TPOT (s) | Latency (s) | Input tokens | Output tokens | Output (tok/s) | Total (tok/s) |  
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+  
|     10%     |  0.1434  | 0.0318  |  0.034   |   4.3993    |     1028     |      123      |    26.8232     |   135.1453    |  
|     25%     |  0.1465  | 0.0331  |  0.0345  |   5.4674    |     1028     |      157      |     26.935     |   139.8138    |  
|     50%     |  0.1729  | 0.0347  |  0.0354  |   7.6255    |     1028     |      215      |    27.8757     |   178.6003    |  
|     66%     |  0.1856  | 0.0358  |  0.0361  |   9.1257    |     1028     |      256      |    28.0939     |   210.5883    |  
|     75%     |  0.1859  | 0.0367  |  0.0365  |   9.4756    |     1028     |      256      |    28.3539     |   216.7409    |  
|     80%     |  0.2057  | 0.0373  |  0.0365  |   9.4998    |     1028     |      256      |    28.7159     |   245.9759    |  
|     90%     |  0.3289  | 0.0388  |  0.0367  |   9.5044    |     1028     |      256      |     28.99      |   272.8439    |  
|     95%     |  0.4118  | 0.0401  |  0.0368  |   9.5317    |     1028     |      256      |    29.4515     |   591.8429    |  
|     98%     |  0.4118  | 0.0478  |  0.0368  |   9.5317    |     1028     |      256      |    29.4515     |   591.8429    |  
|     99%     |  0.4118  | 0.0717  |  0.0368  |   9.5317    |     1028     |      256      |    29.4515     |   591.8429    |  
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+ 

        "min_prompt_length": 1024,
        "max_prompt_length": 1024,
        "max_tokens":256,
        "min_tokens":256
我输入输出参数是这样的，但结果显示10%-50%的输出参数是123-215,后面才变成256，这是为什么呢

能否给出您完整的evalscope运行脚本？

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！