Repository: modelscope/evalscope
Issue: 使用evalscope工具测评qwen3在aime24上的表现，出现回答截断的情况
Root cause: Configuration Error

## 问题描述

使用evalscope工具测评qwen3在aime24上的表现分数只有0.5，与官方给出的81，有差距。查看报告中的问答结果，发现是回答过程被截断。

![Image](https://github.com/user-attachments/assets/539edc07-2b89-4bd3-9e66-439e4d4986ea)

## EvalScope 版本（必填）
Name: evalscope
Version: 0.16.1
Location: /usr/local/lib/python3.11/site-packages
Requires: accelerate, datasets, immutabledict, jieba, jsonlines, langdetect, latex2sympy2-extended, matplotlib, modelscope, nltk, openai, pandas, pillow, pyarrow, pyyaml, requests, rouge-chinese, rouge-score, sacrebleu, scikit-learn, seaborn, sympy, tabulate, torch, torchvision, tqdm, transformers, word2number
Required-by:

## 执行的代码或指令

nohup evalscope eval \
 --model qwen3 \
 --generation-config do_sample=true,temperature=0.6,max_tokens=32768,n=1,top_p=0.95,top_k=20 \
 --api-url "$url/v1/chat/completions" \
 --work-dir /model/evalscope/output \
 --eval-type service \
 --api-key EMPTY \
 --stream \
 --eval-batch-size 8 \
 --datasets  aime24 \
 --dataset-args '{"aime24": {"local_path": "/model/data/aime24/data","metric_list":["Pass@1","Pass@5"]},"ifeval": {"filters": {"remove_until": "</think>"}}}' > ./$FILE_NAME 2>&1 &

使用的API服务，服务在启动过程中，配置了模型最大输出为：32768
"ModelDeployConfig" :
        {
            "maxSeqLen" : 32768,
            "maxInputTokenLen" : 32768,
            "truncation" : false,
            "ModelConfig" : [
                {
                    "modelInstanceType" : "Standard",
                    "modelName" : "qwen3",
                    "modelWeightPath" : "/model/Qwen3-32B",
                    "worldSize" : 2,
                    "cpuMemSize" : 5,
                    "npuMemSize" : -1,
                    "backendType" : "atb",
                    "trustRemoteCode" : false
                }
            ]
        },

        "ScheduleConfig" :
        {
            "templateType" : "Standard",
            "templateName" : "Standard_LLM",
            "cacheBlockSize" : 128,

            "maxPrefillBatchSize" : 50,
            "maxPrefillTokens" : 32768,
            "prefillTimeMsPerReq" : 150,
            "prefillPolicyType" : 0,

            "decodeTimeMsPerReq" : 50,
            "decodePolicyType" : 0,

            "maxBatchSize" : 50,
            "maxIterTimes" : 32768,
            "maxPreemptCount" : 0,
            "supportSelectBatch" : false,
            "maxQueueDelayMicroseconds" : 5000
        }

请在命令中配置如下参数：

![Image](https://github.com/user-attachments/assets/5eb59a37-7fb4-427d-9aba-fb57c86a9615)

其中一次的测评任务，使用了如下配置：
--generation-config do_sample=true,temperature=0.6,max_length=65535,max_new_tokens=65535,max_tokens=65535,n=1,top_p=0.95,top_k=20 \
对话的结果还是会被截断

有样例吗，大概输出多少token被截断了

![Image](https://github.com/user-attachments/assets/b24c129b-6036-4444-8b72-83243d984cae)这个是样例，这里没有统计token，刚在测math_500也出现了同样的情况

刚注意到你用的模型API服务进行测试的，具体是什么模型推理框架呢，请求控制参数是哪些

推理框架用的是mindie 请求控制参数，这个在哪里查看呢？

看下这个文档，要使用兼容OpenAI的接口，但我这边没有测试mindie的环境，你可以再试一试
 https://www.hiascend.com/document/detail/zh/mindie/20RC2/mindieservice/servicedev/mindie_service0078.html



![Image](https://github.com/user-attachments/assets/fb9bafa6-164b-4a53-8cda-6644706b9a70)从官方报告来看，我们这边也是兼容的

你可以看一下服务端收到的请求参数是什么样的，是否符合预期

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！