Repository: modelscope/evalscope
Issue: 是否可以对在线 API 进行模型评估
Root cause: Documentation Deficiency

现在的 openai_api_base 好像是只用来做 judge，无法作为被评测的 API，对于一些在线部署的模型（例如 OpenAI、Claude）或者已经在本地部署好的模型能做评测吗？

可以的，目前可以使用vLLM、trt-llm、lmdeploy这些推理框架拉起模型服务，或者transformers自己写个简单的推理服务也可以，只要符合OpenAI API格式即可，我们后续再补充一下文档和最佳实践，提供一些example

> 可以的，目前可以使用vLLM、trt-llm、lmdeploy这些推理框架拉起模型服务，或者transformers自己写个简单的推理服务也可以，只要符合OpenAI API格式即可，我们后续再补充一下文档和最佳实践，提供一些example

👍  是哪个参数啊，顺着 `evalscope/run.py` 看，BaseModelAdapter 有 MultiChoiceModelAdapter、ContinuationLogitsModelAdapter、ChatGenerationModelAdapter
、CustomModelAdapter，前三个我看都是会把模型拉起来，是需要自己写一个 CustomModelAdapter 么

> 可以的，目前可以使用vLLM、trt-llm、lmdeploy这些推理框架拉起模型服务，或者transformers自己写个简单的推理服务也可以，只要符合OpenAI API格式即可，我们后续再补充一下文档和最佳实践，提供一些example

感谢，希望尽快提供example😊

如果要评测VLM可以参考 [eval-scope/examples/example_eval_vlm_swift.py](https://github.com/modelscope/evalscope/blob/main/examples/example_eval_vlm_swift.py)
如果要评测LLM可以参考 [eval-scope/examples/example_eval_swift_openai_api.py](https://github.com/modelscope/evalscope/blob/main/examples/example_eval_swift_openai_api.py)
这里两个实践都可使用 [Swift](https://github.com/modelscope/swift) 来拉起服务，或者使用vllm、lmdeploy拉起服务

> 如果要评测VLM可以参考 [eval-scope/examples/example_eval_vlm_swift.py](https://github.com/modelscope/evalscope/blob/main/examples/example_eval_vlm_swift.py) 如果要评测LLM可以参考 [eval-scope/examples/example_eval_swift_openai_api.py](https://github.com/modelscope/evalscope/blob/main/examples/example_eval_swift_openai_api.py) 这里两个实践都可使用 [Swift](https://github.com/modelscope/swift) 来拉起服务，或者使用vllm、lmdeploy拉起服务

多谢，参考这个已经跑起来了

请问如果是使用VLM评测LLM benchmark如何评估嘞

> 请问如果是使用VLM评测LLM benchmark如何评估嘞

使用VLM评测LLM benchmark 跟 LLM的使用方法一致，提供一个openai api格式的API服务即可，支持的VLM评测集参考：https://evalscope.readthedocs.io/zh-cn/latest/get_started/supported_dataset/vlm.html

感谢您的及时回复，可能我的表达不是很清晰。

模型类型：VLM
希望评测的benchmark：LLM的，例如ifeval

我现在是通过VLLM起一个API服务之后来评测，但是很奇怪的是经常快速推进很多条测评数据后，进度条卡死。您遇到过这种情况吗？

<img width="1630" height="104" alt="Image" src="https://github.com/user-attachments/assets/ff10d1d3-8aff-4670-bd20-1438ab8f38a6" />



> 我现在是通过VLLM起一个API服务之后来评测，但是很奇怪的是经常快速推进很多条测评数据后，进度条卡死。您遇到过这种情况吗？
> 
> <img alt="Image" width="1630" height="104" src="https://private-user-images.githubusercontent.com/111979510/487653760-ff10d1d3-8aff-4670-bd20-1438ab8f38a6.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NTc0OTA3NTAsIm5iZiI6MTc1NzQ5MDQ1MCwicGF0aCI6Ii8xMTE5Nzk1MTAvNDg3NjUzNzYwLWZmMTBkMWQzLThhZmYtNDY3MC1iZDIwLTE0MzhhYjhmMzhhNi5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjUwOTEwJTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI1MDkxMFQwNzQ3MzBaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT04NGQ5NzFmYjcwMmEwMThkMjI5ZjQ0NGMzMzA0NTMxZmVhOGQ4N2M5ZWIwNTJkNzI0YjRhYjJlMTdhMjFjZmFmJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.sLn9ZAwn68WzyMDKznpYD7Pevyc2Qupxqio8TlYq0pc">

这种卡住会持续多久呢，一般是因为模型在某条数据上的输出比较长，多等一等会完成吗

多等等是可以的，就是太久了。4卡H20部署的VLM也会卡，这个有没有办法规避呀老哥



---- 回复的原邮件 ----
| 发件人 | Yunlin ***@***.***> |
| 日期 | 2025年09月10日 15:50 |
| 收件人 | ***@***.***> |
| 抄送至 | Qinyu ***@***.***>***@***.***> |
| 主题 | Re: [modelscope/evalscope] 是否可以对在线 API 进行模型评估 (Issue #89) |
Yunnglin left a comment (modelscope/evalscope#89)

我现在是通过VLLM起一个API服务之后来评测，但是很奇怪的是经常快速推进很多条测评数据后，进度条卡死。您遇到过这种情况吗？

这种卡住会持续多久呢，一般是因为模型在某条数据上的输出比较长，多等一等会完成吗

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: ***@***.***>

> 多等等是可以的，就是太久了。4卡H20部署的VLM也会卡，这个有没有办法规避呀老哥
> […](#)

1. 可以限制模型的最大输出长度
2. 也可以设置`timeout=30`和`ignore_errors=True`试试，会跳过超时的请求

感谢您的回复，祝您生活愉快



---- 回复的原邮件 ----
| 发件人 | Yunlin ***@***.***> |
| 日期 | 2025年09月10日 17:26 |
| 收件人 | ***@***.***> |
| 抄送至 | Qinyu ***@***.***>***@***.***> |
| 主题 | Re: [modelscope/evalscope] 是否可以对在线 API 进行模型评估 (Issue #89) |
Yunnglin left a comment (modelscope/evalscope#89)

多等等是可以的，就是太久了。4卡H20部署的VLM也会卡，这个有没有办法规避呀老哥
…

可以限制模型的最大输出长度
也可以设置timeout=30和ignore_errors=True试试，会跳过超时的请求

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: ***@***.***>