zhiminy/EvalEng huggingface dataset:
Repository: modelscope/evalscope
Issue: 压测vllm接口报错
Root cause: Validation Gap

测试命令：
evalscope perf --url 'http://ip:port/v1/chat/completions' --parallel 1 --model 'Qwen2.5-14b' --log-every-n-query 10 --read-timeout=1200 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": [{"role": "user", "content": "%p"}], "stream": true, "temperature": 0.1}' --prompt '你好'


其中prompt为固定的输入

报错：- perf - http_client.py - send_requests_worker - 564 - ERROR - Request: {'model': 'Qwen2.5-14b', 'messages': {'role': 'user', 'content': '你好'}, 'stream': True, 'temperature': 0.1} failed, state_code: 400, data: {"object": "error", "message": "[{'type': 'list_type', 'loc': ('body', 'messages'), 'msg': 'Input should be a valid list', 'input': {'role': 'user', 'content': '\u4f60\u597d'}}]", "type": "BadRequestError", "param": null, "code": 400}


好像没有对应的数据集吧

> 好像没有对应的数据集吧

设置了--prompt了
文档中写了  --prompt PROMPT       指定请求prompt，所有查询将使用此prompt

> > 好像没有对应的数据集吧
> 
> 设置了--prompt了 文档中写了 --prompt PROMPT 指定请求prompt，所有查询将使用此prompt



> > 好像没有对应的数据集吧
> 
> 设置了--prompt了 文档中写了 --prompt PROMPT 指定请求prompt，所有查询将使用此prompt

后面有解决吗？遇到一样的问题。开启debug看好像输入信息不对

2024-12-05 20:23:45,491 - evalscope - benchmark.py - send_requests_worker - 113 - ERROR - Request: {'messages': [{'role': 'user', 'content': '简单介绍LLM发展路径'}], 'model': 'default_model', 'max_tokens': 2048, 'min_tokens': 2048, 'seed': 42, 'temperature': 0.0} failed, state_code: 400, data: {"object": "error", "message": "[{'type': 'missing', 'loc': ('body', 'prompt'), 'msg': 'Field required', 'input': {'messages': [{'role': 'user', 'content': '简单介绍LLM发展路径'}], 'model': 'default_model', 'max_tokens': 2048, 'min_tokens': 2048, 'seed': 42, 'temperature': 0.0}}, {'type': 'extra_forbidden', 'loc': ('body', 'messages'), 'msg': 'Extra inputs are not permitted', 'input': [{'role': 'user', 'content': '简单介绍LLM发展路径'}]}]", "type": "BadRequestError", "param": null, "code": 400}

请问执行的命令是什么

> 请问执行的命令是什么

evalscope perf \
 --number 1 \
 --api openai \
 --url http://ip:port/v1/completions \
 --model default_model \
 --log-every-n-query 5 \
 --connect-timeout 6000 \
 --read-timeout 6000 \
 --max-tokens 2048 \
 --min-tokens 2048 \
 --prompt '简单介绍LLM发展路径' \
 --temperature 0 --debug
 
 
 我看测试的数据形式是：truncated_chunk='{"prompt": "hello", "model": "default_model"}'
 提示报错的数据形式是：truncated_chunk='{"messages": [{"role": "user", "content": "简单介绍LLM发展路径"}], "model": "default_model", "max_tokens": 2048, "min_tokens": 2048, "seed": 42, "temperature": 0.0}'
 区别在于后者少了prompt，多了messages

请使用v1/chat/completions接口

> 请使用v1/chat/completions接口

可以了～
但是压测不是推荐用 /v1/completions 吗？
![image](https://github.com/user-attachments/assets/1ba37e8d-f4cb-496b-abb1-a48efb26e398)


speed benchmark请使用completion接口，其他数据使用chat/completion
Repository: modelscope/evalscope
Issue: 带参数模版的使用方法，这样有问题么？
Root cause: Validation Gap

我预期发送参数模版
```
{
    "messages": [
        {
            "content": "xxxxxx ", // 所有查询将使用此prompt
            "role": "system"
        },
        {
            "content": "xxxxx", // 问题
            "role": "user"
        }
    ],
    "stream": true,
    "model": "Qwen2.5-72B-Instruct"
}
```

./datasets/my_data.jsonl
数据集内容格式
```
{"content":"xxxxxx ","role":"system"},{"content":"xxxxx","role":"user"}
{"content":"xxxxxx ","role":"system"},{"content":"xxxxx","role":"user"}
{"content":"xxxxxx ","role":"system"},{"content":"xxxxx","role":"user"}
```
执行命令：

evalscope perf --url 'http://ip:host/v1/chat/completions' --parallel 12 --model 'Qwen2.5-72B-Instruct' --log-every-n-query 10 --read-timeout=120 -n 1 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": [], "stream": true}' --dataset-path './datasets/my_data.jsonl'




目前有一个 bug，应该能用 https://github.com/modelscope/evalscope/pull/161 修复。

感谢，明天可以用上嘛？


如果您现在就需要使用的话，也可以尝试把 stream 参数放在 query-template 外。

```bash
--query-template '{"model": "%m", "messages": []}' --stream'
```

这样的形式应该是正确的。

thx
Repository: modelscope/evalscope
Issue: 输出日志显示字符乱码，预期显示中文字符
Root cause: Environment Incompatibility

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend 
- [ ] RAGEval backend
- [x] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:


evalscope perf --url 'http://xx:host/v1/chat/completions' --parallel 10 --model 'Qwen2.5-72B-Instruct' --log-every-n-query 10 --read-timeout=120 -n 10 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": []}' --dataset-path '/home/user/datasets/my_data.jsonl'


## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

![image](https://github.com/user-attachments/assets/f9b83f8a-24cb-44af-b708-62f53ce57220)


## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [] Windows
  - [x] macOS
  - [x] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [x] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


输出看起来不是乱码，而是终端没有正确配置unicode编码，尝试设置：
``` bash
export LANG=en_US.UTF-8
export LC_ALL=en_US.UTF-8
```

thx
Repository: modelscope/evalscope
Issue: 若设置最大输出tokens，想要让模型每次请求输出tokens数都打满这个最大输出token的值，或者接近这个值，需要怎么设置嘛？

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend 
- [ ] RAGEval backend
- [ * ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

evalscope perf --url 'http://xxxx:xxx/v1/chat/completions' --parallel 10 --model 'Qwen2.5-72B-Instruct' --log-every-n-query 10 --read-timeout=120 -n 10 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": []}' --dataset-path '/home/user/datasets/open_qa_1.jsonl' --wandb-api-key 'xxxxx' --name 'demo_9' --max-tokens 600  --stop-token-ids



## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [*] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [*] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


这个需要自定义prompt让模型去输出长文本，例如加上限制“不少于2000字”等

> 这个需要自定义prompt让模型去输出长文本，例如加上限制“不少于2000字”等

不能完全有效，比如 设置不少于 10000 字，实际还是会少于

是可能会有这个问题，目前的模型一次性输出很长的文本都不太行，除非专门进行过长文本微调。您可以多尝试构造不同的prompt，或增大 temperature、top_k 和 top_p

> > 这个需要自定义prompt让模型去输出长文本，例如加上限制“不少于2000字”等
> 
> 不能完全有效，比如 设置不少于 10000 字，实际还是会少于

并不是所有的大模型都能具备输出长文本的能力。可以参考这几个工作：

https://arxiv.org/abs/2408.07055
https://arxiv.org/abs/2410.10210

> > > 这个需要自定义prompt让模型去输出长文本，例如加上限制“不少于2000字”等
> > 
> > 
> > 不能完全有效，比如 设置不少于 10000 字，实际还是会少于
> 
> 并不是所有的大模型都能具备输出长文本的能力。可以参考这几个工作：
> 
> https://arxiv.org/abs/2408.07055 https://arxiv.org/abs/2410.10210

我验证的模型是 Qwen2.5-72B-Instruct 模型，官方说支持输入输出tokens可以到32k的

> 是可能会有这个问题，目前的模型一次性输出很长的文本都不太行，除非专门进行过长文本微调。您可以多尝试构造不同的prompt，或增大 temperature、top_k 和 top_p

这个只能试下了

> > > > 这个需要自定义prompt让模型去输出长文本，例如加上限制“不少于2000字”等
> > > 
> > > 
> > > 不能完全有效，比如 设置不少于 10000 字，实际还是会少于
> > 
> > 
> > 并不是所有的大模型都能具备输出长文本的能力。可以参考这几个工作：
> > https://arxiv.org/abs/2408.07055 https://arxiv.org/abs/2410.10210
> 
> 我验证的模型是 Qwen2.5-72B-Instruct 模型，官方说支持输入输出tokens可以到32k的

支持up to 32K token的输出，并不是说对于任何输入，都能保证输出达到指定长度的。 另外调整prompt，调整不同参数等，都会有不同的结果。
Repository: modelscope/evalscope
Issue: 测试的结果数据统计好像有问题，为什么 首token 平均时间和每个包平均时延 平均时延 是一样？
Root cause: Algorithmic Error

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend 
- [ ] RAGEval backend
- [*] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

evalscope perf --url 'http://xxxxxxx/v1/chat/completions' --parallel 10 --model 'Qwen2.5-72B-Instruct' --log-every-n-query 10 --read-timeout=120 -n 10 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": []}' --dataset-path '/home/user/datasets/open_qa.jsonl'

## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

![image](https://github.com/user-attachments/assets/e9c43a26-7ec9-4ec4-b70f-03820d3cdc2b)

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [*] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [*] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

工具版本
![image](https://github.com/user-attachments/assets/4646f415-bc6b-4342-b9c3-996cb3a68746)


如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


参考 https://github.com/modelscope/evalscope/issues/141
Repository: modelscope/evalscope
Issue: Windows 11 下执行异常 
Root cause: Environment Incompatibility

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend 
- [ ] RAGEval backend
- [*] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

evalscope perf --url 'http://xxxxx/v1/chat/completions' --parallel 3 --headers 'Authorization=Bearer sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx' --model 'Qwen2.5-72B-Instruct' --log-every-n-query 10 --read-timeout=120 -n 3 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": []}' --dataset-path 'D:\api_demo\eval\datasets\1k\ddd.jsonl'

## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

![image](https://github.com/user-attachments/assets/5cebd073-cc9f-42a1-b61d-c52d1f82f6cd)


## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [*] Windows
  - [ ] macOS
  - [ ] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [*] 3.10
  - [ ] 3.9
  - [ ] 
![image](https://github.com/user-attachments/assets/594b2a2d-edc3-47ec-b917-8fab217edf72)
![image](https://github.com/user-attachments/assets/bc7f446a-2751-4d40-a37e-b12d218cb929)



## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


目前请尝试拉取`feat/perf`分支代码并安装使用
```bash
git clone https://github.com/modelscope/evalscope.git
cd evalscope
git fetch origin feat/perf
git checkout feat/perf
pip install -e .
```
此外，现在支持了`--api-key`参数，无需在headers部分输入

由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 模型性能压测-evalscope perf-报错超时
Root cause: Configuration Error

## 问题描述 / Issue Description

使用 evalscope perf进行模型模型压测超时，报错：2024-11-04 10:53:20,827 - perf - http_client.py - post - 171 - ERROR - Timeout on reading data from socket


## 使用的工具 / Tools Used
- [ ] Perf / 模型推理压测工具


## 执行的代码或指令 / Code or Commands Executed


```bash
evalscope  perf --url 'http://127.0.0.1:8080/v1/chat/completions' --parallel 1 --model 'InternVL2-26B' --log-every-n-query 10 --read-timeout=1200 --dataset-path './open_qa.jsonl' -n 1000 --max-prompt-length 128000 --api openai --dataset openqa
 
```

## 错误日志 / Error Log
使用vllm部署的模型，openai API接口。
后端可以看到接口被正常调用了。
![image](https://github.com/user-attachments/assets/2e02279d-7f89-4cdc-87be-19ae3060c3d9)

运行 evalscope  perf ....  报错如下：
2024-11-04 10:53:20,827 - perf - http_client.py - post - 171 - ERROR - Timeout on reading data from socket


## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.9




我们修复一下这个问题

目前请尝试拉取`feat/perf`分支代码并安装使用
```bash
git clone https://github.com/modelscope/evalscope.git
cd evalscope
git fetch origin feat/perf
git checkout feat/perf
pip install -e .
```
Repository: modelscope/evalscope
Issue: 这些wandb指标数据可以获取到么
Root cause: Documentation Deficiency

## 问题描述 / Issue Description

![image](https://github.com/user-attachments/assets/f5f92bd7-195c-4da5-8f56-fe531a57920a)
这些图里面的指标数据可以获取到么。
![image](https://github.com/user-attachments/assets/6c67a561-be78-4353-94f7-4b6a402d6026)
跑完之后都是平均指标数据，没有图上的指标数据。


## 执行的代码或指令 / Code or Commands Executed
evalscope perf --url 'https://api.openai.com/v1/chat/completions' --parallel 4 --model 'qwen' --log-every-n-query 10 --read-timeout=120 -n 100 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": [{"role": "user","content": "%p"}], "stream": false,"skip_special_tokens": false,"stop": ["
"]}' --dataset openqa --dataset-path '/workspace/data/eval.jsonl'



请在启动时指定参数`--wandb-api-key 'your_wandb_api_key' --name 'name_of_wandb_and_result_db'`来使用wandb

> 请在启动时指定参数`--wandb-api-key 'your_wandb_api_key' --name 'name_of_wandb_and_result_db'`来使用wandb

好像启动命令添加这两个参数要打通连接wandb的网络，而且这个是不是只能在wandb平台上才能看到数据。我可以不打通wandb网络，直接获取到这些图表数据么

好像不行，除非自己私有化部署wandb

> 好像不行，除非自己私有化部署wandb

好吧
Repository: modelscope/evalscope
Issue: 我们evalscope支持多模态大模型的性能压测么
Root cause: Unimplemented Feature Gap

## 问题描述 / Issue Description

我们evalscope是否支持多模态大模型的性能压测，可以输出类似下面指标：
![image](https://github.com/user-attachments/assets/f6953f7a-5139-43fd-9d6c-6fc184bfe635)


目前不支持，正在重构这块代码，后续会加上的

> 目前不支持，正在重构这块代码，后续会加上的

这个后续计划什么时候上线

预计11月内完善这些功能

> 预计11月内完善这些功能

ok

目前已支持flickr8k这个图文数据集使用：

您可以拉取main分支代码，来使用最新的perf模块尝试，参考[使用指南](https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/index.html)。



由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！

补充，目前直接使用： pip install evalscope[perf] -U  即可， 目前版本： 0.7.0

详情参考：

1. QwQ-32B-Preview speed benchmark：
https://evalscope.readthedocs.io/zh-cn/latest/experiments/speed_benchmark/QwQ-32B-Preview.html

2. EvalScope GitHub: https://github.com/modelscope/evalscope

3. v0.7.0 Release note: https://github.com/modelscope/evalscope/releases/tag/v0.7.0


还有除 flickr8k 数据集以外的 其他数据集支持多模态大模型的性能压测吗


> 还有除 flickr8k 数据集以外的 其他数据集支持多模态大模型的性能压测吗

目前VLM压测主要是用flickr8k，这里跟任务相关，目前主要是覆盖了captioning任务，如果有其他需求也可以在这里提一下哈。

尽量提供更大的图片作为测试的数据集吧，不然每次输入token也就200多不到300，作为压力测试也太少了

> 尽量提供更大的图片作为测试的数据集吧，不然每次输入token也就200多不到300，作为压力测试也太少了

嗯，目前确实存在这个局限，我们近期再加一下更为复杂的benchmark

> > 尽量提供更大的图片作为测试的数据集吧，不然每次输入token也就200多不到300，作为压力测试也太少了
> 
> 嗯，目前确实存在这个局限，我们近期再加一下更为复杂的benchmark

感谢
Repository: modelscope/evalscope
Issue: evalscope 5.5 stream.日志不起作用
Root cause: Algorithmic Error

evalscope perf --url 'http://127.0.0.1:9600/v1/chat/completions' \
--parallel 128 --model 'Qwen2___5-32B-Instruct' --log-every-n-query 10 --read-timeout=360 \
--dataset-path '/home/ai/.cache/evalscope/open_qa.jsonl' -n 2048 --max-prompt-length 128000 \
--tokenizer-path '/home/ai/hub/Qwen2___5-32B-Instruct' \
--api openai --stop '
' --stream --dataset openqa

使用者命令 
<img width="1439" alt="image" src="https://github.com/user-attachments/assets/5d9d0856-7a6d-401b-9264-deb08ea9760e">
一致在输出流式的结果。5.2 是可以的

目前在修改这部分逻辑，临时使用的话请注释掉下面一行：
https://github.com/modelscope/evalscope/blob/671e71bd214eba1c7e9fa1f90e0f0d4ff9ab04e5/evalscope/perf/http_client.py#L570
Repository: modelscope/evalscope
Issue: 能否给个longwriter和toolbench使用openai接口测试的例子
Root cause: Documentation Deficiency

能否给个longwriter和toolbench使用openai接口测试的例子。任务字典的格式和其它的不一样

这两个是第三方原生任务的接入形式，自带的infer部分不支持openai api接口，我们准备在0.7.x版本重构一下，统一推理服务。

参考最新的文档： 
https://evalscope.readthedocs.io/zh-cn/latest/third_party/toolbench.html
https://evalscope.readthedocs.io/zh-cn/latest/third_party/longwriter.html

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: RAG测试样例中的测试集在什么地方下载，能否提供一下
Root cause: Documentation Deficiency


RAG测试样例在文档中有给出：参考 https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/rageval_backend/ragas.html#id3

测试集在哪下载？只能自己造吗？



---原始邮件---
发件人: "Yunlin ***@***.***&gt;
发送时间: 2024年11月11日(周一) 下午2:38
收件人: ***@***.***&gt;;
抄送: "Optimus ***@***.******@***.***&gt;;
主题: Re: [modelscope/evalscope] RAG测试样例中的测试集在什么地方下载，能否提供一下 (Issue #190)




 
RAG测试样例在文档中有给出：参考 https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/rageval_backend/ragas.html#id3
 
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***&gt;

是的，需要自己构造这个格式https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/rageval_backend/ragas.html#id3 的数据集，因为这个评估的是RAG流程，需要对应流程生成的数据。

好



---原始邮件---
发件人: "Yunlin ***@***.***&gt;
发送时间: 2024年11月11日(周一) 下午5:16
收件人: ***@***.***&gt;;
抄送: "Optimus ***@***.******@***.***&gt;;
主题: Re: [modelscope/evalscope] RAG测试样例中的测试集在什么地方下载，能否提供一下 (Issue #190)




 
是的，需要自己构造这个格式https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/rageval_backend/ragas.html#id3 的数据集，因为这个评估的是RAG流程，需要对应流程生成的数据。
 
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***&gt;
Repository: modelscope/evalscope
Issue: generate-ragas: Aborted request  
Root cause: Configuration Error

评测可以正常完成，生成用例的时候出现错误中止
![image](https://github.com/user-attachments/assets/d61a97c9-8401-42db-8263-d41d04774a04)
![image](https://github.com/user-attachments/assets/6dc319b8-98d7-4465-b9f2-826555630528)

是不是并发太多导致的？模型在L20上面2个GPU

有可能，可能是模型端推理较慢，导致超时了

好像没有可以设置并发的地方

请尝试修改：
https://github.com/modelscope/evalscope/blob/fb2e0fd4d951adc0740b3683829ffcd34570540b/evalscope/backend/rag_eval/ragas/tasks/testset_generation.py#L200

是否使用`pip install -e .`安装，我这边没有复现

上个问题解决了
`  runconfig = RunConfig(
        timeout=600, max_retries=1, max_wait=120, max_workers=1, log_tenacity=True
    )`
这样设置后执行的时候还是一次很多请求,另外请问文档分块的大小可以设置吗

可以尝试修改如下代码，来修改load_data的逻辑：
https://github.com/modelscope/evalscope/blob/fb2e0fd4d951adc0740b3683829ffcd34570540b/evalscope/backend/rag_eval/ragas/tasks/testset_generation.py#L161

![image](https://github.com/user-attachments/assets/6a502618-f75f-4251-bc96-5c8a2acac652)
提示词乱码

这是在自动进行prompt翻译，其中有hindi语言的例子，并不是乱码

试了几次 并发太多了 把llm搞得卡死了

ragas 最新0.2.4 不知道能不能解决这个问题

我们看一下，会兼容新版本


> 请尝试修改：
> 
> https://github.com/modelscope/evalscope/blob/fb2e0fd4d951adc0740b3683829ffcd34570540b/evalscope/backend/rag_eval/ragas/tasks/testset_generation.py#L200

我在这个路径下修改了，但是执行的时候还是默认的run_config：
`/home/alg/qdl/evalscope/package/evalscope/backend/rag_eval/ragas/tasks/testset_generation.py`

![image](https://github.com/user-attachments/assets/7a2112c8-50b1-4ba5-a0a9-fa53a8a05830)


重新安装后正常了

 apply_transforms 没有传runconfig ,导致并发太多
`evalscope/backend/rag_eval/ragas/tasks/testset_generation.py#get_knowledge_graph  ` 



这个问题我们会在兼容ragas新版本时一并修复
Repository: modelscope/evalscope
Issue: 评估提示模板
Root cause: Documentation Deficiency

评估模型时，可以自定义提示模板吗？

目前还不支持，目前使用的是默认template

现在可以自定义 chat-template 和 数据集的 prompt，请查看[参数指南](https://evalscope.readthedocs.io/zh-cn/latest/get_started/parameters.html)

> 由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: opencompass数据集中safety板块数据集支持
Root cause: Unimplemented Feature Gap

我按照“评测后端”中的“opencompass”教程，使用链接下载的方式下载了数据集包并解压，在用python字典配置好配置文件并运行后，发现在“支持的数据集”中列出的许多数据集似乎暂时不支持调用，比如我比较感兴趣的opencompass数据集中“safety”板块中的五个数据集。

我通过邮件询问maoyunlin后得知目前暂不支持safety模块中的五个数据集，希望可以在未来的版本中支持opencompass中safety板块的数据集吗，非常感谢！


需求收到，近期将支持上去。

感谢∩▂∩

@wangxingjun778 还有长文本板块的数据集。

预计在0.9大版本支持。

收到，非常感谢

On Mon, Dec 30, 2024 at 8:23 PM Xingjun.Wang ***@***.***>
wrote:

> 预计在0.9大版本支持。
>
> —
> Reply to this email directly, view it on GitHub
> <https://github.com/modelscope/evalscope/issues/197#issuecomment-2565416160>,
> or unsubscribe
> <https://github.com/notifications/unsubscribe-auth/A7GIKUNR5A6ZB6EMTOBIMY32IE3K5AVCNFSM6AAAAABRTTVSZ6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDKNRVGQYTMMJWGA>
> .
> You are receiving this because you authored the thread.Message ID:
> ***@***.***>
>
Repository: modelscope/evalscope
Issue: bbh测试集之前可以测，现在测不了了
Root cause: External Dependency Breakage

bbh测试集之前可以测，现在测不了了。会提示不在支持的测试集列表内

BBH前期有多个用户有report在使用中会出现import出错的问题（目前看是偶发，可能跟环境有关），在0.6.0版本做了临时移除，防止在以上环境block评测链路；  
可以使用如下版本： 
`pip install evalscope==0.6.0rc0` 来使用BBH  （跟0.6.0的唯一区别只有BBH）

偶发问题我们会尽快定位。

好

bbh目前可以使用了，请安装最新版本evalscope
> 由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 测试ragas时报错， nomodule named "evalscope.backend.rag_eval_utils'
Root cause: Environment Incompatibility

evalscope==0.6.0

测试ragas时报错， nomodule named "evalscope.backend.rag_eval_utils'

l另外，咨询一下 如何自定义模型及embedding模型

目前请尝试使用源码安装：https://evalscope.readthedocs.io/zh-cn/latest/get_started/installation.html#id2

自定义模型及embedding模型参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/rageval_backend/ragas.html#id5

你需要安装最新的evalscope



由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: perf统计性能数据问题
Root cause: Documentation Deficiency

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend 
- [ ] RAGEval backend
- [√ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


看了下代码，是根据流式最后一个data的usage来计算prompt_tokens和complete_tokens的，能否根据流式自己计算呢，有些服务流式不一定会返回usage。


有两种方法：
1. 传`--tokenizer-path`参数，我们将加载tokenizer来计算usage
2. 可以自定义API，继承`OpenaiPlugin`，重写`parse_responses`函数

> 有两种方法：
> 
> 1. 传`--tokenizer-path`参数，我们将加载tokenizer来计算usage
> 2. 可以自定义API，继承`OpenaiPlugin`，重写`parse_responses`函数

继承OpenaiPlugin就可以么，那执行参数需要变么？

重写parse responses函数，传入参数不要变

请参考[自定义API教程](https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/custom.html#api)

> 由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！
Repository: modelscope/evalscope
Issue: 关于few-shot的一些问题
Root cause: Configuration Error

请问为什么把benchmark的few-shot都写死成0了？自己手动设置few_shot_num=few_shot_num是否有问题，在测试hellaswag时zero-shot分数反而比10-shot高，感谢您的回复

Hi
1. 实验settings的问题，近两天会出一个增加配置化的版本（可以传yaml、dataclass or dict）；few-shot的设置同样包含在其中，做成配置化
2. 现有实验发现，模型在某些数据集上，0-shot上的表现确实会比k-shot上好。推测跟每个模型的Instruction following能力有关，k-shot prompts中会带有`patterns with bias`，反过来导致效果下降。 

另，如果不走配置文件的方式，如果从run命令中传入，可以采用如下方式： --dataset-args 参数中，传入 {'mmlu': {'few_shot_num': 5}, ...}  这样的方式，来设置该参数。

> 另，如果不走配置文件的方式，如果从run命令中传入，可以采用如下方式： --dataset-args 参数中，传入 {'mmlu': {'few_shot_num': 5}, ...} 这样的方式，来设置该参数。

了解！感谢您的回复！