Repository: modelscope/evalscope
Issue: 请问要评测qwen2.5-omni在DOCVQA test上的性能应该怎么做
Root cause: Documentation Deficiency

## 问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

## EvalScope 版本 / Version (必须)
v0.xx.x

## 使用的工具 / Tools Used
- [ ] Native / 原生框架
- [ ] Opencompass backend
- [ ] VLMEvalKit backend
- [ ] RAGEval backend
- [ ] Perf / 模型推理压测工具
- [ ] Arena  /竞技场模式


## 执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

```python
# 例如：执行的Python代码 / Python code executed
import some_module

some_module.some_function()
```

```bash
# 例如：在终端中执行的指令 / Terminal command executed
python script.py
```

## 错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

```
Traceback (most recent call last):
  File "script.py", line 10, in <module>
    main()
  File "script.py", line 5, in main
    do_something()
  File "some_module.py", line 20, in do_something
    raise ValueError("An error occurred")
ValueError: An error occurred
```

## 运行环境 / Runtime Environment

- 操作系统 / Operating System:
  - [ ] Windows
  - [ ] macOS
  - [ ] Ubuntu

- Python版本 / Python Version:
  - [ ] 3.11
  - [ ] 3.10
  - [ ] 3.9


## 其他信息 / Additional Information

如果有其他相关信息，请在此处提供。 / If there is any other relevant information, please provide it here.


需要使用VLMEvalKit backend，并拉起一个模型推理服务，具体可以参考使用文档：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/vlmevalkit_backend.html#id4

但是我看目前vlmevalkit还不支持 qwen2.5omni，使用VLMEvalKit backend可以评测？如果可以，能否给个详细的示例

vlmevalkit不支持qwen2.5omni直接推理，但可以用vLLM拉起一个模型推理服务，指定api url就可以评测了。

具体流程文档中有，用部署模型服务的方式评测：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/vlmevalkit_backend.html#id4

好的，我先参考文档试试

你好，我用vllm拉起服务之后测试了一下，在MMMU_val上只有51.6，官方论文里报告的是59.2，您能帮忙分析一下可能的原因吗，下面是用的命令

开启vllm服务
```bash
VLLM_USE_TRITON_FLASH_ATTN=1 VLLM_FLASH_ATTN_VERSION=2 VLLM_USE_V1=0 vllm serve Qwen/Qwen2.5-Omni-7B --port 8000 --host 127.0.0.1 --dtype bfloat16 --allowed-local-media-path / --served-model-name Qwen2.5-Omni-7B --limit-mm-per-prompt "image=5"
```

评估代码
```python
from evalscope import TaskConfig
from evalscope.run import run_task
from evalscope.summarizer import Summarizer

def run_eval():
    task_cfg_dict = TaskConfig(
        work_dir='outputs',
        eval_backend='VLMEvalKit',
        eval_config={
            'data': ['MMMU_DEV_VAL'],
            'mode': 'all',
            'model': [ 
                {'api_base': 'http://localhost:8000/v1/chat/completions',
                'key': 'EMPTY',
                'name': 'CustomAPIModel',
                'temperature': 0.0,
                'type': 'Qwen2.5-Omni-7B',
                'img_size': -1,
                'video_llm': False,
                'max_tokens': 1024,}
                ],
            'reuse': False,
            'nproc': 16,
            'judge': 'exact_matching'}
    )
    # 选项 1: python 字典
    task_cfg = task_cfg_dict

    # 选项 2: yaml 配置文件
    # task_cfg = 'eval_openai_api.yaml'

    run_task(task_cfg=task_cfg)

    print('>> Start to get the report with summarizer ...')
    report_list = Summarizer.get_report_from_cfg(task_cfg)
    print(f'\n>> The report list: {report_list}')

run_eval()
```

评测结果跟官方结果有点出入也算正常，有很多原因：官方使用的代码库不一样，可能模型generation config不一样，使用的prompt不一样等

> 感谢你的反馈！我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！