Repository: open-compass/VLMEvalKit
Issue: qwen2.5VL-7B-Instruct 模型 MMMU(val)评测与官方不符
Root cause: Configuration Error

官方 58.6，使用 VLME 评测出44.4
不知道是什么原因

您好，请教一下测试qwen2.5vl-7b使用什么版本的transformers，我现在使用的是  4.49.0.dev0  在调用该工具有以下报错
ValueError: Trying to set a tensor of shape torch.Size([2048]) in "bias" (which has shape torch.Size([1280])), this looks incorrect.

> 您好，请教一下测试qwen2.5vl-7b使用什么版本的transformers，我现在使用的是 4.49.0.dev0 在调用该工具有以下报错 ValueError: Trying to set a tensor of shape torch.Size([2048]) in "bias" (which has shape torch.Size([1280])), this looks incorrect.

same problem

请问这个问题有解决的方法吗



---- 回复的原邮件 ----
| 发件人 | ***@***.***> |
| 日期 | 2025年02月22日 17:10 |
| 收件人 | ***@***.***> |
| 抄送至 | ***@***.***>***@***.***> |
| 主题 | Re: [open-compass/VLMEvalKit] qwen2.5VL-7B-Instruct 模型 MMMU(val)评测与官方不符 (Issue #797) |

您好，请教一下测试qwen2.5vl-7b使用什么版本的transformers，我现在使用的是 4.49.0.dev0 在调用该工具有以下报错 ValueError: Trying to set a tensor of shape torch.Size([2048]) in "bias" (which has shape torch.Size([1280])), this looks incorrect.

same problem

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: ***@***.***>

ganchun1130 left a comment (open-compass/VLMEvalKit#797)

您好，请教一下测试qwen2.5vl-7b使用什么版本的transformers，我现在使用的是 4.49.0.dev0 在调用该工具有以下报错 ValueError: Trying to set a tensor of shape torch.Size([2048]) in "bias" (which has shape torch.Size([1280])), this looks incorrect.

same problem

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: ***@***.***>

@ganchun1130 @sanshi9523 您好，Qwen2.5VL官方的transformers版本为**4.49.0**，请切换到该版本进行评测。

> [@ganchun1130](https://github.com/ganchun1130) [@sanshi9523](https://github.com/sanshi9523) 您好，Qwen2.5VL官方的transformers版本为**4.49.0**，请切换到该版本进行评测。

没用啊 卸载重新安装4.49.0，还是报同样的错误

@shawn0wang 您好，能麻烦share一下您的执行命令和模型的checkpoint name吗

> [@shawn0wang](https://github.com/shawn0wang) 您好，能麻烦share一下您的执行命令和模型的checkpoint name吗

HF_ENDPOINT=https://hf-mirror.com torchrun --nproc-per-node=1 run.py --data MMMU_DEV_VAL MathVista_MINI MME --model Qwen2.5-VL-7B-Instruct --work-dir /xxxx

@shawn0wang  您好，您的qwen2.5vl的checkpoint路径是什么呢？上面有同学解决了类似的问题[issue802](https://github.com/open-compass/VLMEvalKit/issues/802)。

我尝试发现，在数据读入的时候，好像image的图片只有路径，而且路径有可能是错的，并且type都是text，最后传入的prompt好像就只有路径，没有图片的tokens，我不知道有没有可能是这个问题，大家也可以打印看看，定义model的时候，verbose设置true即可看到输入的message，根本没有图片

> 我尝试发现，在数据读入的时候，好像image的图片只有路径，而且路径有可能是错的，并且type都是text，最后传入的prompt好像就只有路径，没有图片的tokens，我不知道有没有可能是这个问题，大家也可以打印看看，定义model的时候，verbose设置true即可看到输入的message，根本没有图片

您好，图片是会保存到本地的，路径一般是`index.jpg`，使用verbose并不会打印图片路径。不存在图片未输入的情况。

遇到同样的问题，是用vllm拉起的模型测试的：
```shell
CUDA_VISIBLE_DEVICES=0 VLLM_USE_MODELSCOPE=True python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-VL-7B-Instruct --port 8000 --trust-remote-code --max_model_len 8192 --served-model-name qwen2.5 --limit-mm-per-prompt "image=5"
```

结果：
```text
-----------------------------------  -------------------  -------------------
split                                validation           dev
Overall                              0.44333333333333336  0.3933333333333333
Accounting                           0.5333333333333333   0.4
Agriculture                          0.4                  0.0
Architecture_and_Engineering         0.23333333333333334  0.2
Art                                  0.43333333333333335  0.6
Art_Theory                           0.43333333333333335  0.4
Basic_Medical_Science                0.7                  0.6
Biology                              0.36666666666666664  0.2
Chemistry                            0.23333333333333334  0.2
Clinical_Medicine                    0.43333333333333335  0.4
Computer_Science                     0.43333333333333335  0.6
Design                               0.6666666666666666   0.4
Diagnostics_and_Laboratory_Medicine  0.13333333333333333  0.0
Economics                            0.4666666666666667   0.2
Electronics                          0.5                  0.8
Energy_and_Power                     0.3333333333333333   0.6
Finance                              0.43333333333333335  0.4
Geography                            0.4                  0.0
History                              0.7                  0.8
Literature                           0.9                  0.6
Manage                               0.3333333333333333   0.4
Marketing                            0.43333333333333335  0.4
Materials                            0.23333333333333334  0.2
Math                                 0.4                  0.2
Mechanical_Engineering               0.26666666666666666  0.0
Music                                0.2                  0.2
Pharmacy                             0.6                  0.6
Physics                              0.4                  0.0
Psychology                           0.7                  0.8
Public_Health                        0.6                  0.8
Sociology                            0.4                  0.8
Art & Design                         0.43333333333333335  0.4
Business                             0.44                 0.36
Health & Medicine                    0.49333333333333335  0.48
Humanities & Social Science          0.675                0.75
Science                              0.36                 0.12
Tech & Engineering                   0.34285714285714286  0.34285714285714286
-----------------------------------  -------------------  -------------------
```

> 遇到同样的问题，是用vllm拉起的模型测试的：
> 
> CUDA_VISIBLE_DEVICES=0 VLLM_USE_MODELSCOPE=True python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-VL-7B-Instruct --port 8000 --trust-remote-code --max_model_len 8192 --served-model-name qwen2.5 --limit-mm-per-prompt "image=5"
> 结果：
> 
> ```
> -----------------------------------  -------------------  -------------------
> split                                validation           dev
> Overall                              0.44333333333333336  0.3933333333333333
> Accounting                           0.5333333333333333   0.4
> Agriculture                          0.4                  0.0
> Architecture_and_Engineering         0.23333333333333334  0.2
> Art                                  0.43333333333333335  0.6
> Art_Theory                           0.43333333333333335  0.4
> Basic_Medical_Science                0.7                  0.6
> Biology                              0.36666666666666664  0.2
> Chemistry                            0.23333333333333334  0.2
> Clinical_Medicine                    0.43333333333333335  0.4
> Computer_Science                     0.43333333333333335  0.6
> Design                               0.6666666666666666   0.4
> Diagnostics_and_Laboratory_Medicine  0.13333333333333333  0.0
> Economics                            0.4666666666666667   0.2
> Electronics                          0.5                  0.8
> Energy_and_Power                     0.3333333333333333   0.6
> Finance                              0.43333333333333335  0.4
> Geography                            0.4                  0.0
> History                              0.7                  0.8
> Literature                           0.9                  0.6
> Manage                               0.3333333333333333   0.4
> Marketing                            0.43333333333333335  0.4
> Materials                            0.23333333333333334  0.2
> Math                                 0.4                  0.2
> Mechanical_Engineering               0.26666666666666666  0.0
> Music                                0.2                  0.2
> Pharmacy                             0.6                  0.6
> Physics                              0.4                  0.0
> Psychology                           0.7                  0.8
> Public_Health                        0.6                  0.8
> Sociology                            0.4                  0.8
> Art & Design                         0.43333333333333335  0.4
> Business                             0.44                 0.36
> Health & Medicine                    0.49333333333333335  0.48
> Humanities & Social Science          0.675                0.75
> Science                              0.36                 0.12
> Tech & Engineering                   0.34285714285714286  0.34285714285714286
> -----------------------------------  -------------------  -------------------
> ```

@Yunnglin 同vllm拉起qwen2.5-vl-7b-instruct，MMMU精度低，请问您解决了吗？

我测出3B的精度也低了四个点

我这边  Qwen 2.5 VL 在MMMU 也是 43左右。。。有解法吗

我也是复测44

Using ChatGPT val rather than exact matching may work. you can try it

使用openai api key辅助测试出来发现qwen2_5_vl还是比官方测出来的低3个点：

```
-----------------------------------  -------------------  -------------------
split                                dev                  validation
Overall                              0.4866666666666667   0.5066666666666667
Accounting                           0.6                  0.4
Agriculture                          0.4                  0.5666666666666667
Architecture_and_Engineering         0.0                  0.23333333333333334
Art                                  0.4                  0.5666666666666667
Art_Theory                           0.8                  0.7333333333333333
Basic_Medical_Science                0.8                  0.6666666666666666
Biology                              0.6                  0.4666666666666667
Chemistry                            0.4                  0.36666666666666664
Clinical_Medicine                    0.4                  0.5333333333333333
Computer_Science                     0.6                  0.5666666666666667
Design                               0.6                  0.7666666666666667
Diagnostics_and_Laboratory_Medicine  0.6                  0.4666666666666667
Economics                            0.6                  0.36666666666666664
Electronics                          0.4                  0.5666666666666667
Energy_and_Power                     0.4                  0.3
Finance                              0.8                  0.4
Geography                            0.0                  0.5
History                              1.0                  0.7333333333333333
Literature                           0.8                  0.8333333333333334
Manage                               0.4                  0.5
Marketing                            0.0                  0.5666666666666667
Materials                            0.4                  0.36666666666666664
Math                                 0.6                  0.36666666666666664
Mechanical_Engineering               0.4                  0.3
```
                     

https://github.com/QwenLM/Qwen2.5-VL/tree/main/evaluation/mmmu
用这个可以复现官方的mmmu结果

any update on this, I am using openai api, the results for qwen 3b and 7b are both lower 

> 您好，请教一下测试qwen2.5vl-7b使用什么版本的transformers，我现在使用的是 4.49.0.dev0 在调用该工具有以下报错 ValueError: Trying to set a tensor of shape torch.Size([2048]) in "bias" (which has shape torch.Size([1280])), this looks incorrect.

我用了支持qwen3的环境，transformers：4.54.0.dev0， 可以跑

> any update on this, I am using openai api, the results for qwen 3b and 7b are both lower

It's kind of weird. Maybe you can check carefully if the openai API is valid. If it can be used, there will be information about that in the terminal. Then run it from scratch.

我这边测试Qwen2.5-VL-7B-Instruct
```
torchrun --nproc-per-node=2 run.py --data MMStar --model Qwen2.5-VL-7B-Instruct --verbose
```
第一次是0.603
然后我对比https://github.com/QwenLM/Qwen2.5-VL/blob/main/evaluation/mmmu/run_mmmu.py中的代码，发现 use_custom_prompt 官方设置为True, 而 VLMEvalKit 中设置为False， 我修改后重新测试，结果为0.615。



gpt-4o -----------------------------------  -------------------  -------------------
split                                validation           dev
Overall                              0.5122222222222222   0.49333333333333335
Accounting                           0.43333333333333335  0.4
Agriculture                          0.5                  0.2
Architecture_and_Engineering         0.26666666666666666  0.2
Art                                  0.6666666666666666   1.0
Art_Theory                           0.8333333333333334   0.8
Basic_Medical_Science                0.6333333333333333   0.8
Biology                              0.36666666666666664  0.8
Chemistry                            0.36666666666666664  0.2
Clinical_Medicine                    0.4666666666666667   0.4
Computer_Science                     0.6333333333333333   0.6
Design                               0.8                  0.6
Diagnostics_and_Laboratory_Medicine  0.3333333333333333   0.4
Economics                            0.43333333333333335  0.0
Electronics                          0.3333333333333333   0.4
Energy_and_Power                     0.4                  0.4
Finance                              0.36666666666666664  0.4
Geography                            0.43333333333333335  0.2
History                              0.7333333333333333   1.0
Literature                           0.8666666666666667   0.6
Manage                               0.4666666666666667   0.4
Marketing                            0.43333333333333335  0.4
Materials                            0.3                  0.2
Math                                 0.6                  0.4
Mechanical_Engineering               0.36666666666666664  0.0
Music                                0.36666666666666664  0.6
Pharmacy                             0.7                  0.8
Physics                              0.36666666666666664  0.4
Psychology                           0.7333333333333333   0.8
Public_Health                        0.6666666666666666   0.6
Sociology                            0.5                  0.8
Art & Design                         0.6666666666666666   0.75
Business                             0.4266666666666667   0.32
Health & Medicine                    0.56                 0.6
Humanities & Social Science          0.7083333333333334   0.8
Science                              0.4266666666666667   0.4
Tech & Engineering                   0.4                  0.2857142857142857
-----------------------------------  -------------------  -------------------

> 我这边测试Qwen2.5-VL-7B-Instruct
> 
> ```
> torchrun --nproc-per-node=2 run.py --data MMStar --model Qwen2.5-VL-7B-Instruct --verbose
> ```
> 
> 第一次是0.603 然后我对比[https://github.com/QwenLM/Qwen2.5-VL/blob/main/evaluation/mmmu/run_mmmu.py中的代码，发现](https://github.com/QwenLM/Qwen2.5-VL/blob/main/evaluation/mmmu/run_mmmu.py%E4%B8%AD%E7%9A%84%E4%BB%A3%E7%A0%81%EF%BC%8C%E5%8F%91%E7%8E%B0) use_custom_prompt 官方设置为True, 而 VLMEvalKit 中设置为False， 我修改后重新测试，结果为0.615。

我也复现了MMStar，但是MMMU_val不行，你可以吗