Repository: EvolvingLMMs-Lab/lmms-eval
Issue: Regarding the question of using qwen3_vl 4B and 8B to evaluate Video_MMMU?Memory overflow during evaluation.
Root cause: Configuration Error

An warning occurred while evaluating the 29th video:video_reader_backend decord error, use torchvision as default, msg: [08:16:44] /github/workspace/src/video/video_reader.cc:444: [/Shb/.cache/huggingface/video_mmmu/Engineering/validation_Electronics_13.mp4]Unable to handle EOF because it takes too long to retrieve last few frames and `DECORD_EOF_RETRY_MAX=10240`. You may override the limit by `export DECORD_EOF_RETRY_MAX=20480` for example to allow more EOF retry attempts, exit...   Then memory usage gradually increases until the system freezes.The command to run was:
**accelerate launch --num_processes=1 --main_process_port=12346 -m lmms_eval     --model qwen3_vl     --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-4B-Instruct,interleave_visuals=False     --tasks "video_mmmu"     --batch_size 1 --verbosity DEBUG** How can this problem be resolved? Thank you for your guidance.

<img width="2122" height="1266" alt="Image" src="https://github.com/user-attachments/assets/e58405be-80b2-4d0a-b25c-d04784bf7213" />

I think the problem is due to the fact that the video reading is slow so the gpu utilization rate is slow. The error msg comes from the qwen vl utils backend where the decord fail to read video and fall back to torchvision and reads the full video frames at first so would be really slow. The method to solve it is simply follow the instructions and setting a large `DECORD_EOF_RETRY_MAX` in your env.

> I think the problem is due to the fact that the video reading is slow so the gpu utilization rate is slow. The error msg comes from the qwen vl utils backend where the decord fail to read video and fall back to torchvision and reads the full video frames at first so would be really slow. The method to solve it is simply follow the instructions and setting a large in your env.`DECORD_EOF_RETRY_MAX`

This setup didn't work; I did fix the problematic videos. Thank you for your reply.

The problem now is that my reproduction results differ significantly from the report. The 4b model result is 47.44, and the 8B result is 50.44.The report shows 56.2 and 65.3 respectively. I extracted 32 frames from each video. What could be the reason for this? Is it due to the cue words?

<img width="1292" height="151" alt="Image" src="https://github.com/user-attachments/assets/edc29b57-ebed-42a5-ac16-9e95e3a285f0" />

<img width="1632" height="191" alt="Image" src="https://github.com/user-attachments/assets/d4a026da-219b-4175-8bde-e528bb756289" />

The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see #901 ).
I will push a fix this week.


> The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ).原因是 lmms-eval 创建提示的方式与 Qwen3VL 模型所期望的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。 I will push a fix this week.我本周会提交修复程序。

In my actual testing, I also found a significant discrepancy between the Qwen3VL test results and the official results. Ah, I see! Looking forward to it!

> The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.

Thank you for your reply.Looking forward to it!

> > The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推送修复程序。
> 
> Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！

请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右

> > > The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推送修复程序。
> > 
> > 
> > Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！
> 
> 请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右


我没有使用vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056  --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples

> > > > The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推送修复程序。
> > > 
> > > 
> > > Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！
> > 
> > 
> > 请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右
> 
> 我没有使用vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples

你是否有修改 videommmu的task文件夹下yaml，里面有个参数好像是max_token，如果比较小可能会导致很多题目的解答没输出完就终止，从而导致正确率低。其次，我发现很多task都是规则过滤答案，这样也会导致一部分原本回答正确，只不过没有过滤出来。可以考虑使用llm judge去判断是否回答正确。反正感觉还是挺麻烦的，即使我调了很多地方，有些模型测出来仍然难以达到原论文的结果，当然这也与prompt有关，反正很难搞

> > > > > The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推送修复程序。
> > > > 
> > > > 
> > > > Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！
> > > 
> > > 
> > > 请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右
> > 
> > 
> > 我没有使用vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples
> 
> 你是否有修改 videommmu的task文件夹下yaml，里面有个参数好像是max_token，如果比较小可能会导致很多题目的解答没输出完就终止，从而导致正确率低。其次，我发现很多task都是规则过滤答案，这样也会导致一部分原本回答正确，只不过没有过滤出来。可以考虑使用llm judge去判断是否回答正确。反正感觉还是挺麻烦的，即使我调了很多地方，有些模型测出来仍然难以达到原论文的结果，当然这也与prompt有关，反正很难搞

我没有改过max_token这个参数，就是1024

<img width="1345" height="421" alt="Image" src="https://github.com/user-attachments/assets/2e0ab8ea-a2e8-4773-a8d1-e6c212b9bb8d" />

> > > > > > The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推送修复程序。原因是 lmms-eval 创建提示的方式与 Qwen3VL 模型期望的略有不同（请参阅 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推动修复。原因存在 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的预设不同（除 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周进行修复程序。
> > > > > 
> > > > > 
> > > > > Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！谢谢您的回复，期待您的回复！感谢您的回复，期待您的回复！
> > > > 
> > > > 
> > > > 请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右
> > > 
> > > 
> > > 我没有使用vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples我没有使用 vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples
> > 
> > 
> > 你是否有修改 videommmu的task文件夹下yaml，里面有个参数好像是max_token，如果比较小可能会导致很多题目的解答没输出完就终止，从而导致正确率低。其次，我发现很多task都是规则过滤答案，这样也会导致一部分原本回答正确，只不过没有过滤出来。可以考虑使用llm judge去判断是否回答正确。反正感觉还是挺麻烦的，即使我调了很多地方，有些模型测出来仍然难以达到原论文的结果，当然这也与prompt有关，反正很难搞
> 
> 我没有改过max_token这个参数，就是1024
> 
> <img alt="Image" width="822" height="257.28125" src="https://private-user-images.githubusercontent.com/87485192/519504626-2e0ab8ea-a2e8-4773-a8d1-e6c212b9bb8d.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjQyMTU5ODMsIm5iZiI6MTc2NDIxNTY4MywicGF0aCI6Ii84NzQ4NTE5Mi81MTk1MDQ2MjYtMmUwYWI4ZWEtYTJlOC00NzczLWE4ZDEtZTZjMjEyYjliYjhkLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTExMjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUxMTI3VDAzNTQ0M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFlMmZlMTE1YjQ0YzUyY2IxNmE2YjM1YmRlYjA1ZmQ1N2RjNDc5MTYxNWI0YmNmZTZkYzA5ZWFhMjU2YzJjMmQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.gv4hvMziWC2mNBR9rEvDWC8UkDnHTY0PB_KD3LMpf9c">

你可以尝试把这个改成8192，或者去看看模型的输出是否有很多题目没有输出完整就终止了

好的，我去试试。非常感谢！



---Original---
From: "Lin ***@***.***&gt;
Date: Thu, Nov 27, 2025 11:57 AM
To: ***@***.***&gt;;
Cc: "Shi ***@***.******@***.***&gt;;
Subject: Re: [EvolvingLMMs-Lab/lmms-eval] Regarding the question of usingqwen3_vl 4B and 8B to evaluate Video_MMMU?Memory overflow during evaluation.(Issue #910)


Fu-Fu-Fu-Fu left a comment (EvolvingLMMs-Lab/lmms-eval#910)
       
The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see #901 ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 #901 ）。我将在本周推送修复程序。原因是 lmms-eval 创建提示的方式与 Qwen3VL 模型期望的略有不同（请参阅 #901 ）。我将在本周推动修复。原因存在 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的预设不同（除 #901 ）。我将在本周进行修复程序。
  
Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！谢谢您的回复，期待您的回复！感谢您的回复，期待您的回复！
  
请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右
  
我没有使用vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples我没有使用 vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples
  
你是否有修改 videommmu的task文件夹下yaml，里面有个参数好像是max_token，如果比较小可能会导致很多题目的解答没输出完就终止，从而导致正确率低。其次，我发现很多task都是规则过滤答案，这样也会导致一部分原本回答正确，只不过没有过滤出来。可以考虑使用llm judge去判断是否回答正确。反正感觉还是挺麻烦的，即使我调了很多地方，有些模型测出来仍然难以达到原论文的结果，当然这也与prompt有关，反正很难搞
  
我没有改过max_token这个参数，就是1024
   
你可以尝试把这个改成8192，或者去看看模型的输出是否有很多题目没有输出完整就终止了
 
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***&gt;

> > > > > > > The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推送修复程序。原因是 lmms-eval 创建提示的方式与 Qwen3VL 模型期望的略有不同（请参阅 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推动修复。原因存在 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的预设不同（除 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周进行修复程序。
> > > > > > 
> > > > > > 
> > > > > > Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！谢谢您的回复，期待您的回复！感谢您的回复，期待您的回复！
> > > > > 
> > > > > 
> > > > > 请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右
> > > > 
> > > > 
> > > > 我没有使用vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples我没有使用 vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples
> > > 
> > > 
> > > 你是否有修改 videommmu的task文件夹下yaml，里面有个参数好像是max_token，如果比较小可能会导致很多题目的解答没输出完就终止，从而导致正确率低。其次，我发现很多task都是规则过滤答案，这样也会导致一部分原本回答正确，只不过没有过滤出来。可以考虑使用llm judge去判断是否回答正确。反正感觉还是挺麻烦的，即使我调了很多地方，有些模型测出来仍然难以达到原论文的结果，当然这也与prompt有关，反正很难搞
> > 
> > 
> > 我没有改过max_token这个参数，就是1024
> > <img alt="Image" width="822" height="257.28125" src="https://private-user-images.githubusercontent.com/87485192/519504626-2e0ab8ea-a2e8-4773-a8d1-e6c212b9bb8d.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjQyMTU5ODMsIm5iZiI6MTc2NDIxNTY4MywicGF0aCI6Ii84NzQ4NTE5Mi81MTk1MDQ2MjYtMmUwYWI4ZWEtYTJlOC00NzczLWE4ZDEtZTZjMjEyYjliYjhkLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTExMjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUxMTI3VDAzNTQ0M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFlMmZlMTE1YjQ0YzUyY2IxNmE2YjM1YmRlYjA1ZmQ1N2RjNDc5MTYxNWI0YmNmZTZkYzA5ZWFhMjU2YzJjMmQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.gv4hvMziWC2mNBR9rEvDWC8UkDnHTY0PB_KD3LMpf9c">
> 
> 你可以尝试把这个改成8192，或者去看看模型的输出是否有很多题目没有输出完整就终止了

你好，改成8192只是提高了一点点，到0.52（原来1024的结果是0.50），推理时间翻了几倍

<img width="1368" height="174" alt="Image" src="https://github.com/user-attachments/assets/c3446ce4-507b-4f38-ba64-78ceed76cccf" />

> > > > > > > > The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推送修复程序。原因是 lmms-eval 创建提示的方式与 Qwen3VL 模型期望的略有不同（请参阅 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推动修复。原因存在 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的预设不同（除 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周进行修复程序。
> > > > > > > 
> > > > > > > 
> > > > > > > Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！谢谢您的回复，期待您的回复！感谢您的回复，期待您的回复！
> > > > > > 
> > > > > > 
> > > > > > 请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右
> > > > > 
> > > > > 
> > > > > 我没有使用vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples我没有使用 vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples我没有使用 vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples 我没有使用 vllm 我的命令：加速启动 --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks “video_mmmu”--batch_size 1 --output_path ./logs/ --log_samples
> > > > 
> > > > 
> > > > 你是否有修改 videommmu的task文件夹下yaml，里面有个参数好像是max_token，如果比较小可能会导致很多题目的解答没输出完就终止，从而导致正确率低。其次，我发现很多task都是规则过滤答案，这样也会导致一部分原本回答正确，只不过没有过滤出来。可以考虑使用llm judge去判断是否回答正确。反正感觉还是挺麻烦的，即使我调了很多地方，有些模型测出来仍然难以达到原论文的结果，当然这也与prompt有关，反正很难搞
> > > 
> > > 
> > > 我没有改过max_token这个参数，就是1024
> > > <img alt="Image" width="54.484375" height="21" src="https://private-user-images.githubusercontent.com/87485192/519504626-2e0ab8ea-a2e8-4773-a8d1-e6c212b9bb8d.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjQyMTU5ODMsIm5iZiI6MTc2NDIxNTY4MywicGF0aCI6Ii84NzQ4NTE5Mi81MTk1MDQ2MjYtMmUwYWI4ZWEtYTJlOC00NzczLWE4ZDEtZTZjMjEyYjliYjhkLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTExMjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUxMTI3VDAzNTQ0M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFlMmZlMTE1YjQ0YzUyY2IxNmE2YjM1YmRlYjA1ZmQ1N2RjNDc5MTYxNWI0YmNmZTZkYzA5ZWFhMjU2YzJjMmQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.gv4hvMziWC2mNBR9rEvDWC8UkDnHTY0PB_KD3LMpf9c">
> > 
> > 
> > 你可以尝试把这个改成8192，或者去看看模型的输出是否有很多题目没有输出完整就终止了
> 
> 你好，改成8192只是提高了一点点，到0.52（原来1024的结果是0.50），推理时间翻了几倍
> 
> <img alt="Image" width="822" height="104.546875" src="https://private-user-images.githubusercontent.com/87485192/520365187-c3446ce4-507b-4f38-ba64-78ceed76cccf.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjU2MjgxNTksIm5iZiI6MTc2NTYyNzg1OSwicGF0aCI6Ii84NzQ4NTE5Mi81MjAzNjUxODctYzM0NDZjZTQtNTA3Yi00ZjM4LWJhNjQtNzhjZWVkNzZjY2NmLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTEyMTMlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUxMjEzVDEyMTA1OVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWM3OTFiNTI3OWRiZjFmMjZkMDFjOWVmZGM3YTQ5ZDM5MTJiMzNhNTg2NjExMThjZGU2N2IxMDVmM2QwNDU2ZTMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.xOl9qFWH8ntaEiaW2v31tSKuEJiFtef5POshOI6Tkd4">

你好，后来你这个问题解决了吗？测得还是低吗？我今天刚刚重新用lmms_eval测，发现也是比较低

> > > > > > > > > The reason is due to how lmms-eval create the prompt, which differ slightly from what Qwen3VL models expect (see [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ). I will push a fix this week.原因在于 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的略有不同（参见 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推送修复程序。原因是 lmms-eval 创建提示的方式与 Qwen3VL 模型期望的略有不同（请参阅 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周推动修复。原因存在 lmms-eval 生成提示符的方式与 Qwen3VL 模型预期的预设不同（除 [#901](https://github.com/EvolvingLMMs-Lab/lmms-eval/issues/901) ）。我将在本周进行修复程序。
> > > > > > > > 
> > > > > > > > 
> > > > > > > > Thank you for your reply.Looking forward to it!感谢您的回复，期待您的回复！谢谢您的回复，期待您的回复！感谢您的回复，期待您的回复！
> > > > > > > 
> > > > > > > 
> > > > > > > 请问8b的你用的--model 是哪个？我用的vllm simple，将max_token设置为8192，帧数16，测试的64.67，然而thinking的仍然是66.56，官方的thinking是70左右
> > > > > > 
> > > > > > 
> > > > > > 我没有使用vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples我没有使用 vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples我没有使用 vllm 我的命令：accelerate launch --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks "video_mmmu" --batch_size 1 --output_path ./logs/ --log_samples 我没有使用 vllm 我的命令：加速启动 --num_processes=2 --main_process_port=12346 -m lmms_eval --model qwen3_vl --model_args=pretrained=/Shb/project/lmms-lab/Qwen3-VL-8B-Instruct,interleave_visuals=False,max_pixels=12845056 --tasks “video_mmmu”--batch_size 1 --output_path ./logs/ --log_samples
> > > > > 
> > > > > 
> > > > > 你是否有修改 videommmu的task文件夹下yaml，里面有个参数好像是max_token，如果比较小可能会导致很多题目的解答没输出完就终止，从而导致正确率低。其次，我发现很多task都是规则过滤答案，这样也会导致一部分原本回答正确，只不过没有过滤出来。可以考虑使用llm judge去判断是否回答正确。反正感觉还是挺麻烦的，即使我调了很多地方，有些模型测出来仍然难以达到原论文的结果，当然这也与prompt有关，反正很难搞
> > > > 
> > > > 
> > > > 我没有改过max_token这个参数，就是1024
> > > > <img alt="Image" width="54.484375" height="21" src="https://private-user-images.githubusercontent.com/87485192/519504626-2e0ab8ea-a2e8-4773-a8d1-e6c212b9bb8d.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjQyMTU5ODMsIm5iZiI6MTc2NDIxNTY4MywicGF0aCI6Ii84NzQ4NTE5Mi81MTk1MDQ2MjYtMmUwYWI4ZWEtYTJlOC00NzczLWE4ZDEtZTZjMjEyYjliYjhkLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTExMjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUxMTI3VDAzNTQ0M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFlMmZlMTE1YjQ0YzUyY2IxNmE2YjM1YmRlYjA1ZmQ1N2RjNDc5MTYxNWI0YmNmZTZkYzA5ZWFhMjU2YzJjMmQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.gv4hvMziWC2mNBR9rEvDWC8UkDnHTY0PB_KD3LMpf9c">
> > > 
> > > 
> > > 你可以尝试把这个改成8192，或者去看看模型的输出是否有很多题目没有输出完整就终止了
> > 
> > 
> > 你好，改成8192只是提高了一点点，到0.52（原来1024的结果是0.50），推理时间翻了几倍
> > <img alt="Image" width="822" height="104.546875" src="https://private-user-images.githubusercontent.com/87485192/520365187-c3446ce4-507b-4f38-ba64-78ceed76cccf.png?jwt=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NjU2MjgxNTksIm5iZiI6MTc2NTYyNzg1OSwicGF0aCI6Ii84NzQ4NTE5Mi81MjAzNjUxODctYzM0NDZjZTQtNTA3Yi00ZjM4LWJhNjQtNzhjZWVkNzZjY2NmLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTEyMTMlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUxMjEzVDEyMTA1OVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWM3OTFiNTI3OWRiZjFmMjZkMDFjOWVmZGM3YTQ5ZDM5MTJiMzNhNTg2NjExMThjZGU2N2IxMDVmM2QwNDU2ZTMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.xOl9qFWH8ntaEiaW2v31tSKuEJiFtef5POshOI6Tkd4">
> 
> 你好，后来你这个问题解决了吗？测得还是低吗？我今天刚刚重新用lmms_eval测，发现也是比较低

我最终复现的结果8B-Instruct也只有0.6244（2fps,max_new_token=32768）我还没用model-base judge，确实会出现有些问题答案输出不完整，这种情况在Adaptation子任务上出现的次数比较多（11个），其他两个子任务（纯选择题）都有三四个这样的情况

你好，问下Unable to handle EOF because it takes too long to retrieve last few frames and DECORD_EOF_RETRY_MAX=10240. You may override the limit by export DECORD_EOF_RETRY_MAX=20480 for example to allow more EOF retry attempts,这个问题是怎么解决的？