Repository: open-compass/VLMEvalKit
Issue: HallusionBench数据集复现结果差异大
Root cause: Documentation Deficiency

您好！我使用HallusionBench数据集对qwen2-vl-7B和qwen2.5-vl-7B模型进行评测，但评测结果远高于榜单上的结果：
对于qwen2-vl-7B，榜单结果为50.4，我的结果为67.9
对于qwen2.5-vl-7B，榜单结果为56.3，我的结果为71.8
根据#813问题的回答，我的环境已经配置为torch==2.5.1，transformers==4.49.0.dev0。

我的运行命令是torchrun --nproc-per-node=1 run.py --data HallusionBench --model Qwen2.5-VL-7B --verbose
似乎不存在问题，其他的数据集也没有出现如此大的差异。
qwen2的具体score文件如下：
"split","aAcc","fAcc","qAcc"
"Overall","67.92849631966351","37.861271676300575","43.956043956043956"
"VD","65.31302876480541","39.565217391304344","37.545126353790614"
"VS","72.22222222222221","34.48275862068966","53.93258426966292"
"VD_video","55.88235294117647","14.583333333333334","17.391304347826086"
"VS_map","70.3125","36.36363636363637","40.625"
"VS_ocr","61.111111111111114","34.61538461538461","22.22222222222222"
"VS_chart","78.46153846153847","37.5","68.42105263157895"
"VD_figure","75.0","53.65853658536586","51.28205128205128"
"VD_ocr","83.14606741573034","69.76744186046511","67.44186046511628"
"VD_illusion","64.58333333333334","38.70967741935484","34.72222222222222"
"VS_table","71.42857142857143","28.57142857142857","58.139534883720934"
"VD_math","59.25925925925925","22.22222222222222","33.33333333333333"
qwen2.5的具体score如下：
"split","aAcc","fAcc","qAcc"
"Overall","71.81913774973711","47.97687861271676","47.25274725274725"
"VS","80.83333333333333","59.48275862068966","63.48314606741573"
"VD","66.32825719120136","42.173913043478265","36.8231046931408"
"VS_map","64.0625","40.909090909090914","31.25"
"VD_math","66.66666666666666","30.555555555555557","44.44444444444444"
"VD_video","56.470588235294116","18.75","13.043478260869565"
"VS_table","91.07142857142857","78.57142857142857","79.06976744186046"
"VS_chart","86.15384615384616","67.5","78.94736842105263"
"VD_ocr","82.02247191011236","65.11627906976744","65.11627906976744"
"VD_illusion","64.58333333333334","41.935483870967744","33.33333333333333"
"VD_figure","72.5","56.09756097560976","43.58974358974359"
"VS_ocr","66.66666666666666","42.30769230769231","33.33333333333333"


您好，  

榜单上 **HallusionBench** 的得分是由 `aAcc`, `fAcc`, 和 `qAcc` 三项指标的平均值计算得出的。  

因此，针对您的结果：  
- **Qwen2VL** 的实际得分为：  
  ```
  (67.92 + 37.86 + 43.95) / 3 = 49.91
  ```  
- **Qwen2.5VL** 的实际得分为：  
  ```
  (71.81 + 47.97 + 47.25) / 3 = 55.67
  ```  

如果您有任何疑问或需要进一步的说明，请随时告知！  

祝好

> 您好，
> 
> 榜单上 **HallusionBench** 的得分是由 `aAcc`, `fAcc`, 和 `qAcc` 三项指标的平均值计算得出的。
> 
> 因此，针对您的结果：
> 
> * **Qwen2VL** 的实际得分为：
>   ```
>   (67.92 + 37.86 + 43.95) / 3 = 49.91
>   ```
> * **Qwen2.5VL** 的实际得分为：
>   ```
>   (71.81 + 47.97 + 47.25) / 3 = 55.67
>   ```
> 
> 如果您有任何疑问或需要进一步的说明，请随时告知！
> 
> 祝好

您好，
        感谢您的指正！我还想进一步确认榜单上的其他数据集的得分是如何计算的？
1. MMBench数据集：是根据EN和CN的acc值平均得到吗？比如对于以下EN和CN分别获得的结果，进行平均得到MMBench数据集的最终结果
`A_Overall (test)	np.float64(0.8)` `A_Overall (test)	np.float64(0.8155844155844156)`
2. 对于MMMU数据集，结果文件如下，则最终结果为(50.55+49.33)/2=49.94对吗？

`"split","Overall","Accounting","Agriculture","Architecture_and_Engineering","Art","Art_Theory","Basic_Medical_Science","Biology","Chemistry","Clinical_Medicine","Computer_Science","Design","Diagnostics_and_Laboratory_Medicine","Economics","Electronics","Energy_and_Power","Finance","Geography","History","Literature","Manage","Marketing","Materials","Math","Mechanical_Engineering","Music","Pharmacy","Physics","Psychology","Public_Health","Sociology","Art & Design","Business","Health & Medicine","Humanities & Social Science","Science","Tech & Engineering"
"validation","0.5055555555555555","0.4","0.43333333333333335","0.3333333333333333","0.6333333333333333","0.8333333333333334","0.6333333333333333","0.5","0.26666666666666666","0.6333333333333333","0.5","0.7333333333333333","0.4","0.5333333333333333","0.5","0.3","0.3333333333333333","0.5333333333333333","0.7333333333333333","0.8333333333333334","0.3333333333333333","0.43333333333333335","0.36666666666666664","0.4666666666666667","0.36666666666666664","0.3","0.5333333333333333","0.43333333333333335","0.5666666666666667","0.6","0.7","0.625","0.4066666666666667","0.56","0.7083333333333334","0.44","0.4"
"dev","0.49333333333333335","0.4","0.2","0.2","0.6","0.8","0.6","0.8","0.4","0.2","0.6","0.8","0.8","0.4","0.4","0.4","0.4","0.0","1.0","0.8","0.2","0.2","0.4","0.2","0.6","0.6","0.6","0.2","0.8","0.4","0.8","0.7","0.32","0.52","0.85","0.32","0.4"
`
3. 对于榜单上的8个数据集，除以上数据集外，都不存在进一步计算，而是可以直接从输出结果中的acc值或overall等值获得结果是吗？

对于MMBench，榜单上的分数为`test_en`和`test_cn`的平均值
对于MMMU，榜单上的分数为`MMMU_val`

> 对于MMBench，榜单上的分数为`test_en`和`test_cn`的平均值 对于MMMU，榜单上的分数为`MMMU_val`

好的，非常感谢您的耐心解答！

> 您好，
> 
> 榜单上 **HallusionBench** 的得分是由 `aAcc`, `fAcc`, 和 `qAcc` 三项指标的平均值计算得出的。
> 
> 因此，针对您的结果：
> 
> * **Qwen2VL** 的实际得分为：
>   ```
>   (67.92 + 37.86 + 43.95) / 3 = 49.91
>   ```
> * **Qwen2.5VL** 的实际得分为：
>   ```
>   (71.81 + 47.97 + 47.25) / 3 = 55.67
>   ```
> 
> 如果您有任何疑问或需要进一步的说明，请随时告知！
> 
> 祝好

这里 aAcc 不是 https://arxiv.org/pdf/2310.14566 这里的 All Accuracy?  @PhoenixZ810