Repository: open-compass/VLMEvalKit
Issue: 关于llava-v1.5-7b复现
Root cause: Documentation Deficiency

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose
![llava_1 5_7b](https://github.com/user-attachments/assets/23575820-c71b-40b7-9266-d84f6df85e61)



Hello，应该不需要特定的设置，我们的 transformers 版本是 4.37，可以看看是否一致

Hi, @helloworld01001 , 
我注意到，这可能是你未有设置 OPENAI_API_KEY 所致 (我们的设定中，如无法通过规则匹配选项，默认会使用 GPT 进行匹配)，这可能是选择题精度受到广泛影响的原因。

你好！我进行了OPENAI_API_KEY的配置，整体上是比未设置API的结果要高，但是还是不能完全达到排行榜上的结果，虽然已经很接近了。还有一个问题是黄色的那几个VQA的benchmark不知道为什么不能进行OPENAI_API_KEY进行评测，没有下面这些提示，前面那几个benchmaek是有这些提示的。
![图片1](https://github.com/user-attachments/assets/d2563365-1b86-474b-bd31-e83a81fa11be)
![图片2](https://github.com/user-attachments/assets/65e94141-97f9-4188-a742-cdcabf2f4e2e)
ChatAPI - INFO - Using API Base: https://api.openai.com/v1/chat/completions; API Key: （我的api）
Hello! How can I assist you today?
2024-09-04 05:36:05,869 - RUN - INFO - The evaluation of model llava_v1.5_7b_local x dataset MMBench_DEV_EN has finished!
2024-09-04 05:36:05,869 - RUN - INFO - Evaluation Results:
2024-09-04 05:36:05,870 - RUN - INFO -
![image](https://github.com/user-attachments/assets/9e27c8e2-0236-49af-adc2-34b8202d1d26)


> 你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose ![llava_1 5_7b](https://private-user-images.githubusercontent.com/140991408/359022594-23575820-c71b-40b7-9266-d84f6df85e61.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjgzOTUzNjMsIm5iZiI6MTcyODM5NTA2MywicGF0aCI6Ii8xNDA5OTE0MDgvMzU5MDIyNTk0LTIzNTc1ODIwLWM3MWItNDBiNy05MjY2LWQ4NGY2ZGY4NWU2MS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQxMDA4JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MTAwOFQxMzQ0MjNaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01OTA1MmI4OTE4YmRiODc2NzIxMjMxN2U4ZDgwY2M1YTg1Y2I0ZTFjNmQ1ZjRmMDJjZWNjYWNlY2FkMDdmNmRlJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.y4K-vPooif_xxkPrfWiVHBI2Nwm8K-px2KfITgc_hQc)

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

> > 你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose ![llava_1 5_7b](https://private-user-images.githubusercontent.com/140991408/359022594-23575820-c71b-40b7-9266-d84f6df85e61.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjgzOTUzNjMsIm5iZiI6MTcyODM5NTA2MywicGF0aCI6Ii8xNDA5OTE0MDgvMzU5MDIyNTk0LTIzNTc1ODIwLWM3MWItNDBiNy05MjY2LWQ4NGY2ZGY4NWU2MS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQxMDA4JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MTAwOFQxMzQ0MjNaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01OTA1MmI4OTE4YmRiODc2NzIxMjMxN2U4ZDgwY2M1YTg1Y2I0ZTFjNmQ1ZjRmMDJjZWNjYWNlY2FkMDdmNmRlJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.y4K-vPooif_xxkPrfWiVHBI2Nwm8K-px2KfITgc_hQc)
> 
> 你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

> > > 你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose ![llava_1 5_7b](https://private-user-images.githubusercontent.com/140991408/359022594-23575820-c71b-40b7-9266-d84f6df85e61.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjgzOTUzNjMsIm5iZiI6MTcyODM5NTA2MywicGF0aCI6Ii8xNDA5OTE0MDgvMzU5MDIyNTk0LTIzNTc1ODIwLWM3MWItNDBiNy05MjY2LWQ4NGY2ZGY4NWU2MS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQxMDA4JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MTAwOFQxMzQ0MjNaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01OTA1MmI4OTE4YmRiODc2NzIxMjMxN2U4ZDgwY2M1YTg1Y2I0ZTFjNmQ1ZjRmMDJjZWNjYWNlY2FkMDdmNmRlJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.y4K-vPooif_xxkPrfWiVHBI2Nwm8K-px2KfITgc_hQc)
> > 
> > 
> > 你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗
> 
> 是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

你好，非常不好意思再次打扰你，请问是直接将LLAVA的repo放在/VLMEvalKit目录下吗，我试过还是不行。我在readme里面并没有看到具体应该怎么配置的教程，若您方便的话能解答一下嘛？谢谢！感激不尽！！

> > > 你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose ![llava_1 5_7b](https://private-user-images.githubusercontent.com/140991408/359022594-23575820-c71b-40b7-9266-d84f6df85e61.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjgzOTUzNjMsIm5iZiI6MTcyODM5NTA2MywicGF0aCI6Ii8xNDA5OTE0MDgvMzU5MDIyNTk0LTIzNTc1ODIwLWM3MWItNDBiNy05MjY2LWQ4NGY2ZGY4NWU2MS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQxMDA4JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MTAwOFQxMzQ0MjNaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01OTA1MmI4OTE4YmRiODc2NzIxMjMxN2U4ZDgwY2M1YTg1Y2I0ZTFjNmQ1ZjRmMDJjZWNjYWNlY2FkMDdmNmRlJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.y4K-vPooif_xxkPrfWiVHBI2Nwm8K-px2KfITgc_hQc)
> > 
> > 
> > 你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗
> 
> 是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可

> > > > 你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose ![llava_1 5_7b](https://private-user-images.githubusercontent.com/140991408/359022594-23575820-c71b-40b7-9266-d84f6df85e61.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjgzOTUzNjMsIm5iZiI6MTcyODM5NTA2MywicGF0aCI6Ii8xNDA5OTE0MDgvMzU5MDIyNTk0LTIzNTc1ODIwLWM3MWItNDBiNy05MjY2LWQ4NGY2ZGY4NWU2MS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQxMDA4JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MTAwOFQxMzQ0MjNaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01OTA1MmI4OTE4YmRiODc2NzIxMjMxN2U4ZDgwY2M1YTg1Y2I0ZTFjNmQ1ZjRmMDJjZWNjYWNlY2FkMDdmNmRlJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.y4K-vPooif_xxkPrfWiVHBI2Nwm8K-px2KfITgc_hQc)
> > > 
> > > 
> > > 你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗
> > 
> > 
> > 是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下
> 
> 感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可

您好，我也碰到相同问题，请问是直接把LLaVa文件拖到VLMEvalKit目录下吗？还需要做其他处理不？

> > > > > 你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose ![llava_1 5_7b](https://private-user-images.githubusercontent.com/140991408/359022594-23575820-c71b-40b7-9266-d84f6df85e61.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjgzOTUzNjMsIm5iZiI6MTcyODM5NTA2MywicGF0aCI6Ii8xNDA5OTE0MDgvMzU5MDIyNTk0LTIzNTc1ODIwLWM3MWItNDBiNy05MjY2LWQ4NGY2ZGY4NWU2MS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQxMDA4JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MTAwOFQxMzQ0MjNaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01OTA1MmI4OTE4YmRiODc2NzIxMjMxN2U4ZDgwY2M1YTg1Y2I0ZTFjNmQ1ZjRmMDJjZWNjYWNlY2FkMDdmNmRlJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.y4K-vPooif_xxkPrfWiVHBI2Nwm8K-px2KfITgc_hQc)
> > > > 
> > > > 
> > > > 你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗
> > > 
> > > 
> > > 是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下
> > 
> > 
> > 感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可
> 
> 您好，我也碰到相同问题，请问是直接把LLaVa文件拖到VLMEvalKit目录下吗？还需要做其他处理不？

不是LLAVA文件夹，是LLAVA/llava这个llava文件夹拖到 VLMEvalKit目录下即可

> > > > > > 你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose ![llava_1 5_7b](https://private-user-images.githubusercontent.com/140991408/359022594-23575820-c71b-40b7-9266-d84f6df85e61.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjgzOTUzNjMsIm5iZiI6MTcyODM5NTA2MywicGF0aCI6Ii8xNDA5OTE0MDgvMzU5MDIyNTk0LTIzNTc1ODIwLWM3MWItNDBiNy05MjY2LWQ4NGY2ZGY4NWU2MS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQxMDA4JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MTAwOFQxMzQ0MjNaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01OTA1MmI4OTE4YmRiODc2NzIxMjMxN2U4ZDgwY2M1YTg1Y2I0ZTFjNmQ1ZjRmMDJjZWNjYWNlY2FkMDdmNmRlJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.y4K-vPooif_xxkPrfWiVHBI2Nwm8K-px2KfITgc_hQc)
> > > > > 
> > > > > 
> > > > > 你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗
> > > > 
> > > > 
> > > > 是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下
> > > 
> > > 
> > > 感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可
> > 
> > 
> > 您好，我也碰到相同问题，请问是直接把LLaVa文件拖到VLMEvalKit目录下吗？还需要做其他处理不？
> 
> 不是LLAVA文件夹，是LLAVA/llava这个llava文件夹拖到 VLMEvalKit目录下即可

谢谢你的回复，我按照你说的方法操作，在调用llava_v1.5_7b 模型时，运行仍然没有反应，不知道怎么回事。是否还需要按照llava项目中的环境包配置环境？

> > > > > > > 你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose ![llava_1 5_7b](https://private-user-images.githubusercontent.com/140991408/359022594-23575820-c71b-40b7-9266-d84f6df85e61.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjgzOTUzNjMsIm5iZiI6MTcyODM5NTA2MywicGF0aCI6Ii8xNDA5OTE0MDgvMzU5MDIyNTk0LTIzNTc1ODIwLWM3MWItNDBiNy05MjY2LWQ4NGY2ZGY4NWU2MS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQxMDA4JTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MTAwOFQxMzQ0MjNaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT01OTA1MmI4OTE4YmRiODc2NzIxMjMxN2U4ZDgwY2M1YTg1Y2I0ZTFjNmQ1ZjRmMDJjZWNjYWNlY2FkMDdmNmRlJlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCJ9.y4K-vPooif_xxkPrfWiVHBI2Nwm8K-px2KfITgc_hQc)
> > > > > > 
> > > > > > 
> > > > > > 你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗
> > > > > 
> > > > > 
> > > > > 是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下
> > > > 
> > > > 
> > > > 感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可
> > > 
> > > 
> > > 您好，我也碰到相同问题，请问是直接把LLaVa文件拖到VLMEvalKit目录下吗？还需要做其他处理不？
> > 
> > 
> > 不是LLAVA文件夹，是LLAVA/llava这个llava文件夹拖到 VLMEvalKit目录下即可
> 
> 谢谢你的回复，我按照你说的方法操作，在调用llava_v1.5_7b 模型时，运行仍然没有反应，不知道怎么回事。是否还需要按照llava项目中的环境包配置环境？

我LLAVA这个父文件夹也要放在同级目录VLMEvalKit下。然后我在run之前是已经配置了一个llava环境了，但我还是在vlmevalkit环境下run的，不知道有没有影响，供你参考

您好，想问一下，您最后复现成功LLaVA_v1.5_7b的性能吗？因为我最近也在实验，并不能完全复现到它的效果，是有什么其他trick吗?

> 您好，想问一下，您最后复现成功LLaVA_v1.5_7b的性能吗？因为我最近也在实验，并不能完全复现到它的效果，是有什么其他trick吗?

@snowpine-max Check this #523. It may help you reproduce the performence.

@snowpine-max  hi, did you solve it?


您好，请问各位有没有在llava v1.5 7B上复现TextVQA的结果呀？我复现出来acc仅21.9，不知道是哪里出错了。