Repository: open-compass/VLMEvalKit
Issue: Please provide the dataset file or download script
Root cause: Documentation Deficiency

In many cases (such as MMBench_CN), the links in the code will return 404 errors, and the network is sometimes unstable. Please provide the dataset file or a separate download script.

Thanks!

也许可以根据```vlmeval/dataset/image_mcq.py```中的数据链接，选择你需要的数据，提前下载好tsv文件数据，但要记得声明数据集位置

> 也许可以根据`vlmeval/dataset/image_mcq.py`中的数据链接，选择你需要的数据，提前下载好tsv文件数据，但要记得声明数据集位置

```vlmeval/dataset```目录下的脚本文件都记录着不同数据的下载链接

> 也许可以根据`vlmeval/dataset/image_mcq.py`中的数据链接，选择你需要的数据，提前下载好tsv文件数据，但要记得声明数据集位置

你好，我知道有这个链接，但是有时候下载就是404😭（比如MMBench_CN）；能不能提供一个专门下载数据集的脚本，如果这样一个一个文件去找，去单独处理，真的很麻烦的😭

你们应该很熟悉这个脚本，应该用不了多久就能写出批量下载的脚本


> > 也许可以根据`vlmeval/dataset/image_mcq.py`中的数据链接，选择你需要的数据，提前下载好tsv文件数据，但要记得声明数据集位置
> 
> 你好，我知道有这个链接，但是有时候下载就是404😭（比如MMBench_CN）；能不能提供一个专门下载数据集的脚本，如果这样一个一个文件去找，去单独处理，真的很麻烦的😭

你好，404 应该是你的网络问题 (例如，应当关闭代理)。另外需要声明，MMBench_CN 并非我们向社区支持的数据集名称，请参照 README
当网络无问题时，你可以采用以下脚本下载全部数据集 (仍是采用 dataset building 过程中自动下载的方式)：

```python
from vlmeval.dataset import SUPPORTED_DATASETS, build_dataset
for d in SUPPORTED_DATASETS:
    build_dataset(d)
```




> > 也许可以根据`vlmeval/dataset/image_mcq.py`中的数据链接，选择你需要的数据，提前下载好tsv文件数据，但要记得声明数据集位置
> 
> 你好，我知道有这个链接，但是有时候下载就是404😭（比如MMBench_CN）；能不能提供一个专门下载数据集的脚本，如果这样一个一个文件去找，去单独处理，真的很麻烦的😭

可以添加一下镜像网站帮助下载，虽然我感觉也不是很快国内网络访问的话，[https://hf-mirror.com/](url)

非常感谢，不是代理问题，代理没有问题，就是404

> 非常感谢，不是代理问题，代理没有问题，就是404

请提供一个你的大致地理位置，及一个 404 的链接，我们可以进行辅助验证

> > 非常感谢，不是代理问题，代理没有问题，就是404
> 
> 请提供一个你的大致地理位置，及一个 404 的链接，我们可以进行辅助验证

ip地址：北京和香港的都不行
链接：
- https://opencompass.openxlab.space/utils/VLMEval/MMBench.tsv
- https://opencompass.openxlab.space/utils/VLMEval/MMBench_CN.tsv


> > > 也许可以根据`vlmeval/dataset/image_mcq.py`中的数据链接，选择你需要的数据，提前下载好tsv文件数据，但要记得声明数据集位置
> > 
> > 
> > 你好，我知道有这个链接，但是有时候下载就是404😭（比如MMBench_CN）；能不能提供一个专门下载数据集的脚本，如果这样一个一个文件去找，去单独处理，真的很麻烦的😭
> 
> 你好，404 应该是你的网络问题 (例如，应当关闭代理)。另外需要声明，MMBench_CN 并非我们向社区支持的数据集名称，请参照 README 当网络无问题时，你可以采用以下脚本下载全部数据集 (仍是采用 dataset building 过程中自动下载的方式)：
> 
> ```python
> from vlmeval.dataset import SUPPORTED_DATASETS, build_dataset
> for d in SUPPORTED_DATASETS:
>     build_dataset(d)
> ```

@lerogo 你好，我在上文和注释中都有提到，MMBench 与 MMBench_CN 是内部使用的文件，外部不可访问。
关于我们对外提供支持的 dataset name，请参照 README 中表格：https://github.com/open-compass/VLMEvalKit

![image](https://github.com/user-attachments/assets/d485701e-f16d-48fe-8ee0-d759290a51bc)


莫有问题了，非常感谢！

> 也许可以根据`vlmeval/dataset/image_mcq.py`中的数据链接，选择你需要的数据，提前下载好tsv文件数据，但要记得声明数据集位置

请问下在哪里声明本地数据集位置，我下载好了一直找不到在哪里填写数据集地址，总是会自动下载

> > 也许可以根据`vlmeval/dataset/image_mcq.py`中的数据链接，选择你需要的数据，提前下载好tsv文件数据，但要记得声明数据集位置
> 
> 请问下在哪里声明本地数据集位置，我下载好了一直找不到在哪里填写数据集地址，总是会自动下载

在 `.env `设置`LMUData= `文件夹路径

在具体问下，比如MMBench_DEV_EN数据在本地的位置是`~/dateset/mmbench/MMBench_DEV_EN.tsv`，`LMUData`变量该怎么设置呢，是`dict`格式的吗

> 在具体问下，比如MMBench_DEV_EN数据在本地的位置是`~/dateset/mmbench/MMBench_DEV_EN.tsv`，`LMUData`变量该怎么设置呢，是`dict`格式的吗

直接设置为所有数据存储的路径即可，我的设置是`LMUData=./data`，在`data/`目录下直接存放`MMBench_DEV_EN.tsv`文件即可

设置了已经下载好了，还是会重新下载呢。
xception: Failed to download https://huggingface.co/datasets/zhangzicheng/qbench_tsv/resolve/main/Q-Bench1_VAL.tsv
E0929 14:16:26.042738 140115267106624 torch/distributed/elastic/multiprocessing/api.py:833] failed (exitcode: 1) local_rank: 0 (pid: 59430) of binary: /data/miniconda3/envs/env-3.9.2/bin/python