RagRetriever download too much data and won't stop
Author: MohammadDara
Pull request: no

### System Info

- `transformers` version: 4.36.2
- Platform: macOS-14.1.1-arm64-arm-64bit
- Python version: 3.10.13
- Huggingface_hub version: 0.20.2
- Safetensors version: 0.4.1
- Accelerate version: not installed
- Accelerate config: not found
- PyTorch version (GPU?): 2.1.2 (False)
- Tensorflow version (GPU?): 2.15.0 (False)
- Flax version (CPU?/GPU?/TPU?): not installed (NA)
- Jax version: not installed
- JaxLib version: not installed
- Using GPU in script?: <fill in>
- Using distributed or parallel set-up in script?: <fill in>

### Who can help?

_No response_

### Information

- [X] The official example scripts
- [ ] My own modified scripts

### Tasks

- [ ] An officially supported task in the `examples` folder (such as GLUE/SQuAD, ...)
- [ ] My own task or dataset (give details below)

### Reproduction

Run the following code:
```
from transformers import RagTokenizer, RagRetriever, RagTokenForGeneration, RagSequenceForGeneration
import torch
import faiss

tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-nq")
model = RagSequenceForGeneration.from_pretrained("facebook/rag-token-nq")
retriever = RagRetriever.from_pretrained("facebook/rag-token-nq", index_name="exact")
```

### Expected behavior

I expect RagRetriever to download data and finish it. but it will never stop. here is part of the result:
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.32G/1.32G [00:14<00:00, 88.3MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:14<00:00, 89.8MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 88.0MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 87.6MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 87.1MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 85.1MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:17<00:00, 75.9MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 83.5MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:14<00:00, 89.6MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 88.1MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 86.2MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:16<00:00, 82.4MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 87.6MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:16<00:00, 81.9MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:16<00:00, 78.2MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:19<00:00, 69.7MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:18<00:00, 70.4MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 84.3MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:16<00:00, 80.0MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:19<00:00, 69.3MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 87.4MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [02:03<00:00, 10.8MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:26<00:00, 50.7MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:22<00:00, 59.3MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:19<00:00, 66.8MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 84.2MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:18<00:00, 70.5MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:20<00:00, 65.0MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:18<00:00, 70.5MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 84.1MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:15<00:00, 87.5MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:18<00:00, 71.1MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████| 1.33G/1.33G [00:19<00:00, 67.0MB/s]
It will continue downloading if you don't stop it.

Comments:
cc @ydshieh if you can have a look 🤗 

Hi.

Well , when I tried it on Colab

> Downloading data: 80% 3.75G/4.69G [01:16<00:22, 41.7MB/s]

So it's big `4.69 G` ... On colab, it's fast. In your case, it depends on your network :-)

Sorry, your are right, something is wrong! I will check

Well, it is 51 files of 1.33 GB to download, and after that 20M examples to generate and takes 14 hours ....

> Generating train split  1647286/21015300 [1:11:27<13:45:48, 390.89 examples/s




So it will definitely finish (in theory). There is nothing we can do but just keep patient 😭 

This issue has been automatically marked as stale because it has not had recent activity. If you think this still needs to be addressed please comment on this thread.

Please note that issues that do not follow the [contributing guidelines](https://github.com/huggingface/transformers/blob/main/CONTRIBUTING.md) are likely to be ignored.