preprocessing_num_workers coredump
Author: peregilk
Pull request: no

## Environment info

- `transformers` version: 4.14.0.dev0
- Platform: Linux-5.4.0-1043-gcp-x86_64-with-glibc2.29
- Python version: 3.8.10
- Flax version (CPU?/GPU?/TPU?): 0.3.4 (cpu)
- Jax version: 0.2.17
- JaxLib version: 0.1.68

### Who can help
@patrickvonplaten 
@patil-suraj

## Information
I am training RoBERTa on Flax, and since I have a huge local dataset, I need to set the preprocessing_num_workers. This seems to result in coredumps. In this example I am setting preprocessing_num_workers=64, and two of the cpu cores crashes. Fortunately the proecess continues, but most likely the output from these two cpus are lost.

I have made some debugging tests. The dataset is in json-format. I did reduce the length of each line, and also made a 1GB dummy dataset consisting  of "this is a test"-only. For ruling out errors related to the dataset itself. I do however get the exact same error.

Same error happens running the default run_mlm_flax.py-script.

Please see the error below:

```
#33: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [01:41<00:00, 12.66s/ba]
 #12: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [01:42<00:00, 12.77s/ba]
 #32: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [01:43<00:00, 12.98s/ba]
 #2: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [01:47<00:00, 13.38s/ba]
https://symbolize.stripped_domain/r/?trace=5f5fdb,7f90de96b20f&map= ████████████████████████████████████████████████████████████████████████████████████████████████████████▊                       | 7/8 [01:40<00:09,  9.92s/ba]
https://symbolize.stripped_domain/r/?trace=*** SIGTERM received by PID 1288846 (TID 1288846) on cpu 7 from PID 1288427; stack trace: ***████████████████████████████████████▊                       | 7/8 [01:46<00:10, 10.91s/ba]
7f90de9153f4,7f90de96b20f,7f&map= ████████████████████████████████████████████████████████████████████████████████████████████▋                                                                     | 5/8 [01:27<00:42, 14.07s/ba]
*** SIGTERM received by PID 1288892 (TID 1288892) on cpu 31 from PID 1288427; stack trace: ***████████████████████████████████▋                                                                     | 5/8 [01:31<00:46, 15.39s/ba]
PC: @           0x5f5fdb  (unknown)  _PyFunction_Vectorcall█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:31<00:10, 10.55s/ba]
    @     0x7f8fe0058800        976  (unknown)██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:24<00:09,  9.27s/ba]
    @     0x7f90de96b210  (unknown)  (unknown)████████████████████████████████████████████████████████████████████████████████▋                                                                     | 5/8 [01:33<00:47, 15.78s/ba]
https://symbolize.stripped_domain/r/?trace=5f5fdb,7f8fe00587ff,7f90de96b20f&map=2a762cd764e70bc90ae4c7f9747c08d7:7f8fd3116000-7f8fe0397280                                                          | 5/8 [01:32<01:03, 21.10s/ba]
E1216 18:18:13.622459 1288846 coredump_hook.cc:250] RAW: Remote crash gathering disabled for SIGTERM.███████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:37<00:12, 12.51s/ba]
PC: @     0x7f90de9153f4  (unknown)  do_futex_wait.constprop.0██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:42<00:08,  8.45s/ba]
    @     0x7f8fe0058800        976  (unknown)███████████████████████████████████████████████████████████████████████████████████████████████████████▊                                              | 6/8 [01:34<00:22, 11.36s/ba]
    @     0x7f90de96b210  592243856  (unknown)██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:37<00:08,  8.44s/ba]
    @               0x80  (unknown)  (unknown)██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:38<00:08,  8.47s/ba]
https://symbolize.stripped_domain/r/?trace=7f90de9153f4,7f8fe00587ff,7f90de96b20f,7f&map=2a762cd764e70bc90ae4c7f9747c08d7:7f8fd3116000-7f8fe0397280                                                 | 4/8 [01:31<01:29, 22.30s/ba]
E1216 18:18:13.628332 1288892 coredump_hook.cc:250] RAW: Remote crash gathering disabled for SIGTERM.███████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:34<00:12, 12.52s/ba]
E1216 18:18:13.628836 1288846 process_state.cc:771] RAW: Raising signal 15 with default behavior████████████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:38<00:10, 10.98s/ba]
E1216 18:18:13.643199 1288892 process_state.cc:771] RAW: Raising signal 15 with default behavior████████████████████████████████████████████████████████████████████████████▉                       | 7/8 [01:32<00:14, 14.25s/ba]
 #50: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [01:00<00:00,  7.61s/ba]
 #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████

```




Comments:
Is this related to the flax script or does the core dump also occur when you just process the dataset? Could you maybe write a script to just process the dataset and see if it gives a core dump, so we could pinpoint the issue? Thanks!

@patil-suraj Thanks for the feedback. 

I did not have the possibility of creating a separate script for this today. However, I did run a fast check.

The error is happening within the datasets.map-function: https://github.com/huggingface/transformers/blob/cd583bdaa543318785cc2a74abb195546d972a25/examples/flax/language-modeling/run_mlm_flax.py#L509-L514

I did also verify that the example-text looks OK. I also ran it with different tokenize_function to verify that the error is not happening within this function.
 
The error is reproduced by running the run_mlm_flax.py script. It does however only appear if the data is loaded locally. Running it toward a HuggingFace dataset, I do not see any errors.

Tell me if a script would still be useful.



This issue has been automatically marked as stale because it has not had recent activity. If you think this still needs to be addressed please comment on this thread.

Please note that issues that do not follow the [contributing guidelines](https://github.com/huggingface/transformers/blob/master/CONTRIBUTING.md) are likely to be ignored.