1%|▊ | 100/15430 [21:43<31:31:27, 7.40s/it] 1%|█▋ | 200/15430 [43:20<30:56:43, 7.31s/it] 2%|██▍ | 300/15430 [1:04:54<30:32:55, 7.27s/it] 3%|███▎ | 400/15430 [1:26:21<30:12:09, 7.23s/it] 3%|████▏ | 500/15430 [1:47:37<29:00:20, 6.99s/it] 4%|████▉ | 600/15430 [2:08:58<29:37:53, 7.19s/it] 5%|█████▊ | 699/15430 [2:30:20<31:09:08, 7.61s/it] 5%|██████▋ | 800/15430 [2:51:53<28:21:57, 6.98s/it] 6%|███████▍ | 899/15430 [3:13:19<30:48:30, 7.63s/it] 6%|████████▏ | 1000/15430 [3:35:01<29:21:28, 7.32s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 {'loss': 1.0326, 'learning_rate': 3.7424999999999995e-05, 'epoch': 0.32} Configuration saved in ./checkpoint-1000/config.json {'eval_loss': 0.30916452407836914, 'eval_wer': 0.2718170286472251, 'eval_runtime': 1003.5092, 'eval_samples_per_second': 15.885, 'eval_steps_per_second': 0.994, 'epoch': 0.32} Model weights saved in ./checkpoint-1000/pytorch_model.bin Configuration saved in ./checkpoint-1000/preprocessor_config.json Configuration saved in ./preprocessor_config.json 02/02/2022 03:37:03 - WARNING - huggingface_hub.repository - Adding files tracked by Git LFS: ['wandb/run-20220201_234440-21bzabyi/run-21bzabyi.wandb']. This may take a bit of time if the files are large. Adding files tracked by Git LFS: ['wandb/run-20220201_234440-21bzabyi/run-21bzabyi.wandb']. This may take a bit of time if the files are large. 7%|█████████ | 1100/15430 [4:15:32<29:59:37, 7.54s/it] 8%|█████████▊ | 1199/15430 [4:37:01<30:36:31, 7.74s/it] 8%|██████████▋ | 1299/15430 [4:58:24<30:09:17, 7.68s/it] 9%|███████████▌ | 1399/15430 [5:19:52<29:53:48, 7.67s/it] {'loss': 1.0439, 'learning_rate': 5.2424999999999994e-05, 'epoch': 0.45} 10%|████████████▎ | 1499/15430 [5:41:23<29:40:43, 7.67s/it] 10%|█████████████▏ | 1600/15430 [6:02:50<28:00:13, 7.29s/it] 11%|█████████████▉ | 1700/15430 [6:24:17<27:06:50, 7.11s/it] 12%|██████████████▊ | 1800/15430 [6:45:41<27:27:55, 7.25s/it] 12%|███████████████▋ | 1899/15430 [7:07:01<28:56:58, 7.70s/it] 13%|████████████████▍ | 2000/15430 [7:28:31<27:02:06, 7.25s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 {'loss': 1.0828, 'learning_rate': 7.48875e-05, 'epoch': 0.65} 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 997/997 [16:29<00:00, 1.58it/s] Configuration saved in ./checkpoint-2000/config.json Model weights saved in ./checkpoint-2000/pytorch_model.bin Configuration saved in ./checkpoint-2000/preprocessor_config.json 14%|█████████████████▎ | 2099/15430 [8:07:02<28:26:01, 7.68s/it] 14%|██████████████████ | 2200/15430 [8:28:34<26:56:39, 7.33s/it] 15%|██████████████████▉ | 2300/15430 [8:50:02<26:35:37, 7.29s/it] 16%|███████████████████▊ | 2400/15430 [9:11:33<25:56:42, 7.17s/it] 16%|████████████████████▌ | 2500/15430 [9:33:06<26:13:29, 7.30s/it] 17%|█████████████████████▍ | 2599/15430 [9:54:27<27:52:03, 7.82s/it] 17%|██████████████████████ | 2700/15430 [10:16:03<25:55:40, 7.33s/it] 18%|██████████████████████▊ | 2799/15430 [10:37:34<27:10:54, 7.75s/it] 19%|███████████████████████▋ | 2900/15430 [10:59:18<25:42:29, 7.39s/it] 19%|████████████████████████▍ | 2999/15430 [11:20:47<26:22:03, 7.64s/it] 19%|████████████████████████▍ | 3000/15430 [11:20:54<25:00:45, 7.24s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 997/997 [16:28<00:00, 1.61it/s] Configuration saved in ./checkpoint-3000/config.json Model weights saved in ./checkpoint-3000/pytorch_model.bin Configuration saved in ./checkpoint-3000/preprocessor_config.json Deleting older checkpoint [checkpoint-1000] due to args.save_total_limit 20%|█████████████████████████▎ | 3099/15430 [12:00:27<54:37:28, 15.95s/it] 21%|██████████████████████████▏ | 3200/15430 [12:22:20<54:12:55, 15.96s/it] 21%|██████████████████████████▉ | 3300/15430 [12:43:56<53:52:03, 15.99s/it] 22%|███████████████████████████▊ | 3399/15430 [13:05:21<53:29:58, 16.01s/it] 23%|████████████████████████████▌ | 3500/15430 [13:27:06<52:24:33, 15.82s/it] 23%|█████████████████████████████▍ | 3600/15430 [13:48:41<52:29:55, 15.98s/it] 24%|██████████████████████████████▏ | 3699/15430 [14:10:03<51:45:55, 15.89s/it] 25%|███████████████████████████████ | 3799/15430 [14:31:40<51:53:51, 16.06s/it] 25%|███████████████████████████████▊ | 3899/15430 [14:53:12<50:46:47, 15.85s/it] 26%|████████████████████████████████▋ | 4000/15430 [15:15:03<50:04:37, 15.77s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 {'loss': 1.0306, 'learning_rate': 6.38644825018615e-05, 'epoch': 1.3} Configuration saved in ./checkpoint-4000/config.json {'eval_loss': 0.25875675678253174, 'eval_wer': 0.23513389953832187, 'eval_runtime': 1004.8682, 'eval_samples_per_second': 15.864, 'eval_steps_per_second': 0.992, 'epoch': 1.3} Model weights saved in ./checkpoint-4000/pytorch_model.bin Configuration saved in ./checkpoint-4000/preprocessor_config.json Deleting older checkpoint [checkpoint-2000] due to args.save_total_limit 27%|█████████████████████████████████▍ | 4100/15430 [15:53:50<50:00:42, 15.89s/it] 27%|██████████████████████████████████▎ | 4199/15430 [16:15:05<49:50:54, 15.98s/it] 28%|███████████████████████████████████ | 4300/15430 [16:36:47<48:53:39, 15.81s/it] 29%|███████████████████████████████████▉ | 4400/15430 [16:58:17<47:58:42, 15.66s/it] 29%|████████████████████████████████████▋ | 4499/15430 [17:19:25<48:19:09, 15.91s/it] 30%|█████████████████████████████████████▌ | 4599/15430 [17:40:52<47:45:59, 15.88s/it] 30%|██████████████████████████████████████▎ | 4699/15430 [18:02:11<47:18:42, 15.87s/it] 31%|███████████████████████████████████████▏ | 4800/15430 [18:23:59<46:39:06, 15.80s/it] 32%|████████████████████████████████████████ | 4900/15430 [18:45:29<45:37:21, 15.60s/it] 32%|████████████████████████████████████████▊ | 5000/15430 [19:07:02<45:40:26, 15.76s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 {'loss': 1.0052, 'learning_rate': 5.82855547282204e-05, 'epoch': 1.62} 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 997/997 [16:25<00:00, 1.58it/s] Configuration saved in ./checkpoint-5000/config.json Model weights saved in ./checkpoint-5000/pytorch_model.bin Configuration saved in ./checkpoint-5000/preprocessor_config.json Deleting older checkpoint [checkpoint-3000] due to args.save_total_limit 33%|█████████████████████████████████████████▋ | 5099/15430 [19:45:17<45:27:51, 15.84s/it] 34%|██████████████████████████████████████████▍ | 5199/15430 [20:06:44<45:08:40, 15.89s/it] 34%|███████████████████████████████████████████▎ | 5299/15430 [20:28:06<44:20:52, 15.76s/it] 35%|████████████████████████████████████████████ | 5400/15430 [20:49:47<43:48:43, 15.73s/it] 36%|████████████████████████████████████████████▉ | 5499/15430 [21:10:59<43:42:26, 15.84s/it] 36%|█████████████████████████████████████████████▋ | 5599/15430 [21:32:28<43:18:26, 15.86s/it] 37%|██████████████████████████████████████████████▌ | 5700/15430 [21:54:07<42:31:36, 15.73s/it] 38%|███████████████████████████████████████████████▎ | 5799/15430 [22:15:24<41:59:27, 15.70s/it] 38%|████████████████████████████████████████████████▏ | 5900/15430 [22:37:12<41:21:40, 15.62s/it] 39%|████████████████████████████████████████████████▉ | 5999/15430 [22:58:27<41:34:32, 15.87s/it] 39%|████████████████████████████████████████████████▉ | 6000/15430 [22:58:43<41:09:13, 15.71s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 997/997 [16:24<00:00, 1.60it/s] Configuration saved in ./checkpoint-6000/config.json Model weights saved in ./checkpoint-6000/pytorch_model.bin Configuration saved in ./checkpoint-6000/preprocessor_config.json Deleting older checkpoint [checkpoint-4000] due to args.save_total_limit 40%|█████████████████████████████████████████████████▊ | 6100/15430 [23:37:14<40:30:47, 15.63s/it] 40%|██████████████████████████████████████████████████▋ | 6200/15430 [23:58:43<31:16:11, 12.20s/it] 41%|███████████████████████████████████████████████████▍ | 6300/15430 [24:20:20<31:36:04, 12.46s/it] 41%|████████████████████████████████████████████████████▎ | 6399/15430 [24:41:48<31:50:16, 12.69s/it] 42%|█████████████████████████████████████████████████████ | 6500/15430 [25:03:36<31:05:51, 12.54s/it] 43%|█████████████████████████████████████████████████████▉ | 6599/15430 [25:25:07<30:34:24, 12.46s/it] 43%|██████████████████████████████████████████████████████▋ | 6699/15430 [25:46:53<30:34:20, 12.61s/it] 44%|███████████████████████████████████████████████████████▌ | 6800/15430 [26:08:46<29:28:52, 12.30s/it] 45%|████████████████████████████████████████████████████████▎ | 6900/15430 [26:30:28<29:38:40, 12.51s/it] 45%|█████████████████████████████████████████████████████████▏ | 6999/15430 [26:51:58<29:47:20, 12.72s/it] 45%|█████████████████████████████████████████████████████████▏ | 7000/15430 [26:52:10<29:38:34, 12.66s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 Configuration saved in ./checkpoint-7000/config.json {'eval_loss': 0.2513602077960968, 'eval_wer': 0.21723340824066503, 'eval_runtime': 1010.6008, 'eval_samples_per_second': 15.774, 'eval_steps_per_second': 0.987, 'epoch': 2.27} Model weights saved in ./checkpoint-7000/pytorch_model.bin Configuration saved in ./checkpoint-7000/preprocessor_config.json Deleting older checkpoint [checkpoint-5000] due to args.save_total_limit 46%|█████████████████████████████████████████████████████████▉ | 7100/15430 [27:31:05<29:00:37, 12.54s/it] 47%|██████████████████████████████████████████████████████████▊ | 7199/15430 [27:52:35<28:25:40, 12.43s/it] 47%|███████████████████████████████████████████████████████████▌ | 7299/15430 [28:14:04<28:09:34, 12.47s/it] 48%|████████████████████████████████████████████████████████████▍ | 7399/15430 [28:35:43<28:06:13, 12.60s/it] 49%|█████████████████████████████████████████████████████████████▏ | 7500/15430 [28:57:28<27:14:10, 12.36s/it] 49%|██████████████████████████████████████████████████████████████ | 7599/15430 [29:18:52<27:10:18, 12.49s/it] 50%|██████████████████████████████████████████████████████████████▉ | 7700/15430 [29:40:41<26:47:50, 12.48s/it] 51%|███████████████████████████████████████████████████████████████▋ | 7800/15430 [30:02:22<26:38:38, 12.57s/it] 51%|████████████████████████████████████████████████████████████████▌ | 7899/15430 [30:23:44<26:05:54, 12.48s/it] 52%|█████████████████████████████████████████████████████████████████▎ | 8000/15430 [30:45:36<25:47:43, 12.50s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 0%|▎ | 2/997 [00:00<07:01, 2.36it/s] Configuration saved in ./checkpoint-8000/config.json {'eval_loss': 0.7983415722846985, 'eval_wer': 0.5072471233652923, 'eval_runtime': 1011.5068, 'eval_samples_per_second': 15.76, 'eval_steps_per_second': 0.986, 'epoch': 2.59} Model weights saved in ./checkpoint-8000/pytorch_model.bin Configuration saved in ./checkpoint-8000/preprocessor_config.json Deleting older checkpoint [checkpoint-7000] due to args.save_total_limit 52%|██████████████████████████████████████████████████████████████████▏ | 8100/15430 [31:24:35<25:22:57, 12.47s/it] 53%|██████████████████████████████████████████████████████████████████▉ | 8200/15430 [31:46:06<25:05:37, 12.49s/it] 54%|███████████████████████████████████████████████████████████████████▊ | 8299/15430 [32:07:31<24:56:40, 12.59s/it] 54%|████████████████████████████████████████████████████████████████████▌ | 8399/15430 [32:29:10<24:31:37, 12.56s/it] 55%|█████████████████████████████████████████████████████████████████████▍ | 8500/15430 [32:51:05<23:58:50, 12.46s/it] 56%|██████████████████████████████████████████████████████████████████████▏ | 8600/15430 [33:12:47<23:30:53, 12.39s/it] 56%|███████████████████████████████████████████████████████████████████████ | 8700/15430 [33:34:29<23:15:31, 12.44s/it] 57%|███████████████████████████████████████████████████████████████████████▊ | 8800/15430 [33:56:09<22:46:53, 12.37s/it] 58%|████████████████████████████████████████████████████████████████████████▋ | 8900/15430 [34:17:42<22:37:56, 12.48s/it] 58%|█████████████████████████████████████████████████████████████████████████▍ | 8999/15430 [34:39:12<22:13:07, 12.44s/it] 58%|█████████████████████████████████████████████████████████████████████████▍ | 9000/15430 [34:39:25<22:16:46, 12.47s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 Configuration saved in ./checkpoint-9000/config.json {'eval_loss': 1.8916891813278198, 'eval_wer': 0.9416173544619229, 'eval_runtime': 1006.0568, 'eval_samples_per_second': 15.845, 'eval_steps_per_second': 0.991, 'epoch': 2.92} Model weights saved in ./checkpoint-9000/pytorch_model.bin Configuration saved in ./checkpoint-9000/preprocessor_config.json Deleting older checkpoint [checkpoint-8000] due to args.save_total_limit 59%|██████████████████████████████████████████████████████████████████████████▎ | 9100/15430 [35:18:21<22:00:42, 12.52s/it] 60%|███████████████████████████████████████████████████████████████████████████ | 9199/15430 [35:39:51<21:26:18, 12.39s/it] 60%|███████████████████████████████████████████████████████████████████████████▉ | 9300/15430 [36:01:18<16:49:37, 9.88s/it] 61%|████████████████████████████████████████████████████████████████████████████▊ | 9399/15430 [36:22:53<17:07:59, 10.23s/it] 62%|█████████████████████████████████████████████████████████████████████████████▌ | 9500/15430 [36:44:42<16:20:47, 9.92s/it] 62%|██████████████████████████████████████████████████████████████████████████████▍ | 9600/15430 [37:06:35<16:11:55, 10.00s/it] 63%|███████████████████████████████████████████████████████████████████████████████▏ | 9700/15430 [37:28:07<15:46:32, 9.91s/it] 64%|████████████████████████████████████████████████████████████████████████████████ | 9799/15430 [37:49:41<15:51:43, 10.14s/it] 64%|████████████████████████████████████████████████████████████████████████████████▊ | 9899/15430 [38:11:22<15:43:38, 10.24s/it] 65%|█████████████████████████████████████████████████████████████████████████████████ | 10000/15430 [38:33:05<14:59:38, 9.94s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 {'loss': 2.1834, 'learning_rate': 3.0390915860014888e-05, 'epoch': 3.24} Configuration saved in ./checkpoint-10000/config.json {'eval_loss': 1.7495689392089844, 'eval_wer': 0.9029832005820879, 'eval_runtime': 1013.0296, 'eval_samples_per_second': 15.736, 'eval_steps_per_second': 0.984, 'epoch': 3.24} Model weights saved in ./checkpoint-10000/pytorch_model.bin Configuration saved in ./checkpoint-10000/preprocessor_config.json Deleting older checkpoint [checkpoint-9000] due to args.save_total_limit 65%|█████████████████████████████████████████████████████████████████████████████████▊ | 10099/15430 [39:11:50<15:00:37, 10.14s/it] 66%|██████████████████████████████████████████████████████████████████████████████████▌ | 10199/15430 [39:33:39<14:54:23, 10.26s/it] 67%|███████████████████████████████████████████████████████████████████████████████████▍ | 10300/15430 [39:55:31<14:21:03, 10.07s/it] 67%|████████████████████████████████████████████████████████████████████████████████████▏ | 10399/15430 [40:17:04<14:09:42, 10.13s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████ | 10500/15430 [40:38:54<13:49:40, 10.10s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████▊ | 10600/15430 [41:00:30<13:28:18, 10.04s/it] 69%|██████████████████████████████████████████████████████████████████████████████████████▋ | 10699/15430 [41:21:56<13:19:50, 10.14s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████▍ | 10799/15430 [41:43:34<13:10:35, 10.24s/it] 71%|████████████████████████████████████████████████████████████████████████████████████████▎ | 10900/15430 [42:05:20<12:23:40, 9.85s/it] 71%|█████████████████████████████████████████████████████████████████████████████████████████ | 11000/15430 [42:26:51<12:04:26, 9.81s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. ***** Running Evaluation ***** Num examples = 15941 Batch size = 16 0%| | 0/997 [00:00 main 5%|████████▋ | 46/997 [00:40<12:31, 1.27it/s] 5%|████████▋ | 46/997 [00:40<12:31, 1.27it/s] 5%|████████▋ | 46/997 [00:40<12:31, 1.27it/s] 5%|████████▋ | 46/997 [00:40<12:31, 1.27it/s] 5%|████████▋ | 46/997 [00:40<12:31, 1.27it/s] 5%|████████▋ | 46/997 [00:40<12:31, 1.27it/s] 5%|████████▋ | 46/997 [00:40<12:31, 1.27it/s] 02/04/2022 11:26:49 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-fr 401bcc7..a629eee main -> main 5%|████████▋ | 46/997 [00:40<12:31, 1.27it/s] ***** train metrics ***** epoch = 5.0 train_loss = 1.738 train_runtime = 2 days, 11:34:07.52 train_samples = 395042 train_samples_per_second = 9.211 train_steps_per_second = 0.072 0%| | 0/997 [00:00 main 0%| | 0/997 [00:00