1%|█ | 100/13952 [20:01<25:22:02, 6.59s/it] 1%|██▏ | 199/13952 [39:57<26:37:38, 6.97s/it] 2%|███▏ | 299/13952 [1:00:03<27:14:29, 7.18s/it] 3%|████▏ | 399/13952 [1:20:21<27:01:11, 7.18s/it] 4%|█████▎ | 499/13952 [1:40:29<26:15:18, 7.03s/it] 4%|██████▎ | 599/13952 [2:00:34<26:31:29, 7.15s/it] 5%|███████▍ | 700/13952 [2:20:42<24:32:51, 6.67s/it] 6%|████████▍ | 800/13952 [2:40:51<24:12:27, 6.63s/it] 6%|█████████▌ | 900/13952 [3:01:04<24:26:52, 6.74s/it] 7%|██████████▌ | 1000/13952 [3:21:10<23:56:46, 6.66s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 {'loss': 0.9827, 'learning_rate': 3.7424999999999995e-05, 'epoch': 0.29} Configuration saved in ./checkpoint-1000/config.json {'eval_loss': inf, 'eval_wer': 0.2936861897030796, 'eval_runtime': 971.9761, 'eval_samples_per_second': 16.483, 'eval_steps_per_second': 1.031, 'epoch': 0.29} Model weights saved in ./checkpoint-1000/pytorch_model.bin Configuration saved in ./checkpoint-1000/preprocessor_config.json Configuration saved in ./preprocessor_config.json Adding files tracked by Git LFS: ['wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb']. This may take a bit of time if the files are large. 02/03/2022 20:44:42 - WARNING - huggingface_hub.repository - Adding files tracked by Git LFS: ['wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb']. This may take a bit of time if the files are large. 8%|███████████▌ | 1099/13952 [3:59:05<25:18:05, 7.09s/it] 9%|████████████▋ | 1199/13952 [4:19:09<24:41:14, 6.97s/it] 9%|█████████████▋ | 1300/13952 [4:39:20<23:02:32, 6.56s/it] 10%|██████████████▋ | 1399/13952 [4:59:24<25:01:46, 7.18s/it] 11%|███████████████▊ | 1500/13952 [5:19:47<23:02:42, 6.66s/it] 11%|████████████████▊ | 1599/13952 [5:39:40<24:24:07, 7.11s/it] {'loss': 1.0025, 'learning_rate': 5.9925e-05, 'epoch': 0.46} 12%|█████████████████▉ | 1700/13952 [5:59:53<22:37:57, 6.65s/it] 13%|██████████████████▉ | 1800/13952 [6:20:00<22:12:45, 6.58s/it] 14%|████████████████████ | 1899/13952 [6:40:04<24:00:53, 7.17s/it] 14%|█████████████████████ | 1999/13952 [7:00:15<23:30:06, 7.08s/it] 14%|█████████████████████ | 2000/13952 [7:00:21<21:52:26, 6.59s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [15:59<00:00, 1.74it/s] Configuration saved in ./checkpoint-2000/config.json Model weights saved in ./checkpoint-2000/pytorch_model.bin Configuration saved in ./checkpoint-2000/preprocessor_config.json Configuration saved in ./preprocessor_config.json 15%|██████████████████████▏ | 2100/13952 [7:41:26<21:58:23, 6.67s/it] 16%|███████████████████████▏ | 2200/13952 [8:01:27<21:58:26, 6.73s/it] 16%|████████████████████████▏ | 2300/13952 [8:21:33<21:43:31, 6.71s/it] 17%|█████████████████████████▎ | 2399/13952 [8:41:36<23:09:23, 7.22s/it] 18%|██████████████████████████▎ | 2499/13952 [9:01:45<23:01:01, 7.23s/it] 19%|███████████████████████████▍ | 2600/13952 [9:21:57<21:11:40, 6.72s/it] 19%|████████████████████████████▍ | 2700/13952 [9:41:59<20:31:43, 6.57s/it] 20%|█████████████████████████████▎ | 2800/13952 [10:02:12<20:43:18, 6.69s/it] 21%|██████████████████████████████▎ | 2899/13952 [10:22:14<21:58:57, 7.16s/it] 21%|███████████████████████████████▍ | 2999/13952 [10:42:25<21:49:46, 7.17s/it] 22%|███████████████████████████████▍ | 3000/13952 [10:42:30<20:13:52, 6.65s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:01<00:00, 1.74it/s] Configuration saved in ./checkpoint-3000/config.json Model weights saved in ./checkpoint-3000/pytorch_model.bin Configuration saved in ./checkpoint-3000/preprocessor_config.json 22%|████████████████████████████████▍ | 3099/13952 [11:19:09<21:30:19, 7.13s/it] 23%|█████████████████████████████████▍ | 3200/13952 [11:39:24<20:07:01, 6.74s/it] 24%|██████████████████████████████████▌ | 3300/13952 [11:59:32<19:52:48, 6.72s/it] 24%|███████████████████████████████████▌ | 3400/13952 [12:19:43<19:38:33, 6.70s/it] 25%|████████████████████████████████████▌ | 3499/13952 [12:40:44<45:07:32, 15.54s/it] 26%|█████████████████████████████████████▋ | 3599/13952 [13:00:51<44:30:24, 15.48s/it] 27%|██████████████████████████████████████▋ | 3699/13952 [13:20:55<43:29:48, 15.27s/it] 27%|███████████████████████████████████████▊ | 3799/13952 [13:41:00<43:43:55, 15.51s/it] {'loss': 0.9923, 'learning_rate': 6.372364457831325e-05, 'epoch': 1.09} 28%|████████████████████████████████████████▊ | 3899/13952 [14:01:07<42:29:05, 15.21s/it] 29%|█████████████████████████████████████████▊ | 3999/13952 [14:21:19<42:49:01, 15.49s/it] 29%|█████████████████████████████████████████▊ | 4000/13952 [14:21:34<42:09:33, 15.25s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 Configuration saved in ./checkpoint-4000/config.json {'eval_loss': inf, 'eval_wer': 0.2522379727015459, 'eval_runtime': 984.2539, 'eval_samples_per_second': 16.277, 'eval_steps_per_second': 1.018, 'epoch': 1.15} Model weights saved in ./checkpoint-4000/pytorch_model.bin Configuration saved in ./checkpoint-4000/preprocessor_config.json Deleting older checkpoint [checkpoint-2000] due to args.save_total_limit 29%|██████████████████████████████████████████▉ | 4099/13952 [14:58:17<42:11:32, 15.42s/it] 30%|███████████████████████████████████████████▉ | 4200/13952 [15:18:47<41:12:53, 15.21s/it] 31%|████████████████████████████████████████████▉ | 4300/13952 [15:39:00<40:54:21, 15.26s/it] 32%|██████████████████████████████████████████████ | 4400/13952 [15:59:10<40:25:59, 15.24s/it] 32%|███████████████████████████████████████████████ | 4500/13952 [16:19:16<39:59:46, 15.23s/it] 33%|████████████████████████████████████████████████▏ | 4599/13952 [16:39:26<40:14:37, 15.49s/it] 34%|█████████████████████████████████████████████████▏ | 4700/13952 [17:00:07<40:03:23, 15.59s/it] 34%|██████████████████████████████████████████████████▏ | 4800/13952 [17:20:47<38:53:09, 15.30s/it] 35%|███████████████████████████████████████████████████▎ | 4899/13952 [17:40:48<39:07:05, 15.56s/it] 36%|████████████████████████████████████████████████████▎ | 4999/13952 [18:00:56<38:26:31, 15.46s/it] 36%|████████████████████████████████████████████████████▎ | 5000/13952 [18:01:10<37:52:50, 15.23s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 Configuration saved in ./checkpoint-5000/config.json {'eval_loss': inf, 'eval_wer': 0.23654168244210147, 'eval_runtime': 987.1835, 'eval_samples_per_second': 16.229, 'eval_steps_per_second': 1.015, 'epoch': 1.43} Model weights saved in ./checkpoint-5000/pytorch_model.bin Configuration saved in ./checkpoint-5000/preprocessor_config.json Deleting older checkpoint [checkpoint-3000] due to args.save_total_limit 37%|█████████████████████████████████████████████████████▎ | 5099/13952 [18:37:59<38:01:44, 15.46s/it] 37%|██████████████████████████████████████████████████████▍ | 5200/13952 [18:58:21<37:00:56, 15.23s/it] 38%|███████████████████████████████████████████████████████▍ | 5299/13952 [19:18:16<37:43:07, 15.69s/it] 39%|████████████████████████████████████████████████████████▍ | 5399/13952 [19:38:40<37:19:56, 15.71s/it] 39%|█████████████████████████████████████████████████████████▌ | 5500/13952 [19:59:07<35:48:02, 15.25s/it] 40%|██████████████████████████████████████████████████████████▌ | 5599/13952 [20:19:01<35:59:23, 15.51s/it] 41%|███████████████████████████████████████████████████████████▋ | 5700/13952 [20:39:27<34:41:28, 15.13s/it] 42%|████████████████████████████████████████████████████████████▋ | 5800/13952 [20:59:41<34:40:32, 15.31s/it] 42%|█████████████████████████████████████████████████████████████▋ | 5900/13952 [21:19:51<33:59:58, 15.20s/it] 43%|██████████████████████████████████████████████████████████████▊ | 5999/13952 [21:39:46<34:21:59, 15.56s/it] 43%|██████████████████████████████████████████████████████████████▊ | 6000/13952 [21:40:01<33:52:43, 15.34s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 Configuration saved in ./checkpoint-6000/config.json {'eval_loss': inf, 'eval_wer': 0.23323044541271745, 'eval_runtime': 976.0993, 'eval_samples_per_second': 16.413, 'eval_steps_per_second': 1.027, 'epoch': 1.72} Model weights saved in ./checkpoint-6000/pytorch_model.bin Configuration saved in ./checkpoint-6000/preprocessor_config.json Deleting older checkpoint [checkpoint-4000] due to args.save_total_limit 44%|███████████████████████████████████████████████████████████████▊ | 6099/13952 [22:16:39<33:28:15, 15.34s/it] 44%|████████████████████████████████████████████████████████████████▊ | 6199/13952 [22:36:50<33:20:53, 15.48s/it] 45%|█████████████████████████████████████████████████████████████████▉ | 6299/13952 [22:56:59<32:50:34, 15.45s/it] 46%|██████████████████████████████████████████████████████████████████▉ | 6400/13952 [23:17:25<32:11:19, 15.34s/it] 47%|████████████████████████████████████████████████████████████████████ | 6499/13952 [23:37:24<31:44:17, 15.33s/it] 47%|█████████████████████████████████████████████████████████████████████ | 6600/13952 [23:57:59<31:06:44, 15.23s/it] 48%|██████████████████████████████████████████████████████████████████████ | 6699/13952 [24:18:06<32:05:10, 15.93s/it] 49%|███████████████████████████████████████████████████████████████████████▏ | 6799/13952 [24:38:19<30:59:32, 15.60s/it] 49%|████████████████████████████████████████████████████████████████████████▏ | 6900/13952 [24:58:50<30:15:33, 15.45s/it] 50%|█████████████████████████████████████████████████████████████████████████▏ | 6999/13952 [25:19:02<24:37:03, 12.75s/it] 50%|█████████████████████████████████████████████████████████████████████████▎ | 7000/13952 [25:19:14<24:11:45, 12.53s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:12<00:00, 1.71it/s] Configuration saved in ./checkpoint-7000/config.json Model weights saved in ./checkpoint-7000/pytorch_model.bin Configuration saved in ./checkpoint-7000/preprocessor_config.json Deleting older checkpoint [checkpoint-5000] due to args.save_total_limit 51%|██████████████████████████████████████████████████████████████████████████▎ | 7099/13952 [25:56:05<24:13:48, 12.73s/it] 52%|███████████████████████████████████████████████████████████████████████████▎ | 7200/13952 [26:16:27<23:24:02, 12.48s/it] 52%|████████████████████████████████████████████████████████████████████████████▍ | 7299/13952 [26:36:25<23:30:27, 12.72s/it] 53%|█████████████████████████████████████████████████████████████████████████████▍ | 7399/13952 [26:56:34<23:19:14, 12.81s/it] 54%|██████████████████████████████████████████████████████████████████████████████▍ | 7500/13952 [27:17:00<22:50:34, 12.75s/it] 54%|███████████████████████████████████████████████████████████████████████████████▌ | 7599/13952 [27:37:01<22:26:20, 12.72s/it] 55%|████████████████████████████████████████████████████████████████████████████████▌ | 7699/13952 [27:57:12<22:06:55, 12.73s/it] 56%|█████████████████████████████████████████████████████████████████████████████████▌ | 7799/13952 [28:17:19<21:47:25, 12.75s/it] 57%|██████████████████████████████████████████████████████████████████████████████████▋ | 7899/13952 [28:37:29<21:25:51, 12.75s/it] 57%|███████████████████████████████████████████████████████████████████████████████████▋ | 8000/13952 [28:57:54<20:43:23, 12.53s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 {'loss': 0.8936, 'learning_rate': 3.738704819277108e-05, 'epoch': 2.29} Configuration saved in ./checkpoint-8000/config.json {'eval_loss': inf, 'eval_wer': 0.2203063535964783, 'eval_runtime': 980.3676, 'eval_samples_per_second': 16.342, 'eval_steps_per_second': 1.022, 'epoch': 2.29} Model weights saved in ./checkpoint-8000/pytorch_model.bin Configuration saved in ./checkpoint-8000/preprocessor_config.json Deleting older checkpoint [checkpoint-6000] due to args.save_total_limit 58%|████████████████████████████████████████████████████████████████████████████████████▊ | 8100/13952 [29:34:49<20:35:42, 12.67s/it] 59%|█████████████████████████████████████████████████████████████████████████████████████▊ | 8200/13952 [29:55:00<20:16:23, 12.69s/it] 59%|██████████████████████████████████████████████████████████████████████████████████████▊ | 8299/13952 [30:14:53<19:50:08, 12.63s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████▉ | 8399/13952 [30:35:00<19:34:39, 12.69s/it] 61%|████████████████████████████████████████████████████████████████████████████████████████▉ | 8500/13952 [30:55:21<19:10:56, 12.67s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8599/13952 [31:15:12<18:42:53, 12.59s/it] 62%|███████████████████████████████████████████████████████████████████████████████████████████ | 8700/13952 [31:35:29<18:12:01, 12.48s/it] 63%|████████████████████████████████████████████████████████████████████████████████████████████ | 8800/13952 [31:55:36<18:04:38, 12.63s/it] 64%|█████████████████████████████████████████████████████████████████████████████████████████████ | 8899/13952 [32:15:29<17:28:52, 12.45s/it] 65%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 9000/13952 [32:35:49<17:13:44, 12.53s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 {'loss': 0.877, 'learning_rate': 3.111822289156626e-05, 'epoch': 2.58} 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:01<00:00, 1.75it/s] Configuration saved in ./checkpoint-9000/config.json Model weights saved in ./checkpoint-9000/pytorch_model.bin Configuration saved in ./checkpoint-9000/preprocessor_config.json Deleting older checkpoint [checkpoint-7000] due to args.save_total_limit 65%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 9100/13952 [33:12:31<16:44:28, 12.42s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 9199/13952 [33:32:18<16:26:50, 12.46s/it] 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 9299/13952 [33:52:23<16:34:35, 12.83s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 9399/13952 [34:12:33<16:10:23, 12.79s/it] 68%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9500/13952 [34:32:55<15:23:51, 12.45s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9600/13952 [34:53:00<15:12:01, 12.57s/it] 70%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 9700/13952 [35:13:05<14:44:40, 12.48s/it] 70%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 9799/13952 [35:33:00<14:40:44, 12.72s/it] 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 9900/13952 [35:53:18<14:09:50, 12.58s/it] 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 10000/13952 [36:13:29<13:48:57, 12.59s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 {'loss': 0.8393, 'learning_rate': 2.4843122489959838e-05, 'epoch': 2.87} 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:01<00:00, 1.74it/s] Configuration saved in ./checkpoint-10000/config.json Model weights saved in ./checkpoint-10000/pytorch_model.bin Configuration saved in ./checkpoint-10000/preprocessor_config.json Deleting older checkpoint [checkpoint-8000] due to args.save_total_limit 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 10099/13952 [36:50:05<13:33:08, 12.66s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10200/13952 [37:10:20<12:53:29, 12.37s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10299/13952 [37:30:17<12:46:30, 12.59s/it] 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10399/13952 [37:50:25<12:35:34, 12.76s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10499/13952 [38:10:22<9:45:42, 10.18s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 10599/13952 [38:30:31<9:26:31, 10.14s/it] 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 10700/13952 [38:50:52<9:10:12, 10.15s/it] 77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10800/13952 [39:10:59<8:57:57, 10.24s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10899/13952 [39:30:57<8:38:04, 10.18s/it] 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10999/13952 [39:51:09<8:22:47, 10.22s/it] 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 11000/13952 [39:51:19<8:22:54, 10.22s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 Configuration saved in ./checkpoint-11000/config.json {'eval_loss': inf, 'eval_wer': 0.1935918579504983, 'eval_runtime': 979.3948, 'eval_samples_per_second': 16.358, 'eval_steps_per_second': 1.023, 'epoch': 3.15} Model weights saved in ./checkpoint-11000/pytorch_model.bin Configuration saved in ./checkpoint-11000/preprocessor_config.json Deleting older checkpoint [checkpoint-9000] due to args.save_total_limit 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11100/13952 [40:28:07<7:59:34, 10.09s/it] 80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11199/13952 [40:47:54<7:49:07, 10.22s/it] 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11299/13952 [41:07:59<7:34:10, 10.27s/it] 82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 11399/13952 [41:28:06<7:11:57, 10.15s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 11499/13952 [41:48:14<6:58:06, 10.23s/it] {'loss': 0.8106, 'learning_rate': 1.54304718875502e-05, 'epoch': 3.3} 83%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 11599/13952 [42:08:29<6:44:34, 10.32s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 11700/13952 [42:28:46<6:22:06, 10.18s/it] 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 11799/13952 [42:48:39<5:59:49, 10.03s/it] 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 11900/13952 [43:08:56<5:48:22, 10.19s/it] 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 11999/13952 [43:28:57<5:32:37, 10.22s/it] 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 12000/13952 [43:29:08<5:32:50, 10.23s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:02<00:00, 1.74it/s] Configuration saved in ./checkpoint-12000/config.json Model weights saved in ./checkpoint-12000/pytorch_model.bin Configuration saved in ./checkpoint-12000/preprocessor_config.json Deleting older checkpoint [checkpoint-10000] due to args.save_total_limit 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 12099/13952 [44:05:46<5:14:55, 10.20s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 12199/13952 [44:26:01<5:00:49, 10.30s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 12300/13952 [44:46:22<4:42:45, 10.27s/it] 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 12400/13952 [45:06:28<4:23:03, 10.17s/it] 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 12499/13952 [45:26:29<4:06:51, 10.19s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 12599/13952 [45:46:38<3:49:17, 10.17s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12699/13952 [46:06:51<3:32:56, 10.20s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12799/13952 [46:27:01<3:15:17, 10.16s/it] 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12900/13952 [46:47:19<2:59:05, 10.21s/it] 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 12999/13952 [47:07:17<2:41:17, 10.15s/it] 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13000/13952 [47:07:27<2:41:21, 10.17s/it]The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:05<00:00, 1.73it/s] Configuration saved in ./checkpoint-13000/config.json Model weights saved in ./checkpoint-13000/pytorch_model.bin Configuration saved in ./checkpoint-13000/preprocessor_config.json Deleting older checkpoint [checkpoint-11000] due to args.save_total_limit 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13100/13952 [47:44:16<2:23:39, 10.12s/it] 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 13200/13952 [48:04:26<2:07:42, 10.19s/it] 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 13299/13952 [48:24:36<1:52:17, 10.32s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 13400/13952 [48:44:58<1:33:37, 10.18s/it] 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 13499/13952 [49:04:58<1:16:57, 10.19s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 13599/13952 [49:25:09<1:00:40, 10.31s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 13700/13952 [49:45:32<42:43, 10.17s/it] 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 13800/13952 [50:05:47<26:00, 10.27s/it] 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 13900/13952 [50:26:01<08:50, 10.19s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 13952/13952 [50:35:35<00:00, 6.96s/it] Training completed. Do not forget to share your model on huggingface.co/models =) Loading best model from ./checkpoint-1000 (score: inf). {'train_runtime': 182144.7146, 'train_samples_per_second': 9.805, 'train_steps_per_second': 0.077, 'train_loss': 0.9901066277552089, 'epoch': 4.0} 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 13952/13952 [50:35:41<00:00, 13.05s/it] Saving model checkpoint to ./ Configuration saved in ./config.json Model weights saved in ./pytorch_model.bin Configuration saved in ./preprocessor_config.json Saving model checkpoint to ./ Configuration saved in ./config.json Model weights saved in ./pytorch_model.bin Configuration saved in ./preprocessor_config.json Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 86%|██████████████████████████████████████████████████████████▍ | 167M/194M [00:06<00:00, 31.1MB/s] 02/05/2022 19:46:56 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-cv_8-fr Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 86%|██████████████████████████████████████████████████████████▍ | 167M/194M [00:06<00:00, 31.1MB/s]To https://huggingface.co/Plim/xls-r-1b-cv_8-fr 1c48dab..1a7f79b main -> main Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 100%|████████████████████████████████████████████████████████████████████| 194M/194M [00:09<00:00, 22.0MB/s] Dropping the following result as it does not have all the necessary fields: {} Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 88%|███████████████████████████████████████████████████████████▋ | 170M/194M [00:07<00:00, 29.2MB/s]To https://huggingface.co/Plim/xls-r-1b-cv_8-fr 1a7f79b..33879a4 main -> main Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 100%|████████████████████████████████████████████████████████████████████| 194M/194M [00:08<00:00, 24.6MB/s] 02/05/2022 19:47:21 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-cv_8-fr 1a7f79b..33879a4 main -> main The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message. ***** Running Evaluation ***** Num examples = 16021 Batch size = 16 ***** train metrics ***** epoch = 4.0 train_loss = 0.9901 train_runtime = 2 days, 2:35:44.71 train_samples = 446485 train_samples_per_second = 9.805 train_steps_per_second = 0.077 02/05/2022 19:47:25 - INFO - __main__ - *** Evaluate *** 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:07<00:00, 1.72it/s] ***** eval metrics ***** epoch = 4.0 eval_loss = inf eval_runtime = 0:16:22.12 eval_samples = 16021 eval_samples_per_second = 16.313 eval_steps_per_second = 1.02 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:21<00:00, 1.02it/s] Saving model checkpoint to ./ Configuration saved in ./config.json Model weights saved in ./pytorch_model.bin Configuration saved in ./preprocessor_config.json Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 92%|██████████████████████████████████████████████████████████████▊ | 179M/194M [00:07<00:00, 29.4MB/s]To https://huggingface.co/Plim/xls-r-1b-cv_8-fr 33879a4..738d48b main -> main Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 100%|████████████████████████████████████████████████████████████████████| 194M/194M [00:08<00:00, 24.7MB/s] 02/05/2022 20:05:15 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-cv_8-fr 33879a4..738d48b main -> main Dropping the following result as it does not have all the necessary fields: {} Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 97%|██████████████████████████████████████████████████████████████████▏ | 189M/194M [00:08<00:00, 28.8MB/s]To https://huggingface.co/Plim/xls-r-1b-cv_8-fr 738d48b..f6ce89f main -> main Upload file wandb/run-20220203_170643-2fkfdtzb/run-2fkfdtzb.wandb: 100%|████████████████████████████████████████████████████████████████████| 194M/194M [00:09<00:00, 22.0MB/s] 02/05/2022 20:05:40 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-cv_8-fr 738d48b..f6ce89f main -> main