Hugging Face's logo

Plim
/
xls-r-1b-cv_8-fr

Automatic Speech Recognition
Transformers
PyTorch
French
wav2vec2
mozilla-foundation/common_voice_8_0
Generated from Trainer
robust-speech-event
hf-asr-leaderboard
Eval Results
Inference Endpoints
Model card Files Community
xls-r-1b-cv_8-fr / wandb /run-20220206_201634-uhiy9e2t /files /output.log
Plim's picture
Plim
add evaluation with lm
b6d4c60
raw
history blame
No virus
57.5 kB
0%| | 0/20928 [00:00<?, ?it/s]
63%|███████████████████████████████████████████████████████████████████████████ | 13100/20928 [2:55:49<21:56:54, 10.09s/it]
63%|███████████████████████████████████████████████████████████████████████████▋ | 13199/20928 [3:15:41<21:46:16, 10.14s/it]
64%|████████████████████████████████████████████████████████████████████████████▎ | 13300/20928 [3:36:04<21:40:19, 10.23s/it]
64%|████████████████████████████████████████████████████████████████████████████▊ | 13399/20928 [3:55:59<21:13:16, 10.15s/it]
65%|█████████████████████████████████████████████████████████████████████████████▍ | 13499/20928 [4:16:06<20:57:54, 10.16s/it]
65%|█████████████████████████████████████████████████████████████████████████████▉ | 13600/20928 [4:36:22<20:53:20, 10.26s/it]
65%|██████████████████████████████████████████████████████████████████████████████▌ | 13700/20928 [4:56:31<20:22:11, 10.15s/it]
66%|███████████████████████████████████████████████████████████████████████████████▏ | 13800/20928 [5:16:40<20:11:03, 10.19s/it]
66%|███████████████████████████████████████████████████████████████████████████████▋ | 13900/20928 [5:36:46<19:42:38, 10.10s/it]
***** Running Evaluation *****███████████████████████████████████████████████████████▎ | 14000/20928 [5:56:12<14:37:51, 7.60s/it]
Num examples = 16021
Batch size = 16
{'loss': 0.8372, 'learning_rate': 2.748705621301775e-05, 'epoch': 4.01}
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [15:59<00:00, 1.76it/s]
Saving model checkpoint to ./checkpoint-14000
Configuration saved in ./checkpoint-14000/config.json████████████████████████████████▎ | 14000/20928 [6:12:25<14:37:51, 7.60s/it]
Model weights saved in ./checkpoint-14000/pytorch_model.bin
Configuration saved in ./checkpoint-14000/preprocessor_config.json
Configuration saved in ./preprocessor_config.json
02/07/2022 02:32:50 - WARNING - huggingface_hub.repository - Adding files tracked by Git LFS: ['wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb']. This may take a bit of time if the files are large.
Adding files tracked by Git LFS: ['wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb']. This may take a bit of time if the files are large.
Deleting older checkpoint [checkpoint-12000] due to args.save_total_limit
67%|████████████████████████████████████████████████████████████████████████████████▊ | 14099/20928 [6:39:01<14:38:28, 7.72s/it]
68%|█████████████████████████████████████████████████████████████████████████████████▍ | 14199/20928 [6:59:06<14:33:15, 7.79s/it]
68%|█████████████████████████████████████████████████████████████████████████████████▉ | 14299/20928 [7:19:17<14:28:20, 7.86s/it]
69%|██████████████████████████████████████████████████████████████████████████████████▌ | 14399/20928 [7:39:20<14:04:21, 7.76s/it]
69%|███████████████████████████████████████████████████████████████████████████████████▏ | 14500/20928 [7:59:25<13:26:46, 7.53s/it]
70%|███████████████████████████████████████████████████████████████████████████████████▋ | 14599/20928 [8:19:14<13:37:10, 7.75s/it]
70%|████████████████████████████████████████████████████████████████████████████████████▎ | 14700/20928 [8:39:23<13:01:40, 7.53s/it]
71%|████████████████████████████████████████████████████████████████████████████████████▊ | 14799/20928 [8:59:13<13:10:36, 7.74s/it]
71%|█████████████████████████████████████████████████████████████████████████████████████▍ | 14900/20928 [9:19:26<12:50:44, 7.67s/it]
72%|██████████████████████████████████████████████████████████████████████████████████████ | 14999/20928 [9:39:18<12:46:53, 7.76s/it]
***** Running Evaluation *****█████████████████████████████████████████████████████████████ | 15000/20928 [9:39:25<12:37:29, 7.67s/it]
Num examples = 16021
Batch size = 16
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [15:59<00:00, 1.75it/s]
Saving model checkpoint to ./checkpoint-15000
Configuration saved in ./checkpoint-15000/config.json██████████████████████████████████████ | 15000/20928 [9:55:39<12:37:29, 7.67s/it]
Model weights saved in ./checkpoint-15000/pytorch_model.bin
Configuration saved in ./checkpoint-15000/preprocessor_config.json
Deleting older checkpoint [checkpoint-13000] due to args.save_total_limit
72%|█████████████████████████████████████████████████████████████████████████████████████▊ | 15100/20928 [10:16:03<12:32:23, 7.75s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████▍ | 15200/20928 [10:36:02<12:08:21, 7.63s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████▉ | 15300/20928 [10:56:01<11:53:57, 7.61s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████▌ | 15400/20928 [11:16:02<11:42:14, 7.62s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████▏ | 15499/20928 [11:36:03<11:46:35, 7.81s/it]
75%|████████████████████████████████████████████████████████████████████████████████████████▋ | 15600/20928 [11:56:11<11:19:45, 7.65s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 15700/20928 [12:16:09<11:02:25, 7.60s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 15800/20928 [12:36:10<10:52:56, 7.64s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 15900/20928 [12:56:05<10:45:26, 7.70s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 15999/20928 [13:15:59<10:36:24, 7.75s/it]
***** Running Evaluation *****█████████████████████████████████████████████████████████████████▉ | 16000/20928 [13:16:06<10:29:05, 7.66s/it]
Num examples = 16021
Batch size = 16
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [15:52<00:00, 1.76it/s]
Saving model checkpoint to ./checkpoint-16000
Configuration saved in ./checkpoint-16000/config.json██████████████████████████████████████████▉ | 16000/20928 [13:32:12<10:29:05, 7.66s/it]
Model weights saved in ./checkpoint-16000/pytorch_model.bin
Configuration saved in ./checkpoint-16000/preprocessor_config.json
Deleting older checkpoint [checkpoint-14000] due to args.save_total_limit
77%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 16100/20928 [13:52:33<10:08:14, 7.56s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████ | 16200/20928 [14:12:34<10:03:09, 7.65s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 16299/20928 [14:32:15<9:49:43, 7.64s/it]
78%|██████████████████████████████████████████████████████████████████████████████████████████████ | 16400/20928 [14:52:19<9:37:47, 7.66s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 16499/20928 [15:12:15<9:28:27, 7.70s/it]
79%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 16600/20928 [15:32:25<9:04:50, 7.55s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 16699/20928 [15:52:19<9:05:20, 7.74s/it]
80%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 16799/20928 [16:12:19<8:56:20, 7.79s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 16900/20928 [16:32:30<8:35:11, 7.67s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 16999/20928 [16:52:24<8:30:00, 7.79s/it]
***** Running Evaluation *****████████████████████████████████████████████████████████████████████████▍ | 17000/20928 [16:52:31<8:23:13, 7.69s/it]
Num examples = 16021
Batch size = 16
Saving model checkpoint to ./checkpoint-17000
Configuration saved in ./checkpoint-17000/config.json█████████████████████████████████████████████████▍ | 17000/20928 [17:08:36<8:23:13, 7.69s/it]
{'eval_loss': inf, 'eval_wer': 0.19554266426238345, 'eval_runtime': 964.7985, 'eval_samples_per_second': 16.606, 'eval_steps_per_second': 1.039, 'epoch': 4.87}
Model weights saved in ./checkpoint-17000/pytorch_model.bin
Configuration saved in ./checkpoint-17000/preprocessor_config.json
Deleting older checkpoint [checkpoint-15000] due to args.save_total_limit
82%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 17099/20928 [17:28:50<8:13:56, 7.74s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 17199/20928 [17:48:48<8:03:16, 7.78s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 17299/20928 [18:08:47<7:53:07, 7.82s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 17400/20928 [18:28:55<7:30:13, 7.66s/it]
84%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 17500/20928 [18:49:51<15:06:17, 15.86s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 17599/20928 [19:09:37<14:53:35, 16.11s/it]
85%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 17699/20928 [19:29:41<14:14:07, 15.87s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 17800/20928 [19:49:58<13:49:25, 15.91s/it]
86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 17899/20928 [20:09:40<13:23:49, 15.92s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 17999/20928 [20:29:40<12:54:07, 15.86s/it]
***** Running Evaluation *****█████████████████████████████████████████████████████████████████████████████▎ | 18000/20928 [20:29:56<12:52:10, 15.82s/it]
Num examples = 16021
Batch size = 16
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [15:54<00:00, 1.76it/s]
Saving model checkpoint to ./checkpoint-18000
Configuration saved in ./checkpoint-18000/config.json██████████████████████████████████████████████████████▎ | 18000/20928 [20:46:04<12:52:10, 15.82s/it]
Model weights saved in ./checkpoint-18000/pytorch_model.bin
Configuration saved in ./checkpoint-18000/preprocessor_config.json
Deleting older checkpoint [checkpoint-16000] due to args.save_total_limit
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 18100/20928 [21:06:25<12:29:38, 15.90s/it]
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 18200/20928 [21:26:28<12:05:24, 15.95s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 18300/20928 [21:46:28<11:37:12, 15.92s/it]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 18400/20928 [22:06:32<11:10:26, 15.91s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 18499/20928 [22:26:16<10:43:37, 15.90s/it]
89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18599/20928 [22:46:19<10:15:58, 15.87s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 18700/20928 [23:06:29<9:41:35, 15.66s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18799/20928 [23:26:12<9:25:55, 15.95s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18899/20928 [23:46:07<8:57:01, 15.88s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 18999/20928 [24:06:03<8:33:21, 15.97s/it]
***** Running Evaluation *****███████████████████████████████████████████████████████████████████████████████████▉ | 19000/20928 [24:06:19<8:29:49, 15.87s/it]
Num examples = 16021
Batch size = 16
Saving model checkpoint to ./checkpoint-19000
Configuration saved in ./checkpoint-19000/config.json████████████████████████████████████████████████████████████▉ | 19000/20928 [24:22:28<8:29:49, 15.87s/it]
{'eval_loss': inf, 'eval_wer': 0.18952981717607953, 'eval_runtime': 968.9288, 'eval_samples_per_second': 16.535, 'eval_steps_per_second': 1.034, 'epoch': 5.45}
Model weights saved in ./checkpoint-19000/pytorch_model.bin
Configuration saved in ./checkpoint-19000/preprocessor_config.json
Deleting older checkpoint [checkpoint-17000] due to args.save_total_limit
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19100/20928 [24:42:50<8:04:01, 15.89s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 19200/20928 [25:02:50<7:38:46, 15.93s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 19300/20928 [25:22:47<7:16:11, 16.08s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 19400/20928 [25:42:42<6:40:02, 15.71s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19500/20928 [26:02:47<6:18:27, 15.90s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19599/20928 [26:22:31<5:53:58, 15.98s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 19700/20928 [26:42:44<5:24:32, 15.86s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19800/20928 [27:02:51<4:55:02, 15.69s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 19899/20928 [27:22:32<4:33:00, 15.92s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 19999/20928 [27:42:36<4:07:14, 15.97s/it]
***** Running Evaluation *****█████████████████████████████████████████████████████████████████████████████████████████▋ | 20000/20928 [27:42:52<4:06:08, 15.91s/it]
Num examples = 16021
Batch size = 16
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [15:54<00:00, 1.75it/s]
Saving model checkpoint to ./checkpoint-20000
Configuration saved in ./checkpoint-20000/config.json██████████████████████████████████████████████████████████████████▋ | 20000/20928 [27:59:00<4:06:08, 15.91s/it]
Model weights saved in ./checkpoint-20000/pytorch_model.bin
Configuration saved in ./checkpoint-20000/preprocessor_config.json
Deleting older checkpoint [checkpoint-18000] due to args.save_total_limit
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 20100/20928 [28:19:23<3:33:17, 15.46s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20200/20928 [28:39:21<3:12:15, 15.85s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 20300/20928 [28:59:15<2:44:49, 15.75s/it]
97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 20400/20928 [29:19:15<2:18:08, 15.70s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 20499/20928 [29:38:57<1:53:58, 15.94s/it]
98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20600/20928 [29:59:14<1:26:39, 15.85s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 20699/20928 [30:18:57<1:00:31, 15.86s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 20799/20928 [30:38:49<34:00, 15.81s/it]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊| 20900/20928 [30:58:54<07:00, 15.03s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20928/20928 [31:03:40<00:00, 6.99s/it]
Training completed. Do not forget to share your model on huggingface.co/models =)
Loading best model from ./checkpoint-1000 (score: inf).
{'train_runtime': 111829.698, 'train_samples_per_second': 23.955, 'train_steps_per_second': 0.187, 'train_loss': 0.30566064197718185, 'epoch': 6.0}
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20928/20928 [31:03:46<00:00, 5.34s/it]
Saving model checkpoint to ./██████████████████████████████████████████████████████████████████████████████████████████████████| 20928/20928 [31:03:46<00:00, 6.99s/it]
Configuration saved in ./config.json
Model weights saved in ./pytorch_model.bin
Configuration saved in ./preprocessor_config.json
Saving model checkpoint to ./
Configuration saved in ./config.json
Model weights saved in ./pytorch_model.bin
Configuration saved in ./preprocessor_config.json
Several commits (2) will be pushed upstream.
The progress bars may be unreliable.
02/08/2022 03:24:48 - WARNING - huggingface_hub.repository - Several commits (2) will be pushed upstream.
02/08/2022 03:24:48 - WARNING - huggingface_hub.repository - The progress bars may be unreliable.
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 98%|██████████████████████████████████████████████████████████████████▎ | 114M/117M [00:06<00:00, 21.0MB/s]
02/08/2022 03:24:58 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-cv_8-fr
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 98%|██████████████████████████████████████████████████████████████████▎ | 114M/117M [00:06<00:00, 21.0MB/s]To https://huggingface.co/Plim/xls-r-1b-cv_8-fr
89ae304..5c2523c main -> main
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 100%|████████████████████████████████████████████████████████████████████| 117M/117M [00:08<00:00, 15.1MB/s]
Dropping the following result as it does not have all the necessary fields:
{}
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 63%|█████████████████████████████████████████▉ | 73.4M/117M [00:24<00:05, 7.97MB/s]
02/08/2022 03:25:43 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-cv_8-fr
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 89%|████████████████████████████████████████████████████████████▌ | 104M/117M [00:26<00:01, 12.1MB/s]To https://huggingface.co/Plim/xls-r-1b-cv_8-fr
5c2523c..39a2094 main -> main
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 100%|████████████████████████████████████████████████████████████████████| 117M/117M [00:27<00:00, 4.51MB/s]
The following columns in the evaluation set don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length. If input_length are not expected by `Wav2Vec2ForCTC.forward`, you can safely ignore this message.
***** Running Evaluation *****
Num examples = 16021
Batch size = 16
***** train metrics *****
epoch = 6.0
train_loss = 0.3057
train_runtime = 1 day, 7:03:49.69
train_samples = 446485
train_samples_per_second = 23.955
train_steps_per_second = 0.187
02/08/2022 03:25:47 - INFO - __main__ - *** Evaluate ***
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1002/1002 [16:09<00:00, 1.03it/s]
Saving model checkpoint to ./
Configuration saved in ./config.json
***** eval metrics *****
epoch = 6.0
eval_loss = inf
eval_runtime = 0:16:10.12
eval_samples = 16021
eval_samples_per_second = 16.514
eval_steps_per_second = 1.033
eval_wer = 0.2937
Model weights saved in ./pytorch_model.bin
Configuration saved in ./preprocessor_config.json
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 78%|████████████████████████████████████████████████████ | 91.3M/118M [00:04<00:01, 27.1MB/s]
02/08/2022 03:43:26 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-cv_8-fr
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 78%|████████████████████████████████████████████████████ | 91.3M/118M [00:04<00:01, 27.1MB/s]To https://huggingface.co/Plim/xls-r-1b-cv_8-fr
39a2094..495992b main -> main
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 100%|████████████████████████████████████████████████████████████████████| 118M/118M [00:05<00:00, 23.9MB/s]
Dropping the following result as it does not have all the necessary fields:
{}
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 65%|███████████████████████████████████████████▍ | 76.2M/118M [00:04<00:01, 22.7MB/s]
02/08/2022 03:43:48 - WARNING - huggingface_hub.repository - To https://huggingface.co/Plim/xls-r-1b-cv_8-fr
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 89%|████████████████████████████████████████████████████████████▊ | 105M/118M [00:05<00:00, 25.0MB/s]To https://huggingface.co/Plim/xls-r-1b-cv_8-fr
495992b..66fa99e main -> main
Upload file wandb/run-20220206_201634-uhiy9e2t/run-uhiy9e2t.wandb: 100%|████████████████████████████████████████████████████████████████████| 118M/118M [00:06<00:00, 20.0MB/s]