wav2vec2-large-xls-r-300m-sinhala-aug-data-with-original-split-part3

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.0246
• Wer: 0.0367

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 16
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 21

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
5.8396	0.27	400	0.9752	0.8374
0.6967	0.54	800	0.3812	0.5935
0.4806	0.81	1200	0.3368	0.4757
0.3996	1.09	1600	0.1994	0.3143
0.3497	1.36	2000	0.1684	0.2564
0.3372	1.63	2400	0.1586	0.2419
0.312	1.9	2800	0.1413	0.2227
0.2797	2.17	3200	0.1466	0.2273
0.2554	2.44	3600	0.1543	0.2366
0.2613	2.71	4000	0.1450	0.2326
0.2399	2.99	4400	0.1238	0.2030
0.2125	3.26	4800	0.0989	0.1610
0.2144	3.53	5200	0.0984	0.1612
0.212	3.8	5600	0.0876	0.1507
0.1964	4.07	6000	0.1017	0.1753
0.1814	4.34	6400	0.0967	0.1654
0.1772	4.61	6800	0.0956	0.1631
0.1748	4.88	7200	0.0870	0.1483
0.1706	5.16	7600	0.0771	0.1306
0.1545	5.43	8000	0.0653	0.1199
0.1627	5.7	8400	0.0600	0.1103
0.1541	5.97	8800	0.0589	0.1068
0.1382	6.24	9200	0.0710	0.1231
0.1397	6.51	9600	0.0651	0.1248
0.1345	6.78	10000	0.0670	0.1194
0.1281	7.06	10400	0.0541	0.1006
0.1315	7.33	10800	0.0559	0.1062
0.1234	7.6	11200	0.0528	0.0970
0.1248	7.87	11600	0.0448	0.0865
0.115	8.14	12000	0.0546	0.0994
0.1143	8.41	12400	0.0595	0.1086
0.1169	8.68	12800	0.0485	0.0874
0.1165	8.96	13200	0.0524	0.0977
0.1035	9.23	13600	0.0445	0.0837
0.1017	9.5	14000	0.0413	0.0792
0.109	9.77	14400	0.0420	0.0833
0.1018	10.04	14800	0.0454	0.0823
0.0929	10.31	15200	0.0429	0.0786
0.0956	10.58	15600	0.0403	0.0772
0.0986	10.85	16000	0.0468	0.0906
0.0941	11.13	16400	0.0362	0.0694
0.0845	11.4	16800	0.0387	0.0702
0.0955	11.67	17200	0.0351	0.0627
0.089	11.94	17600	0.0361	0.0675
0.0806	12.21	18000	0.0381	0.0685
0.0803	12.48	18400	0.0370	0.0675
0.0839	12.75	18800	0.0333	0.0619
0.0834	13.03	19200	0.0334	0.0577
0.0779	13.3	19600	0.0358	0.0621
0.0773	13.57	20000	0.0330	0.0565
0.0717	13.84	20400	0.0350	0.0625
0.0737	14.11	20800	0.0355	0.0603
0.075	14.38	21200	0.0361	0.0626
0.0715	14.65	21600	0.0314	0.0575
0.0722	14.93	22000	0.0310	0.0575
0.0666	15.2	22400	0.0314	0.0559
0.0672	15.47	22800	0.0307	0.0535
0.0664	15.74	23200	0.0315	0.0552
0.0678	16.01	23600	0.0312	0.0548
0.0616	16.28	24000	0.0315	0.0527
0.0644	16.55	24400	0.0269	0.0481
0.062	16.82	24800	0.0308	0.0513
0.0584	17.1	25200	0.0294	0.0502
0.0563	17.37	25600	0.0294	0.0492
0.0547	17.64	26000	0.0281	0.0452
0.056	17.91	26400	0.0279	0.0451
0.0572	18.18	26800	0.0293	0.0460
0.0544	18.45	27200	0.0283	0.0464
0.052	18.72	27600	0.0274	0.0438
0.0533	19.0	28000	0.0264	0.0413
0.046	19.27	28400	0.0276	0.0412
0.0498	19.54	28800	0.0282	0.0419
0.0454	19.81	29200	0.0279	0.0417
0.0483	20.08	29600	0.0260	0.0396
0.0447	20.35	30000	0.0267	0.0418
0.0424	20.62	30400	0.0249	0.0373
0.0409	20.9	30800	0.0246	0.0367

Framework versions

• Transformers 4.39.3
• Pytorch 2.1.2
• Datasets 2.18.0
• Tokenizers 0.15.2