xlsr-polish

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the common_voice_17_0 dataset. It achieves the following results on the evaluation set:

• Loss: 0.1686
• Wer: 0.1443
• Cer: 0.0313

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 10
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
4.7158	0.1543	100	4.0453	1.0	1.0
3.3469	0.3086	200	3.2544	1.0	1.0
2.9194	0.4630	300	2.7288	0.9985	0.8650
0.921	0.6173	400	0.5673	0.5449	0.1303
0.8196	0.7716	500	0.4311	0.4439	0.1025
0.7248	0.9259	600	0.3672	0.3894	0.0875
0.1727	1.0802	700	0.3141	0.3363	0.0739
0.1807	1.2346	800	0.3075	0.3463	0.0758
0.1683	1.3889	900	0.2969	0.3217	0.0707
0.1616	1.5432	1000	0.2650	0.3045	0.0675
0.1569	1.6975	1100	0.2718	0.2912	0.0658
0.1185	1.8519	1200	0.2647	0.3139	0.0672
0.1101	2.0062	1300	0.2476	0.2659	0.0576
0.1296	2.1605	1400	0.2493	0.2704	0.0590
0.0829	2.3148	1500	0.2299	0.2614	0.0576
0.0881	2.4691	1600	0.2434	0.2670	0.0601
0.125	2.6235	1700	0.2318	0.2745	0.0570
0.1227	2.7778	1800	0.2245	0.2527	0.0542
0.1128	2.9321	1900	0.2293	0.2600	0.0562
0.079	3.0864	2000	0.2227	0.2511	0.0530
0.0906	3.2407	2100	0.2289	0.2331	0.0515
0.09	3.3951	2200	0.2196	0.2486	0.0528
0.1113	3.5494	2300	0.2230	0.2392	0.0539
0.0867	3.7037	2400	0.2155	0.2237	0.0492
0.097	3.8580	2500	0.2120	0.2261	0.0493
0.0659	4.0123	2600	0.2073	0.2216	0.0493
0.0796	4.1667	2700	0.2135	0.2181	0.0468
0.0601	4.3210	2800	0.2034	0.2190	0.0480
0.0644	4.4753	2900	0.2115	0.2092	0.0456
0.0772	4.6296	3000	0.1986	0.2127	0.0461
0.066	4.7840	3100	0.1985	0.2027	0.0447
0.0633	4.9383	3200	0.2094	0.2115	0.0456
0.0579	5.0926	3300	0.2058	0.2169	0.0460
0.0709	5.2469	3400	0.1976	0.1973	0.0428
0.0405	5.4012	3500	0.2001	0.1965	0.0424
0.0515	5.5556	3600	0.2035	0.2014	0.0438
0.0785	5.7099	3700	0.1864	0.1928	0.0412
0.0514	5.8642	3800	0.1850	0.1858	0.0397
0.0355	6.0185	3900	0.1903	0.1837	0.0399
0.0621	6.1728	4000	0.1881	0.1798	0.0392
0.0525	6.3272	4100	0.1852	0.1881	0.0403
0.0497	6.4815	4200	0.1855	0.1770	0.0387
0.0362	6.6358	4300	0.1945	0.1899	0.0400
0.0399	6.7901	4400	0.1803	0.1742	0.0378
0.0483	6.9444	4500	0.1777	0.1723	0.0372
0.0293	7.0988	4600	0.1903	0.1697	0.0369
0.0635	7.2531	4700	0.1787	0.1726	0.0365
0.0199	7.4074	4800	0.1722	0.1682	0.0362
0.0393	7.5617	4900	0.1918	0.1641	0.0357
0.0357	7.7160	5000	0.1801	0.1649	0.0358
0.0444	7.8704	5100	0.1775	0.1626	0.0353
0.0266	8.0247	5200	0.1693	0.1592	0.0341
0.0381	8.1790	5300	0.1794	0.1571	0.0341
0.0308	8.3333	5400	0.1685	0.1551	0.0333
0.0304	8.4877	5500	0.1752	0.1519	0.0330
0.0316	8.6420	5600	0.1752	0.1507	0.0326
0.0377	8.7963	5700	0.1671	0.1523	0.0328
0.0588	8.9506	5800	0.1725	0.1550	0.0335
0.0487	9.1049	5900	0.1774	0.1531	0.0332
0.0169	9.2593	6000	0.1709	0.1470	0.0318
0.0274	9.4136	6100	0.1778	0.1468	0.0318
0.023	9.5679	6200	0.1718	0.1482	0.0322
0.0274	9.7222	6300	0.1700	0.1451	0.0315
0.0349	9.8765	6400	0.1686	0.1443	0.0313

Framework versions

• Transformers 4.42.0.dev0
• Pytorch 2.3.1+cu121
• Datasets 2.19.2
• Tokenizers 0.19.1