zohirjonsharipov/xls-r-uzbekcv8

xls-r-uzbek-cv10

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the MOZILLA-FOUNDATION/COMMON_VOICE_10_0 - UZ dataset. It achieves the following results on the evaluation set:

• Loss: 0.2491
• Wer: 0.2588
• Cer: 0.0513

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 100.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Cer	Validation Loss	Wer
3.1215	0.68	500	1.0	3.1188	1.0
2.8562	1.36	1000	0.9689	2.5724	1.0002
1.2709	2.04	1500	0.1471	0.6278	0.6478
1.0817	2.72	2000	0.1304	0.4989	0.5931
0.9801	3.4	2500	0.1225	0.4582	0.5667
0.951	4.08	3000	0.1149	0.4239	0.5381
0.8834	4.76	3500	0.1092	0.4016	0.5158
0.857	5.44	4000	0.1047	0.3785	0.4992
0.8307	6.12	4500	0.1004	0.3720	0.4811
0.805	6.8	5000	0.0937	0.3450	0.4537
0.7828	7.48	5500	0.0912	0.3421	0.4460
0.7789	8.16	6000	0.0890	0.3295	0.4337
0.755	8.84	6500	0.0862	0.3257	0.4222
0.7464	9.52	7000	0.0847	0.3269	0.4155
0.7293	10.2	7500	0.0823	0.3121	0.4025
0.7283	10.88	8000	0.0789	0.2991	0.3941
0.7145	11.56	8500	0.0786	0.2961	0.3868
0.6963	12.24	9000	0.0767	0.2972	0.3784
0.6981	12.92	9500	0.0757	0.2880	0.3750
0.6888	13.6	10000	0.0745	0.2865	0.3703
0.6733	14.29	10500	0.0744	0.2887	0.3663
0.6701	14.97	11000	0.0735	0.2857	0.3624
0.6634	15.65	11500	0.0723	0.2822	0.3581
0.6484	16.33	12000	0.0706	0.2778	0.3503
0.6626	17.01	12500	0.0697	0.2697	0.3477
0.6341	17.69	13000	0.0708	0.2804	0.3511
0.6402	18.37	13500	0.0681	0.2665	0.3418
0.6343	19.05	14000	0.0687	0.2748	0.3425
0.6383	19.73	14500	0.0677	0.2696	0.3383
0.6178	20.41	15000	0.0690	0.2743	0.3417
0.6097	21.09	15500	0.0671	0.2663	0.3352
0.6245	21.77	16000	0.0665	0.2685	0.3318
0.6137	22.45	16500	0.0655	0.2700	0.3262
0.6018	23.13	17000	0.0652	0.2657	0.3225
0.6063	23.81	17500	0.0663	0.2664	0.3276
0.5917	24.49	18000	0.0658	0.2725	0.3264
0.5984	25.17	18500	0.0643	0.2593	0.3197
0.5949	25.85	19000	0.0635	0.2581	0.3161
0.5863	26.53	19500	0.0639	0.2543	0.3196
0.5858	27.21	20000	0.0628	0.2620	0.3136
0.5902	27.89	20500	0.0627	0.2549	0.3157
0.5794	28.57	21000	0.0624	0.2543	0.3136
0.5744	29.25	21500	0.0620	0.2542	0.3091
0.5899	29.93	22000	0.0624	0.2540	0.3122
0.5597	30.61	22500	0.0609	0.2500	0.3057
0.5595	31.29	23000	0.0616	0.2539	0.3087
0.5664	31.97	23500	0.0610	0.2504	0.3070
0.5608	32.65	24000	0.0611	0.2535	0.3066
0.5557	33.33	24500	0.0608	0.2538	0.3047
0.5741	34.01	25000	0.0596	0.2480	0.3009
0.5614	34.69	25500	0.0601	0.2516	0.3033
0.5436	35.37	26000	0.0601	0.2540	0.3004
0.555	36.05	26500	0.0595	0.2486	0.2993
0.5474	36.73	27000	0.0598	0.2536	0.3003
0.5352	37.41	27500	0.0597	0.2589	0.2986
0.5489	38.1	28000	0.0586	0.2485	0.2925
0.5438	38.77	28500	0.0581	0.2500	0.2908
0.541	39.46	29000	0.0577	0.2451	0.2879
0.5462	40.14	29500	0.0581	0.2510	0.2935
0.529	40.82	30000	0.0575	0.2435	0.2879
0.5169	41.5	30500	0.0572	0.2474	0.2860
0.5281	42.18	31000	0.0575	0.2478	0.2884
0.527	42.86	31500	0.0568	0.2492	0.2845
0.5172	43.54	32000	0.0575	0.2451	0.2885
0.5154	44.22	32500	0.0574	0.2490	0.2873
0.5129	44.9	33000	0.0569	0.2446	0.2853
0.5075	45.58	33500	0.0565	0.2485	0.2828
0.5077	46.26	34000	0.0559	0.2452	0.2807
0.5004	46.94	34500	0.0572	0.2501	0.2882
0.5319	47.62	35000	0.0575	0.2516	0.2856
0.4956	48.3	35500	0.0567	0.2495	0.2821
0.5053	48.98	36000	0.0565	0.2482	0.2825
0.5014	49.66	36500	0.0559	0.2441	0.2808
0.4945	50.34	37000	0.0562	0.2460	0.2807
0.51	51.02	37500	0.0547	0.2434	0.2741
0.5095	51.7	38000	0.0558	0.2434	0.2790
0.5026	52.38	38500	0.0560	0.2478	0.2787
0.5081	53.06	39000	0.0566	0.2485	0.2821
0.5021	53.74	39500	0.0551	0.2410	0.2752
0.4945	54.42	40000	0.0552	0.2436	0.2766
0.4882	55.1	40500	0.0555	0.2438	0.2769
0.497	55.78	41000	0.0550	0.2423	0.2758
0.4925	56.46	41500	0.0560	0.2474	0.2790
0.4894	57.14	42000	0.0559	0.2497	0.2797
0.4767	57.82	42500	0.0556	0.2528	0.2800
0.4796	58.5	43000	0.0549	0.2463	0.2755
0.4767	59.18	43500	0.0548	0.2452	0.2753
0.4786	59.86	44000	0.0551	0.2480	0.2769
0.4804	60.54	44500	0.0556	0.2514	0.2789
0.4794	61.22	45000	0.0539	0.2391	0.2715
0.4789	61.9	45500	0.0546	0.2461	0.2725
0.4683	62.58	46000	0.0541	0.2444	0.2707
0.4721	63.27	46500	0.0539	0.2468	0.2693
0.4792	63.94	47000	0.0546	0.2479	0.2738
0.4712	64.63	47500	0.0547	0.2466	0.2742
0.4607	65.31	48000	0.0539	0.2503	0.2707
0.4712	65.99	48500	0.0543	0.2458	0.2718
0.4647	66.67	49000	0.0538	0.2474	0.2693
0.4736	67.35	49500	0.0541	0.2514	0.2696
0.4718	68.03	50000	0.0540	0.2506	0.2692
0.4695	68.71	50500	0.0538	0.2499	0.2675
0.4549	69.39	51000	0.0534	0.2491	0.2669
0.4605	70.07	51500	0.0532	0.2497	0.2660
0.4538	70.75	52000	0.0536	0.2472	0.2684
0.4571	71.43	52500	0.0523	0.2441	0.2629
0.4608	72.11	53000	0.0529	0.2469	0.2652
0.4541	72.79	53500	0.0533	0.2498	0.2673
0.4424	73.47	54000	0.0530	0.2504	0.2658
0.4482	74.15	54500	0.0534	0.2517	0.2684
0.4554	74.83	55000	0.0529	0.2471	0.2656
0.444	75.51	55500	0.0535	0.2493	0.2675
0.4464	76.19	56000	0.0524	0.2461	0.2635
0.4436	76.87	56500	0.0526	0.2479	0.2641
0.4432	77.55	57000	0.0526	0.2513	0.2641
0.4459	78.23	57500	0.0521	0.2460	0.2625
0.4433	78.91	58000	0.0521	0.2457	0.2622
0.4407	79.59	58500	0.0528	0.2531	0.2659
0.4389	80.27	59000	0.0521	0.2485	0.2631
0.4384	80.95	59500	0.0522	0.2502	0.2653
0.4306	81.63	60000	0.0528	0.2480	0.2665
0.4505	82.31	60500	0.0523	0.2461	0.2637
0.4442	82.99	61000	0.0523	0.2519	0.2641
0.4349	83.67	61500	0.0522	0.2509	0.2625
0.4398	84.35	62000	0.0523	0.2510	0.2659
0.4398	85.03	62500	0.0526	0.2507	0.2648
0.4355	85.71	63000	0.0523	0.2500	0.2653
0.4373	86.39	63500	0.0524	0.2523	0.2650
0.4391	87.07	64000	0.0523	0.2509	0.2635
0.4381	87.75	64500	0.0521	0.2502	0.2635
0.4297	88.43	65000	0.0521	0.2521	0.2632
0.44	89.12	65500	0.0520	0.2507	0.2624
0.4313	89.8	66000	0.0519	0.2497	0.2623
0.4402	90.48	66500	0.0517	0.2488	0.2608
0.4324	91.16	67000	0.0512	0.2485	0.2585
0.4317	91.84	67500	0.0513	0.2488	0.2587
0.437	92.52	68000	0.0513	0.2473	0.2590
0.4389	93.2	68500	0.0512	0.2472	0.2581
0.4428	93.88	69000	0.0512	0.2475	0.2587
0.4294	94.56	69500	0.0513	0.2489	0.2596
0.4247	95.24	70000	0.0515	0.2499	0.2597
0.4309	95.92	70500	0.0514	0.2493	0.2590
0.4366	96.6	71000	0.0512	0.2492	0.2592
0.4245	97.28	71500	0.0513	0.2493	0.2587
0.4346	97.96	72000	0.0512	0.2478	0.2583
0.4289	98.64	72500	0.0512	0.2489	0.2585
0.4246	99.32	73000	0.0513	0.2487	0.2589
0.4241	100.0	73500	0.0513	0.2491	0.2588

Framework versions

• Transformers 4.16.2
• Pytorch 1.12.0
• Datasets 2.4.0
• Tokenizers 0.10.3

Credits

Author: Shukrullo Turgunov (aka Vodiylik)