wav2vec-xlsr-grain-lg_cv_only

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the common_voice_17_0 dataset. It achieves the following results on the evaluation set:

• Loss: 0.7249
• Wer: 0.2261
• Cer: 0.0663

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
1.7903	1.0	2221	0.4623	0.4252	0.1113
0.6251	2.0	4442	0.4990	0.3665	0.1008
0.528	3.0	6663	0.3703	0.3417	0.0958
0.4766	4.0	8884	0.3617	0.3209	0.0899
0.4419	5.0	11105	0.3458	0.3002	0.0853
0.4112	6.0	13326	0.3946	0.3075	0.0856
0.3909	7.0	15547	0.3615	0.2984	0.0854
0.3714	8.0	17768	0.3903	0.2916	0.0820
0.3537	9.0	19989	0.4078	0.2935	0.0829
0.3375	10.0	22210	0.3634	0.2886	0.0849
0.3205	11.0	24431	0.3772	0.2892	0.0801
0.307	12.0	26652	0.3912	0.2810	0.0785
0.2961	13.0	28873	0.3527	0.2801	0.0803
0.2833	14.0	31094	0.3524	0.2892	0.0824
0.272	15.0	33315	0.3955	0.2834	0.0809
0.2608	16.0	35536	0.3707	0.2805	0.0799
0.2524	17.0	37757	0.4076	0.2834	0.0792
0.2445	18.0	39978	0.4205	0.2768	0.0790
0.2304	19.0	42199	0.4796	0.2809	0.0802
0.2266	20.0	44420	0.3985	0.2768	0.0799
0.2154	21.0	46641	0.4254	0.2748	0.0788
0.2098	22.0	48862	0.4124	0.2703	0.0776
0.1972	23.0	51083	0.3918	0.2728	0.0783
0.1925	24.0	53304	0.4703	0.2707	0.0783
0.1842	25.0	55525	0.4228	0.2724	0.0786
0.1775	26.0	57746	0.4272	0.2765	0.0784
0.1729	27.0	59967	0.4161	0.2729	0.0780
0.1656	28.0	62188	0.4232	0.2648	0.0777
0.1565	29.0	64409	0.4187	0.2691	0.0780
0.1555	30.0	66630	0.4280	0.2609	0.0757
0.148	31.0	68851	0.4350	0.2669	0.0778
0.1443	32.0	71072	0.4718	0.2676	0.0782
0.1407	33.0	73293	0.4996	0.2723	0.0768
0.1366	34.0	75514	0.4620	0.2701	0.0770
0.1321	35.0	77735	0.5067	0.2691	0.0762
0.1288	36.0	79956	0.4975	0.2613	0.0747
0.1273	37.0	82177	0.4832	0.2584	0.0744
0.1218	38.0	84398	0.5097	0.2587	0.0759
0.1183	39.0	86619	0.5145	0.2657	0.0759
0.1174	40.0	88840	0.5500	0.2599	0.0753
0.1142	41.0	91061	0.5112	0.2674	0.0761
0.1107	42.0	93282	0.5121	0.2615	0.0745
0.1088	43.0	95503	0.5215	0.2605	0.0753
0.1056	44.0	97724	0.4900	0.2548	0.0735
0.1046	45.0	99945	0.4887	0.2565	0.0729
0.1027	46.0	102166	0.5140	0.2480	0.0712
0.0995	47.0	104387	0.5110	0.2552	0.0726
0.0967	48.0	106608	0.5228	0.2562	0.0731
0.0938	49.0	108829	0.4963	0.2464	0.0702
0.0934	50.0	111050	0.5024	0.2496	0.0710
0.0898	51.0	113271	0.6114	0.2563	0.0747
0.0891	52.0	115492	0.5993	0.2575	0.0728
0.0864	53.0	117713	0.6181	0.2517	0.0721
0.0849	54.0	119934	0.7066	0.2550	0.0739
0.0829	55.0	122155	0.5745	0.2491	0.0720
0.0811	56.0	124376	0.5194	0.2438	0.0701
0.0804	57.0	126597	0.6308	0.2474	0.0716
0.0773	58.0	128818	0.5573	0.2428	0.0698
0.076	59.0	131039	0.5476	0.2462	0.0708
0.0748	60.0	133260	0.5976	0.2440	0.0717
0.0742	61.0	135481	0.6067	0.2448	0.0714
0.0725	62.0	137702	0.5574	0.2439	0.0702
0.0711	63.0	139923	0.5936	0.2409	0.0711
0.0698	64.0	142144	0.6039	0.2385	0.0715
0.0683	65.0	144365	0.5694	0.2417	0.0716
0.066	66.0	146586	0.6021	0.2415	0.0701
0.0653	67.0	148807	0.5839	0.2428	0.0702
0.0633	68.0	151028	0.5638	0.2353	0.0678
0.0621	69.0	153249	0.5731	0.2412	0.0696
0.0613	70.0	155470	0.6641	0.2430	0.0713
0.0606	71.0	157691	0.5871	0.2396	0.0693
0.0576	72.0	159912	0.6178	0.2424	0.0708
0.057	73.0	162133	0.6113	0.2356	0.0680
0.0558	74.0	164354	0.5890	0.2328	0.0683
0.0555	75.0	166575	0.6186	0.2427	0.0701
0.0542	76.0	168796	0.6637	0.2438	0.0709
0.0526	77.0	171017	0.6172	0.2449	0.0701
0.0519	78.0	173238	0.6267	0.2384	0.0710
0.0505	79.0	175459	0.6162	0.2366	0.0681
0.0494	80.0	177680	0.6146	0.2396	0.0688
0.0486	81.0	179901	0.5919	0.2316	0.0678
0.0482	82.0	182122	0.6668	0.2363	0.0716
0.0467	83.0	184343	0.6901	0.2288	0.0682
0.0457	84.0	186564	0.6474	0.2365	0.0688
0.0452	85.0	188785	0.6615	0.2352	0.0697
0.0434	86.0	191006	0.6998	0.2311	0.0683
0.0423	87.0	193227	0.6605	0.2279	0.0674
0.0423	88.0	195448	0.7154	0.2361	0.0709
0.0408	89.0	197669	0.6706	0.2260	0.0658
0.041	90.0	199890	0.7034	0.2263	0.0668
0.0391	91.0	202111	0.6943	0.2258	0.0659
0.0387	92.0	204332	0.6964	0.2259	0.0660
0.0378	93.0	206553	0.6930	0.2278	0.0661
0.0368	94.0	208774	0.7106	0.2247	0.0661
0.0372	95.0	210995	0.7001	0.2245	0.0656
0.0366	96.0	213216	0.7010	0.2247	0.0658
0.0357	97.0	215437	0.7196	0.2228	0.0661
0.0351	98.0	217658	0.7143	0.2238	0.0657
0.0356	99.0	219879	0.7230	0.2262	0.0662
0.0352	100.0	222100	0.7249	0.2261	0.0663

Framework versions

• Transformers 4.46.1
• Pytorch 2.1.0+cu118
• Datasets 3.1.0
• Tokenizers 0.20.1