wav2vec2-large-xls-r-300m-codemix-gpu1

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the ascend dataset. It achieves the following results on the evaluation set:

• Loss: 2.2061
• Wer: 0.5050
• Cer: 0.1982

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 13
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 26
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
No log	0.94	400	21.9000	1.0	1.0
38.4951	1.89	800	5.6544	1.0	1.0
5.8527	2.83	1200	5.4920	1.0	1.0
5.4391	3.78	1600	5.3156	1.0	1.0
5.1782	4.72	2000	5.0525	1.0	1.0
5.1782	5.67	2400	4.9258	1.0	1.0
4.9333	6.61	2800	4.7009	1.0	1.0
4.7205	7.56	3200	4.4642	1.0	1.0
4.4312	8.5	3600	3.9080	0.9634	0.9246
3.5483	9.45	4000	2.9466	0.9271	0.7290
3.5483	10.39	4400	2.3584	0.9159	0.5206
2.5687	11.33	4800	2.0802	0.8114	0.3977
1.9323	12.28	5200	1.8289	0.7421	0.3429
1.5981	13.22	5600	1.7033	0.6835	0.3166
1.3129	14.17	6000	1.5895	0.6491	0.3017
1.3129	15.11	6400	1.5779	0.6433	0.3033
1.1235	16.06	6800	1.4794	0.6131	0.2863
0.9964	17.0	7200	1.4897	0.6182	0.2960
0.8708	17.95	7600	1.4468	0.6114	0.2659
0.7861	18.89	8000	1.4461	0.5995	0.2614
0.7861	19.83	8400	1.4869	0.5952	0.2678
0.6926	20.78	8800	1.4592	0.5833	0.2549
0.6153	21.72	9200	1.4053	0.5855	0.2530
0.5642	22.67	9600	1.3772	0.5787	0.2409
0.5081	23.61	10000	1.4347	0.5833	0.2423
0.5081	24.56	10400	1.3555	0.5690	0.2427
0.4667	25.5	10800	1.3732	0.5657	0.2381
0.4062	26.45	11200	1.4353	0.5726	0.2373
0.3684	27.39	11600	1.3958	0.5661	0.2351
0.326	28.34	12000	1.5068	0.5797	0.2361
0.326	29.28	12400	1.4500	0.5546	0.2291
0.305	30.22	12800	1.4933	0.5560	0.2329
0.2743	31.17	13200	1.4684	0.5463	0.2295
0.2529	32.11	13600	1.4816	0.5629	0.2310
0.2231	33.06	14000	1.4672	0.5370	0.2251
0.2231	34.0	14400	1.5095	0.5514	0.2274
0.1979	34.95	14800	1.5443	0.5514	0.2288
0.184	35.89	15200	1.5431	0.5442	0.2241
0.1663	36.84	15600	1.5377	0.5471	0.2221
0.1597	37.78	16000	1.5782	0.5496	0.2261
0.1597	38.72	16400	1.6236	0.5578	0.2246
0.1371	39.67	16800	1.6783	0.5550	0.2256
0.1348	40.61	17200	1.7202	0.5589	0.2276
0.1215	41.56	17600	1.6399	0.5485	0.2237
0.1138	42.5	18000	1.6724	0.5445	0.2210
0.1138	43.45	18400	1.7090	0.5374	0.2217
0.0992	44.39	18800	1.6476	0.5503	0.2264
0.1001	45.34	19200	1.6959	0.5524	0.2251
0.0925	46.28	19600	1.8083	0.5639	0.2270
0.0848	47.23	20000	1.7361	0.5506	0.2229
0.0848	48.17	20400	1.7499	0.5471	0.2231
0.0852	49.11	20800	1.7702	0.5510	0.2254
0.0792	50.06	21200	1.7595	0.5467	0.2230
0.0717	51.0	21600	1.7661	0.5535	0.2196
0.0669	51.95	22000	1.6757	0.5603	0.2307
0.0669	52.89	22400	1.7932	0.5596	0.2222
0.0689	53.84	22800	1.7859	0.5535	0.2192
0.066	54.78	23200	1.7322	0.5463	0.2195
0.0721	55.73	23600	1.7828	0.5517	0.2235
0.057	56.67	24000	1.8470	0.5420	0.2170
0.057	57.62	24400	1.8273	0.5471	0.2219
0.0615	58.56	24800	1.8081	0.5453	0.2226
0.0584	59.5	25200	1.8340	0.5388	0.2145
0.048	60.45	25600	1.8584	0.5424	0.2202
0.0545	61.39	26000	1.8483	0.5420	0.2176
0.0545	62.34	26400	1.8932	0.5585	0.2259
0.0525	63.28	26800	1.8906	0.5427	0.2215
0.0458	64.23	27200	1.7618	0.5431	0.2160
0.0421	65.17	27600	2.0073	0.5377	0.2168
0.0435	66.12	28000	1.8957	0.5463	0.2190
0.0435	67.06	28400	1.8931	0.5352	0.2176
0.0449	68.0	28800	1.9795	0.5435	0.2225
0.0458	68.95	29200	1.9299	0.5560	0.2190
0.0458	69.89	29600	1.9310	0.5427	0.2154
0.037	70.84	30000	1.9183	0.5427	0.2211
0.037	71.78	30400	1.8506	0.5374	0.2153
0.0417	72.73	30800	1.8749	0.5546	0.2239
0.0441	73.67	31200	1.9007	0.5492	0.2194
0.0331	74.62	31600	2.0232	0.5603	0.2237
0.0315	75.56	32000	1.9655	0.5445	0.2201
0.0315	76.51	32400	1.9662	0.5384	0.2129
0.0322	77.45	32800	1.9437	0.5402	0.2166
0.0352	78.39	33200	1.9171	0.5370	0.2164
0.0329	79.34	33600	1.9477	0.5320	0.2190
0.0345	80.28	34000	1.9378	0.5359	0.2188
0.0345	81.23	34400	1.9537	0.5449	0.2209
0.0368	82.17	34800	1.8541	0.5463	0.2195
0.0314	83.12	35200	1.9304	0.5521	0.2148
0.0247	84.06	35600	1.9365	0.5374	0.2190
0.0314	85.01	36000	1.9683	0.5395	0.2183
0.0314	85.95	36400	2.0073	0.5338	0.2202
0.0324	86.89	36800	1.9907	0.5291	0.2161
0.0265	87.84	37200	1.9969	0.5359	0.2172
0.0303	88.78	37600	2.0443	0.5496	0.2209
0.026	89.73	38000	2.0565	0.5413	0.2175
0.026	90.67	38400	2.0716	0.5341	0.2173
0.0269	91.62	38800	2.0431	0.5312	0.2211
0.0241	92.56	39200	1.9598	0.5359	0.2176
0.0256	93.51	39600	2.0544	0.5381	0.2187
0.025	94.45	40000	2.1567	0.5424	0.2176
0.025	95.4	40400	1.9953	0.5348	0.2218
0.0232	96.34	40800	2.0090	0.5298	0.2170
0.0186	97.28	41200	2.1091	0.5384	0.2172
0.0226	98.23	41600	2.0469	0.5406	0.2232
0.0231	99.17	42000	1.9422	0.5266	0.2148
0.0231	100.12	42400	1.9989	0.5208	0.2125
0.0229	101.06	42800	2.0184	0.5269	0.2137
0.0223	102.01	43200	2.0628	0.5499	0.2202
0.0217	102.95	43600	2.1697	0.5456	0.2231
0.0246	103.9	44000	2.0539	0.5341	0.2194
0.0246	104.84	44400	2.0108	0.5420	0.2205
0.0188	105.79	44800	2.0435	0.5442	0.2179
0.0232	106.73	45200	1.9907	0.5338	0.2209
0.0181	107.67	45600	2.0283	0.5463	0.2182
0.0196	108.62	46000	2.0573	0.5377	0.2168
0.0196	109.56	46400	2.0870	0.5363	0.2213
0.014	110.51	46800	2.0414	0.5370	0.2169
0.019	111.45	47200	2.0856	0.5392	0.2202
0.0222	112.4	47600	2.0484	0.5298	0.2119
0.0196	113.34	48000	2.0621	0.5298	0.2139
0.0196	114.29	48400	2.0678	0.5334	0.2148
0.019	115.23	48800	2.0594	0.5381	0.2171
0.0222	116.17	49200	2.0287	0.5323	0.2098
0.0157	117.12	49600	2.0198	0.5312	0.2159
0.0138	118.06	50000	2.0889	0.5273	0.2147
0.0138	119.01	50400	2.0316	0.5287	0.2133
0.0149	119.95	50800	2.0093	0.5345	0.2186
0.0144	120.9	51200	2.0363	0.5352	0.2201
0.0214	121.84	51600	1.9881	0.5352	0.2149
0.0203	122.79	52000	2.0539	0.5334	0.2172
0.0203	123.73	52400	2.0060	0.5277	0.2142
0.0155	124.68	52800	2.0310	0.5273	0.2163
0.0152	125.62	53200	2.1064	0.5377	0.2204
0.0153	126.56	53600	1.9753	0.5320	0.2107
0.0169	127.51	54000	2.0713	0.5198	0.2129
0.0169	128.45	54400	2.0593	0.5233	0.2127
0.0145	129.4	54800	1.9994	0.5190	0.2093
0.016	130.34	55200	2.0760	0.5312	0.2158
0.0145	131.29	55600	2.0213	0.5305	0.2157
0.0157	132.23	56000	2.0769	0.5241	0.2108
0.0157	133.18	56400	2.0819	0.5266	0.2132
0.0147	134.12	56800	2.0268	0.5248	0.2124
0.015	135.06	57200	2.0261	0.5158	0.2098
0.016	136.01	57600	1.9948	0.5126	0.2096
0.015	136.95	58000	2.0358	0.5237	0.2107
0.015	137.9	58400	2.0809	0.5262	0.2160
0.0182	138.84	58800	2.1024	0.5251	0.2158
0.0123	139.79	59200	2.0872	0.5208	0.2132
0.0114	140.73	59600	2.0152	0.5255	0.2145
0.0111	141.68	60000	2.0423	0.5241	0.2111
0.0111	142.62	60400	2.1610	0.5251	0.2108
0.015	143.57	60800	2.0061	0.5126	0.2089
0.0106	144.51	61200	1.9854	0.5194	0.2110
0.0126	145.45	61600	2.1059	0.5230	0.2166
0.0122	146.4	62000	2.0353	0.5183	0.2084
0.0122	147.34	62400	1.9908	0.5194	0.2087
0.0114	148.29	62800	2.0102	0.5158	0.2112
0.0102	149.23	63200	2.0733	0.5244	0.2147
0.0137	150.18	63600	1.9885	0.5219	0.2128
0.0119	151.12	64000	2.1361	0.5384	0.2133
0.0119	152.07	64400	2.1052	0.5151	0.2089
0.0122	153.01	64800	2.0875	0.5205	0.2087
0.0108	153.96	65200	2.1429	0.5190	0.2070
0.0111	154.9	65600	2.0868	0.5172	0.2081
0.0168	155.84	66000	2.0705	0.5244	0.2085
0.0168	156.79	66400	2.0395	0.5154	0.2061
0.0104	157.73	66800	2.0649	0.5219	0.2104
0.0134	158.68	67200	2.0947	0.5208	0.2079
0.0138	159.62	67600	2.0279	0.5172	0.2068
0.0108	160.57	68000	2.0735	0.5219	0.2093
0.0108	161.51	68400	2.1113	0.5241	0.2118
0.0108	162.46	68800	2.0902	0.5201	0.2099
0.0097	163.4	69200	2.1501	0.5216	0.2087
0.0094	164.34	69600	2.0897	0.5180	0.2092
0.0134	165.29	70000	2.0759	0.5176	0.2095
0.0134	166.23	70400	2.1005	0.5198	0.2116
0.0075	167.18	70800	2.1269	0.5262	0.2093
0.0121	168.12	71200	2.1036	0.5198	0.2090
0.006	169.07	71600	2.1189	0.5144	0.2086
0.0084	170.01	72000	2.2502	0.5119	0.2065
0.0084	170.96	72400	2.0946	0.5144	0.2075
0.0101	171.9	72800	2.0551	0.5111	0.2072
0.0111	172.85	73200	2.1882	0.5126	0.2101
0.0084	173.79	73600	2.1289	0.5140	0.2087
0.0081	174.73	74000	2.1833	0.5187	0.2071
0.0081	175.68	74400	2.1543	0.5198	0.2064
0.0095	176.62	74800	2.0642	0.5104	0.2066
0.0114	177.57	75200	2.1615	0.5147	0.2080
0.0075	178.51	75600	2.1834	0.5108	0.2076
0.0088	179.46	76000	2.0629	0.5065	0.2052
0.0088	180.4	76400	2.1611	0.5172	0.2111
0.007	181.35	76800	2.1460	0.5136	0.2084
0.0081	182.29	77200	2.1669	0.5216	0.2061
0.0063	183.23	77600	2.1599	0.5266	0.2125
0.008	184.18	78000	2.1681	0.5219	0.2093
0.008	185.12	78400	2.1855	0.5219	0.2114
0.0085	186.07	78800	2.2260	0.5190	0.2066
0.0067	187.01	79200	2.3088	0.5119	0.2116
0.0078	187.96	79600	2.1148	0.5101	0.2051
0.0103	188.9	80000	2.1095	0.5122	0.2058
0.0103	189.85	80400	2.0761	0.5198	0.2065
0.0131	190.79	80800	2.1673	0.5136	0.2087
0.0077	191.74	81200	2.1062	0.5165	0.2090
0.0083	192.68	81600	2.0541	0.5158	0.2070
0.0054	193.62	82000	2.1153	0.5151	0.2054
0.0054	194.57	82400	2.0986	0.5151	0.2066
0.0083	195.51	82800	2.1527	0.5208	0.2064
0.0052	196.46	83200	2.1105	0.5241	0.2094
0.0095	197.4	83600	2.1886	0.5169	0.2070
0.0054	198.35	84000	2.1499	0.5198	0.2093
0.0054	199.29	84400	2.1341	0.5154	0.2050
0.0056	200.24	84800	2.1335	0.5126	0.2044
0.0067	201.18	85200	2.1063	0.5158	0.2067
0.0062	202.13	85600	2.2441	0.5305	0.2091
0.0046	203.07	86000	2.3026	0.5144	0.2068
0.0046	204.01	86400	2.2769	0.5136	0.2072
0.0057	204.96	86800	2.1965	0.5230	0.2082
0.0094	205.9	87200	2.2242	0.5140	0.2051
0.0038	206.85	87600	2.2546	0.5169	0.2065
0.0045	207.79	88000	2.2832	0.5169	0.2048
0.0045	208.74	88400	2.2217	0.5104	0.2050
0.0051	209.68	88800	2.1853	0.5172	0.2080
0.0059	210.63	89200	2.3355	0.5122	0.2074
0.0072	211.57	89600	2.2551	0.5133	0.2084
0.0054	212.51	90000	2.2100	0.5122	0.2066
0.0054	213.46	90400	2.2089	0.5040	0.2064
0.0055	214.4	90800	2.1626	0.5086	0.2049
0.0059	215.35	91200	2.0619	0.5093	0.2030
0.0066	216.29	91600	2.1264	0.5086	0.2018
0.0052	217.24	92000	2.1548	0.5104	0.2035
0.0052	218.18	92400	2.1520	0.5004	0.2007
0.0039	219.13	92800	2.1095	0.5068	0.2060
0.0056	220.07	93200	2.1674	0.5122	0.2065
0.0056	221.02	93600	2.0891	0.5162	0.2065
0.0047	221.96	94000	2.1217	0.5144	0.2047
0.0047	222.9	94400	2.1482	0.5104	0.2015
0.0041	223.85	94800	2.0938	0.5122	0.2062
0.0039	224.79	95200	2.1521	0.5040	0.2038
0.0046	225.74	95600	2.0902	0.5151	0.2045
0.0038	226.68	96000	2.2018	0.5176	0.2047
0.0038	227.63	96400	2.1789	0.5212	0.2063
0.0066	228.57	96800	2.2180	0.5190	0.2055
0.0043	229.52	97200	2.1474	0.5180	0.2039
0.0058	230.46	97600	2.1442	0.5205	0.2053
0.0049	231.4	98000	2.2504	0.5248	0.2057
0.0049	232.35	98400	2.2156	0.5251	0.2061
0.0035	233.29	98800	2.2306	0.5158	0.2047
0.0047	234.24	99200	2.2065	0.5176	0.2070
0.0037	235.18	99600	2.1740	0.5126	0.2045
0.0035	236.13	100000	2.1977	0.5079	0.2033
0.0035	237.07	100400	2.1814	0.5136	0.2047
0.003	238.02	100800	2.1884	0.5057	0.2028
0.0032	238.96	101200	2.1905	0.5162	0.2032
0.0032	239.91	101600	2.1615	0.5187	0.2036
0.0049	240.85	102000	2.1595	0.5147	0.2043
0.0049	241.79	102400	2.1762	0.5187	0.2022
0.0057	242.74	102800	2.1740	0.5219	0.2035
0.0093	243.68	103200	2.1495	0.5126	0.2044
0.0045	244.63	103600	2.1512	0.5172	0.2048
0.0035	245.57	104000	2.1849	0.5187	0.2044
0.0035	246.52	104400	2.1989	0.5183	0.2030
0.0033	247.46	104800	2.2341	0.5183	0.2032
0.0031	248.41	105200	2.1902	0.5140	0.2032
0.0043	249.35	105600	2.1945	0.5172	0.2034
0.002	250.3	106000	2.2070	0.5162	0.2033
0.002	251.24	106400	2.2130	0.5144	0.2019
0.0066	252.18	106800	2.2191	0.5136	0.2025
0.0019	253.13	107200	2.2326	0.5129	0.2025
0.003	254.07	107600	2.2271	0.5097	0.2010
0.0024	255.02	108000	2.2429	0.5090	0.2007
0.0024	255.96	108400	2.1557	0.5093	0.2003
0.0034	256.91	108800	2.1615	0.5101	0.2021
0.003	257.85	109200	2.2049	0.5126	0.2003
0.0032	258.8	109600	2.2107	0.5136	0.1996
0.0026	259.74	110000	2.1887	0.5104	0.2007
0.0026	260.68	110400	2.2254	0.5115	0.2002
0.0022	261.63	110800	2.1952	0.5140	0.1999
0.0022	262.57	111200	2.1954	0.5115	0.1991
0.0019	263.52	111600	2.2104	0.5111	0.1997
0.0037	264.46	112000	2.1438	0.5122	0.2001
0.0037	265.41	112400	2.2171	0.5151	0.2001
0.0031	266.35	112800	2.2432	0.5104	0.2012
0.0041	267.3	113200	2.2321	0.5119	0.2005
0.0066	268.24	113600	2.2066	0.5086	0.1995
0.004	269.19	114000	2.1904	0.5111	0.2003
0.004	270.13	114400	2.2114	0.5119	0.1994
0.0028	271.07	114800	2.2074	0.5065	0.1992
0.0034	272.02	115200	2.2172	0.5097	0.1995
0.0032	272.96	115600	2.1759	0.5086	0.1987
0.0031	273.91	116000	2.1870	0.5104	0.1993
0.0031	274.85	116400	2.1658	0.5097	0.1993
0.0033	275.8	116800	2.2122	0.5097	0.1994
0.0042	276.74	117200	2.2084	0.5079	0.2000
0.0041	277.69	117600	2.2042	0.5025	0.1995
0.0019	278.63	118000	2.2102	0.5072	0.2000
0.0019	279.57	118400	2.2238	0.5061	0.1994
0.0024	280.52	118800	2.2299	0.5086	0.1989
0.0017	281.46	119200	2.2374	0.5043	0.1982
0.0026	282.41	119600	2.2307	0.5090	0.1994
0.004	283.35	120000	2.2176	0.5057	0.1977
0.004	284.3	120400	2.2064	0.5040	0.1972
0.0028	285.24	120800	2.2228	0.5097	0.1977
0.0024	286.19	121200	2.2224	0.5083	0.1986
0.0018	287.13	121600	2.2182	0.5057	0.1995
0.0025	288.08	122000	2.2210	0.5068	0.1993
0.0025	289.02	122400	2.2164	0.5079	0.1995
0.0022	289.96	122800	2.2034	0.5068	0.2000
0.0022	290.91	123200	2.1867	0.5057	0.1996
0.0021	291.85	123600	2.1855	0.5065	0.2000
0.0016	292.8	124000	2.1897	0.5061	0.1996
0.0016	293.74	124400	2.2099	0.5047	0.1989
0.0032	294.69	124800	2.2018	0.5050	0.1988
0.0019	295.63	125200	2.1945	0.5054	0.1992
0.0014	296.58	125600	2.2012	0.5040	0.1985
0.0018	297.52	126000	2.2040	0.5050	0.1983
0.0018	298.47	126400	2.2039	0.5054	0.1984
0.0023	299.41	126800	2.2061	0.5050	0.1982

Framework versions

• Transformers 4.31.0.dev0
• Pytorch 1.13.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3