ai-light-dance_singing4_ft_wav2vec2-large-xlsr-53-5gram-v4-2-1

This model is a fine-tuned version of gary109/ai-light-dance_singing4_ft_wav2vec2-large-xlsr-53-5gram-v4-2 on the GARY109/AI_LIGHT_DANCE - ONSET-SINGING4 dataset. It achieves the following results on the evaluation set:

• Loss: 0.2219
• Wer: 0.0976

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 4e-06
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 100.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.4531	1.0	72	0.2317	0.1021
0.4479	2.0	144	0.2335	0.1014
0.4475	3.0	216	0.2340	0.1000
0.4432	4.0	288	0.2372	0.0993
0.447	5.0	360	0.2350	0.1008
0.4318	6.0	432	0.2332	0.0989
0.4162	7.0	504	0.2338	0.1002
0.4365	8.0	576	0.2321	0.0990
0.4318	9.0	648	0.2313	0.0992
0.4513	10.0	720	0.2336	0.0994
0.4257	11.0	792	0.2310	0.0982
0.418	12.0	864	0.2316	0.0989
0.4122	13.0	936	0.2341	0.0971
0.4265	14.0	1008	0.2322	0.0992
0.4477	15.0	1080	0.2334	0.0987
0.4023	16.0	1152	0.2351	0.0971
0.4095	17.0	1224	0.2304	0.0977
0.42	18.0	1296	0.2313	0.0976
0.3988	19.0	1368	0.2299	0.0984
0.4078	20.0	1440	0.2310	0.0970
0.4131	21.0	1512	0.2293	0.1007
0.4209	22.0	1584	0.2313	0.0998
0.3931	23.0	1656	0.2351	0.1014
0.406	24.0	1728	0.2336	0.0992
0.3998	25.0	1800	0.2355	0.1009
0.4197	26.0	1872	0.2346	0.0996
0.4289	27.0	1944	0.2283	0.1001
0.4197	28.0	2016	0.2281	0.1000
0.4107	29.0	2088	0.2327	0.1007
0.442	30.0	2160	0.2279	0.0985
0.4315	31.0	2232	0.2284	0.0993
0.4095	32.0	2304	0.2275	0.0998
0.4277	33.0	2376	0.2281	0.0996
0.4114	34.0	2448	0.2267	0.1008
0.4311	35.0	2520	0.2274	0.0982
0.4193	36.0	2592	0.2259	0.0987
0.421	37.0	2664	0.2277	0.0989
0.4084	38.0	2736	0.2268	0.0992
0.4302	39.0	2808	0.2287	0.0996
0.4379	40.0	2880	0.2281	0.0984
0.415	41.0	2952	0.2270	0.1006
0.4035	42.0	3024	0.2299	0.0992
0.4103	43.0	3096	0.2257	0.0987
0.4187	44.0	3168	0.2260	0.0975
0.4254	45.0	3240	0.2273	0.0985
0.415	46.0	3312	0.2312	0.1000
0.4069	47.0	3384	0.2270	0.1003
0.4085	48.0	3456	0.2230	0.0978
0.4287	49.0	3528	0.2241	0.0989
0.4227	50.0	3600	0.2233	0.0994
0.3998	51.0	3672	0.2268	0.0991
0.4139	52.0	3744	0.2224	0.0987
0.409	53.0	3816	0.2256	0.1001
0.4191	54.0	3888	0.2264	0.0991
0.4156	55.0	3960	0.2237	0.0993
0.4252	56.0	4032	0.2250	0.0988
0.4207	57.0	4104	0.2246	0.0989
0.4143	58.0	4176	0.2248	0.0981
0.4261	59.0	4248	0.2237	0.0973
0.4212	60.0	4320	0.2243	0.0976
0.426	61.0	4392	0.2230	0.0983
0.4257	62.0	4464	0.2230	0.0977
0.4102	63.0	4536	0.2219	0.0976
0.4133	64.0	4608	0.2221	0.0984
0.4257	65.0	4680	0.2236	0.0982
0.4006	66.0	4752	0.2231	0.0992
0.404	67.0	4824	0.2227	0.0983
0.409	68.0	4896	0.2235	0.0991
0.4075	69.0	4968	0.2242	0.0978
0.4167	70.0	5040	0.2248	0.0989
0.4026	71.0	5112	0.2242	0.0985
0.404	72.0	5184	0.2236	0.0989
0.4162	73.0	5256	0.2241	0.0986
0.4094	74.0	5328	0.2244	0.0991
0.4147	75.0	5400	0.2247	0.0989
0.4096	76.0	5472	0.2244	0.0983
0.4112	77.0	5544	0.2236	0.0981
0.3987	78.0	5616	0.2242	0.0982
0.3953	79.0	5688	0.2259	0.0983
0.4093	80.0	5760	0.2239	0.0991
0.406	81.0	5832	0.2238	0.0980
0.4149	82.0	5904	0.2240	0.0995
0.4017	83.0	5976	0.2240	0.0987
0.4065	84.0	6048	0.2245	0.0979
0.4315	85.0	6120	0.2249	0.0978
0.421	86.0	6192	0.2239	0.0977
0.4061	87.0	6264	0.2243	0.0974
0.4096	88.0	6336	0.2244	0.0982
0.4171	89.0	6408	0.2246	0.0974
0.4189	90.0	6480	0.2240	0.0980
0.4106	91.0	6552	0.2236	0.0978
0.408	92.0	6624	0.2234	0.0983
0.4218	93.0	6696	0.2239	0.0985
0.3997	94.0	6768	0.2237	0.0983
0.4173	95.0	6840	0.2238	0.0980
0.4134	96.0	6912	0.2235	0.0982
0.3959	97.0	6984	0.2237	0.0979
0.4149	98.0	7056	0.2238	0.0982
0.4125	99.0	7128	0.2238	0.0983
0.4111	100.0	7200	0.2235	0.0982

Framework versions

• Transformers 4.21.0.dev0
• Pytorch 1.9.1+cu102
• Datasets 2.3.3.dev0
• Tokenizers 0.12.1