Edit model card

ai-light-dance_singing4_ft_wav2vec2-large-xlsr-53-5gram-v4-2-1

This model is a fine-tuned version of gary109/ai-light-dance_singing4_ft_wav2vec2-large-xlsr-53-5gram-v4-2 on the GARY109/AI_LIGHT_DANCE - ONSET-SINGING4 dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2219
  • Wer: 0.0976

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 4e-06
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • gradient_accumulation_steps: 8
  • total_train_batch_size: 64
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • num_epochs: 100.0
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Wer
0.4531 1.0 72 0.2317 0.1021
0.4479 2.0 144 0.2335 0.1014
0.4475 3.0 216 0.2340 0.1000
0.4432 4.0 288 0.2372 0.0993
0.447 5.0 360 0.2350 0.1008
0.4318 6.0 432 0.2332 0.0989
0.4162 7.0 504 0.2338 0.1002
0.4365 8.0 576 0.2321 0.0990
0.4318 9.0 648 0.2313 0.0992
0.4513 10.0 720 0.2336 0.0994
0.4257 11.0 792 0.2310 0.0982
0.418 12.0 864 0.2316 0.0989
0.4122 13.0 936 0.2341 0.0971
0.4265 14.0 1008 0.2322 0.0992
0.4477 15.0 1080 0.2334 0.0987
0.4023 16.0 1152 0.2351 0.0971
0.4095 17.0 1224 0.2304 0.0977
0.42 18.0 1296 0.2313 0.0976
0.3988 19.0 1368 0.2299 0.0984
0.4078 20.0 1440 0.2310 0.0970
0.4131 21.0 1512 0.2293 0.1007
0.4209 22.0 1584 0.2313 0.0998
0.3931 23.0 1656 0.2351 0.1014
0.406 24.0 1728 0.2336 0.0992
0.3998 25.0 1800 0.2355 0.1009
0.4197 26.0 1872 0.2346 0.0996
0.4289 27.0 1944 0.2283 0.1001
0.4197 28.0 2016 0.2281 0.1000
0.4107 29.0 2088 0.2327 0.1007
0.442 30.0 2160 0.2279 0.0985
0.4315 31.0 2232 0.2284 0.0993
0.4095 32.0 2304 0.2275 0.0998
0.4277 33.0 2376 0.2281 0.0996
0.4114 34.0 2448 0.2267 0.1008
0.4311 35.0 2520 0.2274 0.0982
0.4193 36.0 2592 0.2259 0.0987
0.421 37.0 2664 0.2277 0.0989
0.4084 38.0 2736 0.2268 0.0992
0.4302 39.0 2808 0.2287 0.0996
0.4379 40.0 2880 0.2281 0.0984
0.415 41.0 2952 0.2270 0.1006
0.4035 42.0 3024 0.2299 0.0992
0.4103 43.0 3096 0.2257 0.0987
0.4187 44.0 3168 0.2260 0.0975
0.4254 45.0 3240 0.2273 0.0985
0.415 46.0 3312 0.2312 0.1000
0.4069 47.0 3384 0.2270 0.1003
0.4085 48.0 3456 0.2230 0.0978
0.4287 49.0 3528 0.2241 0.0989
0.4227 50.0 3600 0.2233 0.0994
0.3998 51.0 3672 0.2268 0.0991
0.4139 52.0 3744 0.2224 0.0987
0.409 53.0 3816 0.2256 0.1001
0.4191 54.0 3888 0.2264 0.0991
0.4156 55.0 3960 0.2237 0.0993
0.4252 56.0 4032 0.2250 0.0988
0.4207 57.0 4104 0.2246 0.0989
0.4143 58.0 4176 0.2248 0.0981
0.4261 59.0 4248 0.2237 0.0973
0.4212 60.0 4320 0.2243 0.0976
0.426 61.0 4392 0.2230 0.0983
0.4257 62.0 4464 0.2230 0.0977
0.4102 63.0 4536 0.2219 0.0976
0.4133 64.0 4608 0.2221 0.0984
0.4257 65.0 4680 0.2236 0.0982
0.4006 66.0 4752 0.2231 0.0992
0.404 67.0 4824 0.2227 0.0983
0.409 68.0 4896 0.2235 0.0991
0.4075 69.0 4968 0.2242 0.0978
0.4167 70.0 5040 0.2248 0.0989
0.4026 71.0 5112 0.2242 0.0985
0.404 72.0 5184 0.2236 0.0989
0.4162 73.0 5256 0.2241 0.0986
0.4094 74.0 5328 0.2244 0.0991
0.4147 75.0 5400 0.2247 0.0989
0.4096 76.0 5472 0.2244 0.0983
0.4112 77.0 5544 0.2236 0.0981
0.3987 78.0 5616 0.2242 0.0982
0.3953 79.0 5688 0.2259 0.0983
0.4093 80.0 5760 0.2239 0.0991
0.406 81.0 5832 0.2238 0.0980
0.4149 82.0 5904 0.2240 0.0995
0.4017 83.0 5976 0.2240 0.0987
0.4065 84.0 6048 0.2245 0.0979
0.4315 85.0 6120 0.2249 0.0978
0.421 86.0 6192 0.2239 0.0977
0.4061 87.0 6264 0.2243 0.0974
0.4096 88.0 6336 0.2244 0.0982
0.4171 89.0 6408 0.2246 0.0974
0.4189 90.0 6480 0.2240 0.0980
0.4106 91.0 6552 0.2236 0.0978
0.408 92.0 6624 0.2234 0.0983
0.4218 93.0 6696 0.2239 0.0985
0.3997 94.0 6768 0.2237 0.0983
0.4173 95.0 6840 0.2238 0.0980
0.4134 96.0 6912 0.2235 0.0982
0.3959 97.0 6984 0.2237 0.0979
0.4149 98.0 7056 0.2238 0.0982
0.4125 99.0 7128 0.2238 0.0983
0.4111 100.0 7200 0.2235 0.0982

Framework versions

  • Transformers 4.21.0.dev0
  • Pytorch 1.9.1+cu102
  • Datasets 2.3.3.dev0
  • Tokenizers 0.12.1
Downloads last month
14
Hosted inference API
or or
This model can be loaded on the Inference API on-demand.