Hugging Face's logo

yoon1000
/
ft_0131_kor_eng

Automatic Speech Recognition
Transformers
Safetensors
wav2vec2
Generated from Trainer
Inference Endpoints
Model card Files Community
ft_0131_kor_eng / README.md
yoon1000's picture
yoon1000
End of training
04be5be verified
preview code
|
raw
history blame contribute delete
6.43 kB
metadata
license: apache-2.0
base_model: facebook/wav2vec2-xls-r-300m
tags:
  - generated_from_trainer
model-index:
  - name: ft_0131_kor_eng
    results: []

ft_0131_kor_eng

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.5441
  • Cer: 0.0980

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • num_epochs: 20
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Cer
5.6525 0.24 500 4.2248 1.0
2.7344 0.48 1000 1.6790 0.5047
1.2753 0.72 1500 0.7988 0.1950
0.8951 0.96 2000 0.6650 0.1611
0.7622 1.2 2500 0.6036 0.1453
0.6851 1.44 3000 0.5689 0.1384
0.6464 1.68 3500 0.5471 0.1315
0.6219 1.92 4000 0.5334 0.1261
0.5558 2.16 4500 0.5340 0.1255
0.5121 2.41 5000 0.5098 0.1243
0.509 2.65 5500 0.5241 0.1217
0.51 2.89 6000 0.4947 0.1181
0.4499 3.13 6500 0.5327 0.1168
0.4484 3.37 7000 0.4865 0.1158
0.434 3.61 7500 0.4708 0.1169
0.4316 3.85 8000 0.4781 0.1127
0.399 4.09 8500 0.5105 0.1137
0.3889 4.33 9000 0.4750 0.1099
0.3741 4.57 9500 0.4841 0.1124
0.3837 4.81 10000 0.4879 0.1112
0.3708 5.05 10500 0.4899 0.1124
0.3307 5.29 11000 0.5045 0.1090
0.3431 5.53 11500 0.4755 0.1102
0.333 5.77 12000 0.4579 0.1103
0.3415 6.01 12500 0.5191 0.1080
0.2997 6.25 13000 0.4742 0.1085
0.3087 6.49 13500 0.5069 0.1092
0.303 6.73 14000 0.4754 0.1092
0.3077 6.97 14500 0.4999 0.1095
0.2758 7.22 15000 0.4894 0.1073
0.2743 7.46 15500 0.4973 0.1045
0.2818 7.7 16000 0.4817 0.1078
0.2746 7.94 16500 0.4788 0.1058
0.2508 8.18 17000 0.4743 0.1070
0.2526 8.42 17500 0.5032 0.1036
0.2586 8.66 18000 0.4616 0.1049
0.2534 8.9 18500 0.4569 0.1078
0.2331 9.14 19000 0.4889 0.1044
0.2324 9.38 19500 0.4783 0.1040
0.2444 9.62 20000 0.4836 0.1057
0.2334 9.86 20500 0.4749 0.1060
0.2278 10.1 21000 0.4877 0.1041
0.2048 10.34 21500 0.4940 0.1036
0.2149 10.58 22000 0.4963 0.1043
0.2069 10.82 22500 0.5082 0.1028
0.2049 11.06 23000 0.5214 0.1042
0.1906 11.3 23500 0.5023 0.1045
0.1997 11.54 24000 0.5035 0.1013
0.1933 11.78 24500 0.5121 0.1029
0.1965 12.03 25000 0.5307 0.1046
0.1814 12.27 25500 0.5169 0.1039
0.1774 12.51 26000 0.5022 0.1019
0.1784 12.75 26500 0.5129 0.1032
0.1807 12.99 27000 0.4875 0.1019
0.1704 13.23 27500 0.4937 0.1029
0.1628 13.47 28000 0.5232 0.1032
0.1578 13.71 28500 0.5100 0.1019
0.1594 13.95 29000 0.5183 0.0993
0.162 14.19 29500 0.5220 0.1030
0.1564 14.43 30000 0.5304 0.1009
0.1514 14.67 30500 0.5265 0.1009
0.157 14.91 31000 0.5193 0.1011
0.1401 15.15 31500 0.5608 0.1022
0.1416 15.39 32000 0.5208 0.1016
0.1472 15.63 32500 0.5275 0.1011
0.1415 15.87 33000 0.5314 0.1005
0.1438 16.11 33500 0.5321 0.1016
0.1304 16.35 34000 0.5244 0.1020
0.135 16.59 34500 0.5379 0.1005
0.1352 16.84 35000 0.5279 0.0998
0.1305 17.08 35500 0.5386 0.0985
0.1273 17.32 36000 0.5349 0.0992
0.1252 17.56 36500 0.5348 0.0990
0.1232 17.8 37000 0.5322 0.0982
0.1284 18.04 37500 0.5403 0.0985
0.1181 18.28 38000 0.5344 0.0987
0.123 18.52 38500 0.5333 0.0983
0.112 18.76 39000 0.5424 0.0978
0.1172 19.0 39500 0.5356 0.0990
0.1169 19.24 40000 0.5410 0.0984
0.1125 19.48 40500 0.5416 0.0980
0.1081 19.72 41000 0.5448 0.0981
0.12 19.96 41500 0.5441 0.0980

Framework versions

  • Transformers 4.36.2
  • Pytorch 2.1.2+cu118
  • Datasets 2.16.1
  • Tokenizers 0.15.0