Hugging Face's logo

Amiran13
/
wav2vec2-large-xlsr-georgian_v1

Automatic Speech Recognition
Transformers
TensorBoard
Safetensors
wav2vec2
Generated from Trainer
Inference Endpoints
Model card Files Metrics Community
Edit model card

wav2vec2-large-xlsr-georgian_v1

This model is a fine-tuned version of facebook/wav2vec2-large-xlsr-53 on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0992
  • Wer: 0.2605

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 64
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 200
  • num_epochs: 40
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Wer
3.1412 0.16 100 3.0855 1.0
3.0569 0.33 200 3.0369 1.0
2.9625 0.49 300 2.9778 1.0
0.7715 0.65 400 0.5113 0.7185
0.4725 0.81 500 0.3072 0.5138
0.4103 0.98 600 0.2447 0.4337
0.2775 1.14 700 0.2055 0.3769
0.2554 1.3 800 0.1950 0.3603
0.263 1.46 900 0.1813 0.3372
0.2294 1.63 1000 0.1664 0.3132
0.2296 1.79 1100 0.1565 0.2962
0.2183 1.95 1200 0.1474 0.2986
0.1822 2.12 1300 0.1546 0.2811
0.1798 2.28 1400 0.1442 0.2811
0.179 2.44 1500 0.1411 0.2686
0.1593 2.6 1600 0.1408 0.2739
0.2652 2.77 1700 0.2074 0.4499
0.1834 2.93 1800 0.1570 0.3942
0.2015 3.09 1900 0.1516 0.3859
0.1696 3.26 2000 0.1452 0.3826
0.1782 3.42 2100 0.1413 0.3763
0.1636 3.58 2200 0.1350 0.3761
0.173 3.74 2300 0.1323 0.3622
0.1704 3.91 2400 0.1289 0.3644
0.1418 4.07 2500 0.1266 0.3481
0.1403 4.23 2600 0.1274 0.3482
0.1353 4.4 2700 0.1287 0.3489
0.1432 4.56 2800 0.1293 0.3532
0.1283 4.72 2900 0.1226 0.3416
0.1367 4.88 3000 0.1206 0.3426
0.1162 5.05 3100 0.1222 0.3394
0.1267 5.21 3200 0.1183 0.3313
0.1126 5.37 3300 0.1180 0.3299
0.1127 5.53 3400 0.1177 0.3305
0.1155 5.7 3500 0.1185 0.3317
0.1086 5.86 3600 0.1129 0.3227
0.1135 6.02 3700 0.1118 0.3266
0.1112 6.19 3800 0.1142 0.3228
0.0866 6.35 3900 0.1172 0.3284
0.1003 6.51 4000 0.1133 0.3244
0.4366 6.68 4100 0.2436 0.4587
0.1216 6.84 4200 0.1344 0.3386
0.1165 7.0 4300 0.1280 0.3324
0.131 7.17 4400 0.1252 0.3245
0.1407 7.33 4500 0.1234 0.3252
0.1394 7.49 4600 0.1208 0.3177
0.1449 7.65 4700 0.1180 0.3165
0.1295 7.82 4800 0.1170 0.3152
0.1228 7.98 4900 0.1182 0.3160
0.0913 8.14 5000 0.1122 0.3086
0.1014 8.3 5100 0.1118 0.3100
0.0861 8.47 5200 0.1126 0.3074
0.1442 8.63 5300 0.1373 0.3311
0.1054 8.79 5400 0.1225 0.3143
0.104 8.96 5500 0.1190 0.3157
0.0972 9.12 5600 0.1140 0.3076
0.0948 9.28 5700 0.1090 0.3067
0.1067 9.45 5800 0.1117 0.3074
0.0798 9.61 5900 0.1097 0.3040
0.089 9.77 6000 0.1049 0.3005
0.0829 9.93 6100 0.1056 0.3006
0.0687 10.1 6200 0.1102 0.3018
0.0844 10.26 6300 0.1056 0.2985
0.0862 10.42 6400 0.1073 0.2990
0.0936 10.58 6500 0.1049 0.2949
0.0821 10.75 6600 0.1053 0.2966
0.0797 10.91 6700 0.1043 0.2939
0.0802 11.07 6800 0.1057 0.2911
0.0895 11.24 6900 0.1029 0.2934
0.073 11.4 7000 0.1042 0.2897
0.0842 11.56 7100 0.1023 0.2902
0.0825 11.72 7200 0.1024 0.2911
0.0958 11.89 7300 0.1018 0.2888
0.0698 12.05 7400 0.1030 0.2883
0.0693 12.21 7500 0.1019 0.2872
0.0736 12.37 7600 0.1003 0.2871
0.0683 12.54 7700 0.1004 0.2865
0.0649 12.7 7800 0.1005 0.2835
0.0669 12.86 7900 0.0985 0.2846
0.069 13.03 8000 0.0999 0.2844
0.0674 13.19 8100 0.1002 0.2835
0.0695 13.35 8200 0.1013 0.2829
0.0578 13.51 8300 0.1019 0.2821
0.0614 13.68 8400 0.0978 0.2815
0.0554 13.84 8500 0.0984 0.2813
0.0763 14.0 8600 0.1001 0.2813
0.0877 14.16 8700 0.1000 0.2808
0.0882 14.33 8800 0.0979 0.2803
0.0864 14.49 8900 0.0981 0.2788
0.0828 14.65 9000 0.0975 0.2790
0.3052 14.82 9100 0.2150 0.4175
0.1478 14.98 9200 0.1325 0.3027
1.0386 15.15 9300 0.4375 0.6793
0.116 15.31 9400 0.1266 0.3042
0.1226 15.47 9500 0.1206 0.3000
0.0885 15.63 9600 0.1173 0.2958
0.091 15.8 9700 0.1145 0.2929
0.0886 15.96 9800 0.1112 0.2908
0.0783 16.12 9900 0.1075 0.2873
0.069 16.28 10000 0.1072 0.2876
0.0783 16.45 10100 0.1070 0.2876
0.0669 16.61 10200 0.1055 0.2848
0.072 16.77 10300 0.1043 0.2846
0.0721 16.94 10400 0.1020 0.2821
0.0694 17.1 10500 0.1047 0.2803
0.0574 17.26 10600 0.1053 0.2830
0.0578 17.42 10700 0.1042 0.2806
0.0663 17.59 10800 0.1035 0.2801
0.0615 17.75 10900 0.1025 0.2785
0.0706 17.91 11000 0.1028 0.2792
0.2373 18.08 11100 0.1686 0.3372
0.1137 18.24 11200 0.1202 0.2938
0.1008 18.4 11300 0.1143 0.2895
0.1004 18.57 11400 0.1127 0.2874
0.0874 18.73 11500 0.1108 0.2861
0.0926 18.89 11600 0.1108 0.2838
0.0703 19.05 11700 0.1101 0.2834
0.0893 19.22 11800 0.1097 0.2824
0.0681 19.38 11900 0.1099 0.2822
0.0668 19.54 12000 0.1086 0.2813
0.069 19.7 12100 0.1087 0.2810
0.0683 19.87 12200 0.1085 0.2807
0.1116 20.03 12300 0.1221 0.2978
0.0752 20.19 12400 0.1161 0.2956
0.0787 20.36 12500 0.1128 0.2927
0.0741 20.52 12600 0.1100 0.2922
0.0764 20.68 12700 0.1081 0.2906
0.0747 20.85 12800 0.1082 0.2896
0.0876 21.01 12900 0.1052 0.2896
0.0878 21.17 13000 0.1110 0.2950
0.0895 21.33 13100 0.1095 0.2934
0.0953 21.5 13200 0.1122 0.2981
0.0787 21.66 13300 0.1072 0.2896
0.0774 21.82 13400 0.1076 0.2880
0.0908 21.98 13500 0.1113 0.2916
0.0737 22.15 13600 0.1067 0.2870
0.0714 22.31 13700 0.1096 0.2864
0.0775 22.47 13800 0.1085 0.2868
0.0761 22.64 13900 0.1040 0.2852
0.0675 22.8 14000 0.1090 0.2836
0.0829 22.96 14100 0.1066 0.2814
0.0731 23.12 14200 0.1057 0.2835
0.058 23.29 14300 0.1059 0.2834
0.0833 23.45 14400 0.1056 0.2847
0.1007 23.62 14500 0.1225 0.3059
0.0896 23.78 14600 0.1088 0.2899
0.084 23.94 14700 0.1056 0.2834
0.0684 24.1 14800 0.1070 0.2865
0.0646 24.27 14900 0.1109 0.2862
0.0728 24.43 15000 0.1081 0.2876
0.0615 24.59 15100 0.1077 0.2846
0.0642 24.75 15200 0.1062 0.2842
0.0736 24.92 15300 0.1058 0.2864
0.0801 25.08 15400 0.1106 0.2844
0.0687 25.24 15500 0.1104 0.2836
0.0852 25.41 15600 0.1055 0.2826
0.078 25.57 15700 0.1069 0.2817
0.0815 25.73 15800 0.1040 0.2799
0.0863 25.89 15900 0.1074 0.2801
0.0603 26.06 16000 0.1044 0.2779
0.0625 26.22 16100 0.1036 0.2796
0.057 26.38 16200 0.1086 0.2802
0.0632 26.54 16300 0.1057 0.2790
0.0644 26.71 16400 0.1022 0.2750
0.0645 26.87 16500 0.1003 0.2766
0.0536 27.03 16600 0.1051 0.2786
0.058 27.2 16700 0.1051 0.2790
0.052 27.36 16800 0.1034 0.2748
0.0514 27.52 16900 0.1027 0.2751
0.0593 27.68 17000 0.1036 0.2795
0.0577 27.85 17100 0.1025 0.2770
0.0694 28.01 17200 0.1008 0.2733
0.0641 28.17 17300 0.1088 0.2760
0.0566 28.33 17400 0.1092 0.2759
0.073 28.5 17500 0.1120 0.2788
0.0632 28.66 17600 0.1056 0.2764
0.0674 28.82 17700 0.1021 0.2739
0.0663 28.99 17800 0.1033 0.2733
0.0544 29.15 17900 0.1053 0.2721
0.0583 29.31 18000 0.1033 0.2732
0.0652 29.47 18100 0.1015 0.2728
0.0577 29.64 18200 0.1029 0.2730
0.1068 29.8 18300 0.1297 0.2950
0.0805 29.97 18400 0.1113 0.2792
0.0689 30.13 18500 0.1077 0.2789
0.0688 30.29 18600 0.1069 0.2777
0.0589 30.45 18700 0.1071 0.2757
0.049 30.62 18800 0.1077 0.2749
0.0534 30.78 18900 0.1046 0.2703
0.0506 30.94 19000 0.1039 0.2728
0.0534 31.11 19100 0.1036 0.2719
0.0453 31.27 19200 0.1064 0.2717
0.0514 31.43 19300 0.1034 0.2712
0.0579 31.59 19400 0.1065 0.2726
0.0491 31.76 19500 0.1054 0.2749
0.0547 31.92 19600 0.1023 0.2720
0.08 32.08 19700 0.1037 0.2707
0.0649 32.24 19800 0.1037 0.2702
0.064 32.41 19900 0.1053 0.2714
0.064 32.57 20000 0.1035 0.2691
0.0658 32.73 20100 0.1017 0.2663
0.0636 32.9 20200 0.1031 0.2680
0.0439 33.06 20300 0.1010 0.2668
0.0518 33.22 20400 0.1016 0.2691
0.0498 33.38 20500 0.1028 0.2682
0.0516 33.55 20600 0.1009 0.2679
0.0534 33.71 20700 0.1022 0.2672
0.0464 33.87 20800 0.1029 0.2661
0.0522 34.03 20900 0.1002 0.2668
0.0458 34.2 21000 0.0981 0.2644
0.0425 34.36 21100 0.1004 0.2659
0.0461 34.52 21200 0.1009 0.2650
0.0436 34.69 21300 0.1007 0.2652
0.0507 34.85 21400 0.1005 0.2655
0.0437 35.01 21500 0.0992 0.2648
0.0492 35.17 21600 0.1022 0.2655
0.0456 35.34 21700 0.1030 0.2639
0.0421 35.5 21800 0.1054 0.2639
0.0759 35.67 21900 0.1253 0.2760
0.059 35.83 22000 0.1125 0.2710
0.0515 35.99 22100 0.1073 0.2667
0.0583 36.16 22200 0.1085 0.2671
0.0603 36.32 22300 0.1047 0.2658
0.0575 36.48 22400 0.1034 0.2652
0.0605 36.64 22500 0.1044 0.2656
0.0545 36.81 22600 0.1057 0.2649
0.0583 36.97 22700 0.1033 0.2641
0.0492 37.13 22800 0.1039 0.2641
0.0561 37.29 22900 0.1027 0.2640
0.0447 37.46 23000 0.1023 0.2631
0.0521 37.62 23100 0.1010 0.2636
0.0482 37.78 23200 0.1021 0.2635
0.0468 37.95 23300 0.0999 0.2631
0.0473 38.11 23400 0.1016 0.2629
0.0416 38.27 23500 0.1003 0.2621
0.0491 38.43 23600 0.1022 0.2618
0.0394 38.6 23700 0.1017 0.2622
0.0389 38.76 23800 0.1011 0.2620
0.0381 38.92 23900 0.0992 0.2608
0.0557 39.08 24000 0.0999 0.2613
0.0545 39.25 24100 0.1002 0.2608
0.0633 39.41 24200 0.0997 0.2607
0.0471 39.57 24300 0.0994 0.2609
0.0672 39.74 24400 0.0991 0.2606
0.066 39.9 24500 0.0992 0.2605

Framework versions

  • Transformers 4.35.2
  • Pytorch 2.1.0+cu118
  • Datasets 2.15.0
  • Tokenizers 0.15.0
Downloads last month
65
Safetensors
Model size
315M params
Tensor type
F32
·
Inference Examples
Automatic Speech Recognition
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for Amiran13/wav2vec2-large-xlsr-georgian_v1

Base model

facebook/wav2vec2-large-xlsr-53
Finetuned
(211)
this model

Evaluation results

Metadata error: specify a dataset to view leaderboard