wav2vec2-large-xlsr-geo-demo

This model is a fine-tuned version of facebook/wav2vec2-large-xlsr-53 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1636
• Wer: 0.4438

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.002
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 200
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
7.887	0.03	100	3.6607	1.0
4.0646	0.05	200	3.1735	1.0
3.7509	0.08	300	3.2336	1.0
3.8832	0.11	400	3.1474	1.0
3.9646	0.14	500	3.3345	1.0
3.1657	0.16	600	3.0552	1.0
3.0641	0.19	700	3.0919	1.0
1.9443	0.22	800	1.5124	1.0
0.6772	0.25	900	0.6392	0.8845
0.5144	0.27	1000	0.4253	0.7256
0.4361	0.3	1100	0.3405	0.6596
0.4239	0.33	1200	0.2857	0.5969
0.3226	0.36	1300	0.2790	0.5880
0.3508	0.38	1400	0.2492	0.5586
0.3091	0.41	1500	0.2572	0.5655
0.3094	0.44	1600	0.2238	0.5122
0.305	0.47	1700	0.2339	0.5011
0.258	0.49	1800	0.2067	0.5008
0.2673	0.52	1900	0.2201	0.5077
0.2256	0.55	2000	0.1871	0.4633
0.2697	0.58	2100	0.1933	0.4696
0.233	0.6	2200	0.1835	0.4520
0.2078	0.63	2300	0.1761	0.4482
0.2721	0.66	2400	0.1742	0.4406
0.2807	0.69	2500	0.1717	0.4376
0.2397	0.71	2600	0.1788	0.4444
0.2672	0.74	2700	0.1534	0.4126
0.1954	0.77	2800	0.1593	0.4085
0.2753	0.79	2900	0.1575	0.4128
0.1975	0.82	3000	0.1435	0.3926
0.2282	0.85	3100	0.1702	0.4271
0.2372	0.88	3200	0.1417	0.3965
0.229	0.9	3300	0.1385	0.3860
0.2332	0.93	3400	0.1325	0.3805
0.2074	0.96	3500	0.1309	0.375
0.1937	0.99	3600	0.1306	0.3784
0.2211	1.01	3700	0.1402	0.3836
0.1928	1.04	3800	0.1339	0.3714
0.176	1.07	3900	0.1319	0.3743
0.1818	1.1	4000	0.1326	0.3760
0.2191	1.12	4100	0.1312	0.3768
0.1848	1.15	4200	0.1228	0.3599
0.1671	1.18	4300	0.1289	0.3731
0.1759	1.21	4400	0.1245	0.3632
0.1783	1.23	4500	0.1267	0.3545
0.1576	1.26	4600	0.1280	0.3581
0.1726	1.29	4700	0.1215	0.3541
0.1702	1.32	4800	0.1342	0.3690
0.2667	1.34	4900	0.1256	0.3635
0.232	1.37	5000	0.1228	0.3580
0.2012	1.4	5100	0.1183	0.3476
0.1862	1.42	5200	0.1210	0.3535
0.1947	1.45	5300	0.1241	0.3514
0.1806	1.48	5400	0.1151	0.3399
0.1779	1.51	5500	0.1127	0.3426
0.176	1.53	5600	0.1105	0.3446
0.1387	1.56	5700	0.1019	0.3301
0.1621	1.59	5800	0.1038	0.3309
0.1527	1.62	5900	0.1104	0.3398
0.1748	1.64	6000	0.1071	0.3348
0.165	1.67	6100	0.1092	0.3380
0.1384	1.7	6200	0.1063	0.3349
0.1859	1.73	6300	0.1058	0.3250
0.1919	1.75	6400	0.1080	0.3413
0.1425	1.78	6500	0.1050	0.3284
0.1571	1.81	6600	0.1002	0.3244
0.1591	1.84	6700	0.0999	0.3238
0.1615	1.86	6800	0.0961	0.3157
0.148	1.89	6900	0.0993	0.3197
0.1893	1.92	7000	0.0963	0.3219
0.1586	1.95	7100	0.0970	0.3227
0.1932	1.97	7200	0.0955	0.3200
0.172	2.0	7300	0.0930	0.3159
0.1617	2.03	7400	0.0972	0.3170
0.1644	2.06	7500	0.0923	0.3117
0.1098	2.08	7600	0.1001	0.3186
0.1456	2.11	7700	0.1028	0.3262
0.1518	2.14	7800	0.1018	0.3177
0.1485	2.16	7900	0.0986	0.3153
0.1411	2.19	8000	0.0938	0.3117
0.1439	2.22	8100	0.0937	0.3124
0.1469	2.25	8200	0.0919	0.3096
0.1476	2.27	8300	0.0939	0.3099
0.1678	2.3	8400	0.0926	0.3095
0.1705	2.33	8500	0.0973	0.3167
0.1323	2.36	8600	0.0910	0.3055
0.1258	2.38	8700	0.0872	0.3017
0.1536	2.41	8800	0.0963	0.3103
0.1628	2.44	8900	0.0871	0.3045
0.1504	2.47	9000	0.0898	0.3038
0.1301	2.49	9100	0.0856	0.2966
0.1488	2.52	9200	0.0846	0.2978
0.1621	2.55	9300	0.0855	0.3024
0.1453	2.58	9400	0.0830	0.2940
0.13	2.6	9500	0.0824	0.2920
0.1225	2.63	9600	0.0830	0.2920
0.1337	2.66	9700	0.0838	0.2914
0.1192	2.69	9800	0.0846	0.2992
0.1478	2.71	9900	0.0794	0.2921
0.1188	2.74	10000	0.0771	0.2875
0.2217	2.77	10100	0.0840	0.3002
0.1169	2.79	10200	0.0769	0.2876
0.1334	2.82	10300	0.0782	0.2875
0.1623	2.85	10400	0.0833	0.2948
0.2	2.88	10500	0.0772	0.2856
0.1288	2.9	10600	0.0773	0.2854
0.1201	2.93	10700	0.0782	0.2885
0.1467	2.96	10800	0.0778	0.2864
0.1452	2.99	10900	0.0747	0.2825
0.1182	3.01	11000	0.0759	0.2812
0.1078	3.04	11100	0.0744	0.2771
0.1426	3.07	11200	0.0797	0.2883
0.1322	3.1	11300	0.0765	0.2797
0.1655	3.12	11400	0.0743	0.2885
0.1243	3.15	11500	0.0744	0.2792
0.1724	3.18	11600	0.0749	0.2778
0.1136	3.21	11700	0.0730	0.2764
0.1428	3.23	11800	0.0776	0.2836
0.1189	3.26	11900	0.0788	0.2893
0.1065	3.29	12000	0.0732	0.2746
0.14	3.32	12100	0.0720	0.2756
2.7696	3.34	12200	2.8195	1.0
0.7388	3.37	12300	0.4293	0.7221
0.1829	3.4	12400	0.0925	0.2933
0.1534	3.42	12500	0.0794	0.2763
0.134	3.45	12600	0.0768	0.2719
0.1095	3.48	12700	0.0716	0.2641
0.1185	3.51	12800	0.0702	0.2603
0.6919	1.77	12900	0.5212	0.7533
0.6742	1.78	13000	0.7236	0.8849
0.7929	1.79	13100	0.6992	0.8898
0.6284	1.81	13200	0.6220	0.8438
0.5259	1.82	13300	0.6681	0.8442
0.6102	1.84	13400	0.6867	0.8975
0.6609	1.85	13500	0.7216	0.8682
0.5471	1.86	13600	0.7449	0.9033
0.5535	1.88	13700	0.5763	0.8305
0.5933	1.89	13800	0.6063	0.8677
0.6006	1.9	13900	0.5470	0.8033
0.6245	1.92	14000	0.6193	0.8423
0.469	1.93	14100	0.5840	0.8292
0.539	1.95	14200	0.5749	0.8211
0.6109	1.96	14300	0.6034	0.8475
0.4675	1.97	14400	0.5792	0.7991
0.4737	1.99	14500	0.5673	0.8333
0.6289	2.0	14600	0.5211	0.8101
0.5712	2.01	14700	0.5000	0.7945
0.9085	2.03	14800	0.5572	0.7913
0.5669	2.04	14900	0.5175	0.7903
0.4907	2.06	15000	0.5407	0.7994
0.6087	2.07	15100	0.5598	0.8134
0.6574	2.08	15200	0.5471	0.8014
0.5082	2.1	15300	0.5032	0.7930
0.5103	2.11	15400	0.5067	0.7894
0.4954	2.12	15500	0.5027	0.7716
0.5438	2.14	15600	0.5090	0.7783
0.4469	2.15	15700	0.4353	0.7355
0.4258	2.16	15800	0.4388	0.7353
0.6645	2.18	15900	0.5062	0.7839
0.4875	2.19	16000	0.4939	0.7813
0.5195	2.21	16100	0.4684	0.7653
0.5162	2.22	16200	0.4422	0.7387
0.4851	2.23	16300	0.4714	0.7619
0.536	2.25	16400	0.4778	0.7590
0.403	2.26	16500	0.4672	0.7729
0.4217	2.27	16600	0.4305	0.7329
0.4865	2.29	16700	0.4577	0.7367
0.4889	2.3	16800	0.4398	0.7282
0.4094	2.32	16900	0.4433	0.7245
0.4654	2.33	17000	0.4121	0.7143
0.394	2.34	17100	0.4642	0.7268
0.4595	2.36	17200	0.4076	0.7034
0.4463	2.37	17300	0.4477	0.7619
0.5096	2.38	17400	0.4394	0.7324
0.3934	2.4	17500	0.3927	0.7054
0.3766	2.41	17600	0.4442	0.7405
0.4216	2.42	17700	0.4131	0.6991
0.3822	2.44	17800	0.3996	0.7095
0.5685	2.45	17900	0.3785	0.6970
0.5032	2.47	18000	0.4015	0.7013
0.3936	2.48	18100	0.3789	0.6921
0.4129	2.49	18200	0.4374	0.7275
0.4559	2.51	18300	0.4613	0.7437
0.4168	2.52	18400	0.4183	0.7092
0.3521	2.53	18500	0.4058	0.7056
0.4208	2.55	18600	0.4373	0.7354
0.3918	2.56	18700	0.4257	0.7230
0.3886	2.58	18800	0.4144	0.7192
0.5022	2.59	18900	0.3865	0.6997
0.4236	2.6	19000	0.4095	0.7155
0.3934	2.62	19100	0.4137	0.7209
0.4274	2.63	19200	0.3846	0.6822
0.3991	2.64	19300	0.3732	0.6723
0.4125	2.66	19400	0.4050	0.6991
0.3494	2.67	19500	0.3714	0.6874
0.4416	2.69	19600	0.3762	0.6842
0.397	2.7	19700	0.3722	0.6821
0.4796	2.71	19800	0.3822	0.6959
0.3637	2.73	19900	0.3865	0.6979
0.4456	2.74	20000	0.3903	0.7038
0.3338	2.75	20100	0.3514	0.6549
0.3541	2.77	20200	0.3697	0.6782
0.4417	2.78	20300	0.3654	0.6810
0.3682	2.79	20400	0.3627	0.6613
0.3196	2.81	20500	0.3464	0.6650
0.3729	2.82	20600	0.3278	0.6508
0.3838	2.84	20700	0.3434	0.6576
0.3506	2.85	20800	0.3495	0.6607
0.3215	2.86	20900	0.3348	0.6416
0.3806	2.88	21000	0.3501	0.6777
0.311	2.89	21100	0.3374	0.6557
0.33	2.9	21200	0.3297	0.6425
0.3916	2.92	21300	0.3228	0.6373
0.3767	2.93	21400	0.3391	0.6497
0.3951	2.95	21500	0.4120	0.7108
0.3302	2.96	21600	0.3271	0.6309
0.3759	2.97	21700	0.3210	0.6293
0.3984	2.99	21800	0.3598	0.6565
0.3391	3.0	21900	0.3367	0.6470
0.3271	3.01	22000	0.3249	0.6352
0.3205	3.03	22100	0.3494	0.6461
0.3037	3.04	22200	0.3113	0.6191
0.3389	3.06	22300	0.3394	0.6502
0.3817	3.07	22400	0.3276	0.6282
0.3801	3.08	22500	0.3177	0.6243
0.4181	3.1	22600	0.2995	0.6091
0.2837	3.11	22700	0.3072	0.6150
0.3423	3.12	22800	0.3116	0.6108
0.32	3.14	22900	0.3129	0.6183
0.3138	3.15	23000	0.3026	0.6174
0.3693	3.16	23100	0.3104	0.6233
0.3765	3.18	23200	0.3196	0.6313
0.4339	3.19	23300	0.3126	0.6232
0.3197	3.21	23400	0.2984	0.5983
0.3411	3.22	23500	0.3056	0.6093
0.3468	3.23	23600	0.3094	0.6146
0.3297	3.25	23700	0.3033	0.6030
0.3018	3.26	23800	0.2849	0.5893
0.3119	3.27	23900	0.2944	0.6047
0.2679	3.29	24000	0.2866	0.5913
0.4425	3.3	24100	0.2977	0.6086
0.2961	3.32	24200	0.2930	0.6002
0.2888	3.33	24300	0.2752	0.5774
0.3084	3.34	24400	0.2890	0.5945
0.3406	3.36	24500	0.2922	0.6100
0.2947	3.37	24600	0.2909	0.6025
0.284	3.38	24700	0.2940	0.5920
0.2991	3.4	24800	0.2803	0.5776
0.3419	3.41	24900	0.2738	0.5698
0.3274	3.43	25000	0.2818	0.5925
0.2594	3.44	25100	0.2670	0.5710
0.3437	3.45	25200	0.2783	0.5734
0.2723	3.47	25300	0.2775	0.5868
0.2916	3.48	25400	0.2821	0.5867
0.2438	3.49	25500	0.2659	0.5658
0.3299	3.51	25600	0.2782	0.5855
0.3268	3.52	25700	0.2861	0.5814
0.2712	3.53	25800	0.2803	0.5814
0.3433	3.55	25900	0.2783	0.5810
0.3374	3.56	26000	0.2748	0.5731
0.3253	3.58	26100	0.2814	0.5848
0.2877	3.59	26200	0.2731	0.5705
0.3398	3.6	26300	0.2784	0.5903
0.3244	3.62	26400	0.2925	0.5857
0.3231	3.63	26500	0.2620	0.5661
0.2607	3.64	26600	0.2568	0.5646
0.306	3.66	26700	0.2654	0.5638
0.3182	3.67	26800	0.2722	0.5666
0.295	3.69	26900	0.2487	0.5453
0.2382	3.7	27000	0.2566	0.5526
0.2456	3.71	27100	0.2533	0.5636
0.2887	3.73	27200	0.2620	0.5743
0.2991	3.74	27300	0.2583	0.5570
0.2838	3.75	27400	0.2538	0.5534
0.2766	3.77	27500	0.2522	0.5561
0.2814	3.78	27600	0.2532	0.5573
0.2471	3.8	27700	0.2452	0.5452
0.2888	3.81	27800	0.2445	0.5365
0.2647	3.82	27900	0.2332	0.5324
0.2567	3.84	28000	0.2439	0.5468
0.2848	3.85	28100	0.2439	0.5375
0.2445	3.86	28200	0.2523	0.5485
0.2836	3.88	28300	0.2476	0.5408
0.2441	3.89	28400	0.2514	0.5511
0.272	3.9	28500	0.2340	0.5313
0.2746	3.92	28600	0.2454	0.5394
0.2637	3.93	28700	0.2484	0.5437
0.2889	3.95	28800	0.2344	0.5312
0.2733	3.96	28900	0.2261	0.5314
0.3967	3.97	29000	0.2547	0.5667
0.3052	3.99	29100	0.2227	0.5270
0.2849	4.0	29200	0.2272	0.5272
0.2446	4.01	29300	0.2286	0.5139
0.2553	4.03	29400	0.2294	0.5189
0.2948	4.04	29500	0.2477	0.5321
0.2541	4.06	29600	0.2302	0.5203
0.2361	4.07	29700	0.2228	0.5249
0.3058	4.08	29800	0.2272	0.5198
0.2584	4.1	29900	0.2225	0.5136
0.2686	4.11	30000	0.2353	0.5285
0.2262	4.12	30100	0.2103	0.4910
0.211	4.14	30200	0.2141	0.4973
0.2396	4.15	30300	0.2224	0.5072
0.2576	4.16	30400	0.2241	0.5105
0.2326	4.18	30500	0.2192	0.5035
0.2458	4.19	30600	0.2152	0.5008
0.1914	4.21	30700	0.2119	0.5024
0.2418	4.22	30800	0.2129	0.5074
0.2311	4.23	30900	0.2213	0.5088
0.2543	4.25	31000	0.2099	0.4990
0.256	4.26	31100	0.2081	0.4983
0.2918	4.27	31200	0.2116	0.5017
0.2416	4.29	31300	0.2024	0.4901
0.1784	4.3	31400	0.2089	0.4927
0.2046	4.32	31500	0.2140	0.5046
0.2546	4.33	31600	0.2059	0.4901
0.2133	4.34	31700	0.2053	0.4911
0.2166	4.36	31800	0.1973	0.4767
0.2095	4.37	31900	0.2164	0.4955
0.2604	4.38	32000	0.2030	0.4874
0.267	4.4	32100	0.2025	0.4924
0.2053	4.41	32200	0.2022	0.4847
0.2527	4.43	32300	0.1976	0.4788
0.2553	4.44	32400	0.2012	0.4803
0.2374	4.45	32500	0.1913	0.4713
0.2054	4.47	32600	0.1945	0.4758
0.195	4.48	32700	0.1983	0.4794
0.2873	4.49	32800	0.1965	0.4865
0.2529	4.51	32900	0.1913	0.4715
0.2309	4.52	33000	0.2002	0.4792
0.1991	4.53	33100	0.1856	0.4680
0.2009	4.55	33200	0.1903	0.4753
0.2214	4.56	33300	0.1914	0.4709
0.2517	4.58	33400	0.1869	0.4656
0.1969	4.59	33500	0.1859	0.4671
0.202	4.6	33600	0.1861	0.4659
0.206	4.62	33700	0.1824	0.4577
0.3113	4.63	33800	0.1914	0.4879
0.2779	4.64	33900	0.1941	0.4746
0.2115	4.66	34000	0.1849	0.4611
0.1859	4.67	34100	0.1872	0.4677
0.2078	4.69	34200	0.1804	0.4624
0.1957	4.7	34300	0.1880	0.4653
0.2222	4.71	34400	0.1772	0.4536
0.2334	4.73	34500	0.1845	0.4649
0.1754	4.74	34600	0.1729	0.4504
0.2025	4.75	34700	0.1769	0.4512
0.213	4.77	34800	0.1807	0.4551
0.2255	4.78	34900	0.1742	0.4479
0.1698	4.8	35000	0.1803	0.4584
0.2254	4.81	35100	0.1774	0.4510
0.1913	4.82	35200	0.1742	0.4504
0.2123	4.84	35300	0.1773	0.4591
0.2402	4.85	35400	0.1768	0.4527
0.1617	4.86	35500	0.1717	0.4484
0.2387	4.88	35600	0.1713	0.4540
0.1844	4.89	35700	0.1647	0.4386
0.2113	4.9	35800	0.1760	0.4580
0.1892	4.92	35900	0.1643	0.4392
0.2179	4.93	36000	0.1651	0.4407
0.2053	4.95	36100	0.1663	0.4479
0.1748	4.96	36200	0.1710	0.4454
0.2233	4.97	36300	0.1753	0.4541
0.1941	4.99	36400	0.1636	0.4438

Framework versions

• Transformers 4.34.1
• Pytorch 2.1.0+cu121
• Datasets 2.14.6
• Tokenizers 0.14.1