wav2vec2-libri-train500-colab

This model is a fine-tuned version of GW12/wav2vec2-libri-train360_2-colab on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2348
• Wer: 0.1600

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 1000
• num_epochs: 5
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.1452	0.03	500	0.2791	0.1920
0.1544	0.05	1000	0.2897	0.1980
0.1654	0.08	1500	0.3320	0.2121
0.1807	0.11	2000	0.3317	0.2182
0.1697	0.13	2500	0.3250	0.2124
0.1761	0.16	3000	0.3158	0.2102
0.1697	0.19	3500	0.3335	0.2114
0.169	0.22	4000	0.3160	0.2168
0.1715	0.24	4500	0.2950	0.2105
0.1666	0.27	5000	0.2936	0.2079
0.1734	0.3	5500	0.3106	0.2098
0.1664	0.32	6000	0.2997	0.2048
0.1688	0.35	6500	0.3352	0.2123
0.1641	0.38	7000	0.3181	0.2069
0.1709	0.4	7500	0.2950	0.2049
0.1601	0.43	8000	0.2976	0.2041
0.1616	0.46	8500	0.3217	0.2051
0.158	0.48	9000	0.3133	0.2110
0.1635	0.51	9500	0.3158	0.2081
0.1555	0.54	10000	0.3234	0.2130
0.166	0.56	10500	0.3494	0.2183
0.1606	0.59	11000	0.2910	0.2020
0.1607	0.62	11500	0.3231	0.2103
0.1629	0.65	12000	0.2999	0.2048
0.1604	0.67	12500	0.3150	0.2029
0.1555	0.7	13000	0.3163	0.2062
0.1577	0.73	13500	0.3695	0.2138
0.1609	0.75	14000	0.3334	0.2048
0.155	0.78	14500	0.2887	0.2004
0.1549	0.81	15000	0.3375	0.2069
0.1537	0.83	15500	0.2979	0.2038
0.1515	0.86	16000	0.2683	0.1984
0.1548	0.89	16500	0.2873	0.2016
0.152	0.91	17000	0.3142	0.2010
0.1501	0.94	17500	0.2751	0.1963
0.1511	0.97	18000	0.2951	0.1988
0.1465	1.0	18500	0.2909	0.1969
0.1333	1.02	19000	0.2910	0.1951
0.1289	1.05	19500	0.3146	0.1931
0.1283	1.08	20000	0.2859	0.1916
0.1306	1.1	20500	0.2870	0.1923
0.131	1.13	21000	0.2864	0.1929
0.1268	1.16	21500	0.2850	0.1929
0.1298	1.18	22000	0.2780	0.1908
0.1253	1.21	22500	0.2775	0.1924
0.1285	1.24	23000	0.3637	0.2051
0.1238	1.26	23500	0.2821	0.1914
0.13	1.29	24000	0.3083	0.1954
0.1333	1.32	24500	0.3033	0.1937
0.1281	1.35	25000	0.2995	0.1947
0.122	1.37	25500	0.3041	0.1935
0.127	1.4	26000	0.3235	0.1976
0.1254	1.43	26500	0.3084	0.1917
0.128	1.45	27000	0.3172	0.1952
0.1212	1.48	27500	0.2766	0.1898
0.1248	1.51	28000	0.2936	0.1905
0.1225	1.53	28500	0.2746	0.1872
0.1245	1.56	29000	0.2790	0.1886
0.1278	1.59	29500	0.2785	0.1895
0.1251	1.61	30000	0.2583	0.1867
0.1186	1.64	30500	0.2899	0.1894
0.1244	1.67	31000	0.2671	0.1850
0.1221	1.69	31500	0.2681	0.1877
0.1202	1.72	32000	0.2763	0.1893
0.1275	1.75	32500	0.2701	0.1880
0.1221	1.78	33000	0.2593	0.1855
0.1214	1.8	33500	0.2548	0.1819
0.1247	1.83	34000	0.2758	0.1856
0.1216	1.86	34500	0.2635	0.1878
0.1185	1.88	35000	0.2645	0.1824
0.1193	1.91	35500	0.2583	0.1830
0.1192	1.94	36000	0.2548	0.1828
0.1168	1.96	36500	0.2534	0.1849
0.1195	1.99	37000	0.2717	0.1888
0.1174	2.02	37500	0.2632	0.1843
0.1005	2.04	38000	0.2620	0.1852
0.1021	2.07	38500	0.2776	0.1837
0.0989	2.1	39000	0.2785	0.1830
0.098	2.13	39500	0.2670	0.1822
0.1018	2.15	40000	0.2623	0.1795
0.1029	2.18	40500	0.2639	0.1800
0.1082	2.21	41000	0.2699	0.1807
0.1101	2.23	41500	0.2800	0.1847
0.1021	2.26	42000	0.2768	0.1839
0.1029	2.29	42500	0.2942	0.1844
0.1027	2.31	43000	0.3192	0.1859
0.1024	2.34	43500	0.3340	0.1874
0.1031	2.37	44000	0.2795	0.1830
0.1012	2.39	44500	0.2775	0.1830
0.1003	2.42	45000	0.2723	0.1838
0.0961	2.45	45500	0.2869	0.1878
0.1038	2.47	46000	0.2918	0.1840
0.0984	2.5	46500	0.2986	0.1844
0.0965	2.53	47000	0.2746	0.1826
0.0963	2.56	47500	0.2885	0.1844
0.097	2.58	48000	0.2803	0.1821
0.0992	2.61	48500	0.2800	0.1797
0.0941	2.64	49000	0.2614	0.1789
0.1064	2.66	49500	0.2454	0.1784
0.0981	2.69	50000	0.2455	0.1769
0.0984	2.72	50500	0.2692	0.1799
0.0982	2.74	51000	0.2425	0.1783
0.0984	2.77	51500	0.2459	0.1763
0.0985	2.8	52000	0.2561	0.1771
0.0984	2.82	52500	0.2516	0.1754
0.098	2.85	53000	0.2452	0.1754
0.0931	2.88	53500	0.2487	0.1771
0.0985	2.91	54000	0.2424	0.1746
0.0923	2.93	54500	0.2479	0.1734
0.0986	2.96	55000	0.2488	0.1756
0.0936	2.99	55500	0.2400	0.1745
0.087	3.01	56000	0.2444	0.1735
0.0817	3.04	56500	0.2434	0.1730
0.0806	3.07	57000	0.2526	0.1756
0.0774	3.09	57500	0.2596	0.1742
0.0827	3.12	58000	0.2394	0.1728
0.0832	3.15	58500	0.2499	0.1722
0.0886	3.17	59000	0.2841	0.1780
0.0817	3.2	59500	0.2702	0.1786
0.0881	3.23	60000	0.2594	0.1763
0.0809	3.26	60500	0.2565	0.1747
0.087	3.28	61000	0.2543	0.1730
0.0861	3.31	61500	0.2639	0.1760
0.085	3.34	62000	0.2565	0.1727
0.078	3.36	62500	0.2595	0.1712
0.081	3.39	63000	0.2508	0.1746
0.0824	3.42	63500	0.2525	0.1739
0.0792	3.44	64000	0.2664	0.1755
0.081	3.47	64500	0.3069	0.1901
0.0822	3.5	65000	0.2479	0.1705
0.0794	3.52	65500	0.2430	0.1732
0.0792	3.55	66000	0.2476	0.1718
0.0809	3.58	66500	0.2540	0.1714
0.0788	3.6	67000	0.2549	0.1722
0.0779	3.63	67500	0.2574	0.1724
0.0764	3.66	68000	0.2524	0.1712
0.0761	3.69	68500	0.2583	0.1712
0.0737	3.71	69000	0.2484	0.1675
0.0821	3.74	69500	0.2408	0.1669
0.0766	3.77	70000	0.2417	0.1673
0.0775	3.79	70500	0.2362	0.1676
0.0749	3.82	71000	0.2393	0.1666
0.0751	3.85	71500	0.2331	0.1667
0.0737	3.87	72000	0.2415	0.1659
0.0753	3.9	72500	0.2395	0.1680
0.0757	3.93	73000	0.2439	0.1689
0.0745	3.95	73500	0.2390	0.1668
0.0748	3.98	74000	0.2344	0.1662
0.072	4.01	74500	0.2522	0.1673
0.0673	4.04	75000	0.2469	0.1668
0.0633	4.06	75500	0.2511	0.1661
0.0625	4.09	76000	0.2428	0.1660
0.063	4.12	76500	0.2447	0.1644
0.0653	4.14	77000	0.2490	0.1647
0.0641	4.17	77500	0.2467	0.1656
0.0658	4.2	78000	0.2436	0.1641
0.0608	4.22	78500	0.2439	0.1645
0.0653	4.25	79000	0.2472	0.1653
0.0625	4.28	79500	0.2496	0.1633
0.0634	4.3	80000	0.2511	0.1654
0.061	4.33	80500	0.2445	0.1639
0.0626	4.36	81000	0.2462	0.1648
0.062	4.39	81500	0.2486	0.1649
0.0625	4.41	82000	0.2473	0.1632
0.0644	4.44	82500	0.2444	0.1634
0.0603	4.47	83000	0.2456	0.1634
0.0613	4.49	83500	0.2434	0.1634
0.0648	4.52	84000	0.2399	0.1630
0.0611	4.55	84500	0.2436	0.1627
0.0625	4.57	85000	0.2408	0.1619
0.0604	4.6	85500	0.2376	0.1615
0.0624	4.63	86000	0.2380	0.1618
0.0626	4.65	86500	0.2359	0.1617
0.0614	4.68	87000	0.2332	0.1610
0.0618	4.71	87500	0.2342	0.1612
0.0654	4.73	88000	0.2341	0.1605
0.0603	4.76	88500	0.2347	0.1603
0.0608	4.79	89000	0.2372	0.1602
0.0608	4.82	89500	0.2357	0.1601
0.0607	4.84	90000	0.2348	0.1602
0.0601	4.87	90500	0.2366	0.1603
0.0605	4.9	91000	0.2356	0.1599
0.0604	4.92	91500	0.2353	0.1597
0.0616	4.95	92000	0.2337	0.1598
0.0572	4.98	92500	0.2348	0.1600

Framework versions

• Transformers 4.24.0
• Pytorch 1.12.1
• Datasets 2.6.1
• Tokenizers 0.11.0