wav2vec2-large-danish-npsc-nst

This model is a fine-tuned version of chcaa/xls-r-300m-danish on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0587
• Wer: 0.0669

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 15.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
3.0474	0.05	500	2.9879	1.0
1.7255	0.11	1000	1.1271	0.9732
0.8932	0.16	1500	0.5474	0.5983
0.7358	0.21	2000	0.4152	0.4584
0.5939	0.26	2500	0.3455	0.3860
0.5437	0.32	3000	0.3024	0.3473
0.5128	0.37	3500	0.2708	0.3043
0.4682	0.42	4000	0.2462	0.2841
0.4392	0.47	4500	0.2374	0.2639
0.4022	0.53	5000	0.2182	0.2457
0.4106	0.58	5500	0.2066	0.2331
0.3883	0.63	6000	0.1997	0.2267
0.3701	0.69	6500	0.1862	0.2164
0.3628	0.74	7000	0.1817	0.2051
0.3468	0.79	7500	0.1716	0.1963
0.3311	0.84	8000	0.1704	0.1924
0.3329	0.9	8500	0.1620	0.1873
0.3179	0.95	9000	0.1575	0.1811
0.3162	1.0	9500	0.1519	0.1729
0.296	1.05	10000	0.1503	0.1701
0.2912	1.11	10500	0.1473	0.1673
0.296	1.16	11000	0.1422	0.1649
0.3615	1.21	11500	0.1373	0.1607
0.276	1.26	12000	0.1376	0.1572
0.2719	1.32	12500	0.1349	0.1540
0.2717	1.37	13000	0.1306	0.1524
0.2742	1.42	13500	0.1280	0.1515
0.261	1.48	14000	0.1246	0.1480
0.2532	1.53	14500	0.1266	0.1460
0.2501	1.58	15000	0.1227	0.1435
0.2705	1.63	15500	0.1202	0.1400
0.2433	1.69	16000	0.1190	0.1396
0.2526	1.74	16500	0.1182	0.1381
0.2362	1.79	17000	0.1169	0.1363
0.2359	1.84	17500	0.1166	0.1362
0.2341	1.9	18000	0.1133	0.1336
0.2347	1.95	18500	0.1121	0.1311
0.2428	2.0	19000	0.1109	0.1293
0.229	2.06	19500	0.1104	0.1275
0.2307	2.11	20000	0.1084	0.1278
0.2287	2.16	20500	0.1070	0.1260
0.217	2.21	21000	0.1066	0.1242
0.2056	2.27	21500	0.1058	0.1235
0.2039	2.32	22000	0.1013	0.1211
0.192	2.37	22500	0.1028	0.1198
0.2129	2.42	23000	0.1035	0.1202
0.1972	2.48	23500	0.1002	0.1197
0.2136	2.53	24000	0.1014	0.1183
0.2176	2.58	24500	0.0990	0.1181
0.2029	2.64	25000	0.0975	0.1170
0.2015	2.69	25500	0.0981	0.1168
0.2	2.74	26000	0.0960	0.1145
0.2018	2.79	26500	0.0966	0.1152
0.1935	2.85	27000	0.0936	0.1144
0.1944	2.9	27500	0.0931	0.1129
0.1862	2.95	28000	0.0920	0.1126
0.1805	3.0	28500	0.0941	0.1103
0.1764	3.06	29000	0.0940	0.1103
0.1859	3.11	29500	0.0915	0.1095
0.1865	3.16	30000	0.0925	0.1099
0.1713	3.21	30500	0.0907	0.1085
0.1917	3.27	31000	0.0898	0.1075
0.1708	3.32	31500	0.0909	0.1067
0.1754	3.37	32000	0.0892	0.1078
0.1813	3.43	32500	0.0895	0.1063
0.1842	3.48	33000	0.0882	0.1059
0.1834	3.53	33500	0.0883	0.1048
0.1746	3.58	34000	0.0866	0.1037
0.1765	3.64	34500	0.0860	0.1047
0.1747	3.69	35000	0.0873	0.1038
0.1741	3.74	35500	0.0851	0.1028
0.1589	3.79	36000	0.0851	0.1026
0.1659	3.85	36500	0.0844	0.1017
0.1716	3.9	37000	0.0831	0.1008
0.1728	3.95	37500	0.0828	0.1015
0.1877	4.01	38000	0.0847	0.1007
0.166	4.06	38500	0.0834	0.1005
0.151	4.11	39000	0.0836	0.0998
0.1614	4.16	39500	0.0848	0.1008
0.161	4.22	40000	0.0818	0.1005
0.162	4.27	40500	0.0822	0.0990
0.1702	4.32	41000	0.0806	0.0976
0.1585	4.37	41500	0.0807	0.0983
0.1682	4.43	42000	0.0792	0.0972
0.1607	4.48	42500	0.0797	0.0966
0.161	4.53	43000	0.0817	0.0978
0.1562	4.59	43500	0.0781	0.0965
0.1556	4.64	44000	0.0800	0.0962
0.1516	4.69	44500	0.0779	0.0948
0.1518	4.74	45000	0.0786	0.0945
0.1587	4.8	45500	0.0782	0.0939
0.1653	4.85	46000	0.0772	0.0935
0.1592	4.9	46500	0.0768	0.0933
0.1517	4.95	47000	0.0772	0.0928
0.1515	5.01	47500	0.0780	0.0917
0.2077	5.06	48000	0.0780	0.0925
0.1531	5.11	48500	0.0758	0.0909
0.155	5.16	49000	0.0757	0.0901
0.1501	5.22	49500	0.0767	0.0895
0.1435	5.27	50000	0.0759	0.0890
0.1449	5.32	50500	0.0762	0.0896
0.1489	5.38	51000	0.0743	0.0880
0.1456	5.43	51500	0.0757	0.0883
0.1515	5.48	52000	0.0751	0.0891
0.1446	5.53	52500	0.0739	0.0870
0.1503	5.59	53000	0.0731	0.0872
0.1405	5.64	53500	0.0731	0.0865
0.1385	5.69	54000	0.0737	0.0859
0.1439	5.74	54500	0.0732	0.0860
0.1378	5.8	55000	0.0750	0.0859
0.1441	5.85	55500	0.0713	0.0855
0.1288	5.9	56000	0.0733	0.0851
0.1484	5.96	56500	0.0718	0.0848
0.1437	6.01	57000	0.0714	0.0843
0.138	6.06	57500	0.0722	0.0848
0.1356	6.11	58000	0.0717	0.0845
0.1291	6.17	58500	0.0713	0.0843
0.1269	6.22	59000	0.0720	0.0840
0.133	6.27	59500	0.0709	0.0839
0.1402	6.32	60000	0.0706	0.0833
0.1332	6.38	60500	0.0709	0.0836
0.1271	6.43	61000	0.0705	0.0825
0.1279	6.48	61500	0.0710	0.0828
0.1317	6.54	62000	0.0699	0.0831
0.133	6.59	62500	0.0699	0.0826
0.1259	6.64	63000	0.0703	0.0818
0.1377	6.69	63500	0.0701	0.0817
0.136	6.75	64000	0.0701	0.0817
0.1218	6.8	64500	0.0699	0.0816
0.1239	6.85	65000	0.0687	0.0817
0.1331	6.9	65500	0.0696	0.0810
0.1252	6.96	66000	0.0679	0.0806
0.1381	7.01	66500	0.0688	0.0804
0.1232	7.06	67000	0.0688	0.0808
0.1288	7.11	67500	0.0686	0.0803
0.1223	7.17	68000	0.0684	0.0795
0.1344	7.22	68500	0.0679	0.0799
0.1272	7.27	69000	0.0683	0.0798
0.129	7.33	69500	0.0689	0.0799
0.118	7.38	70000	0.0684	0.0788
0.1351	7.43	70500	0.0681	0.0792
0.1213	7.48	71000	0.0671	0.0781
0.1311	7.54	71500	0.0666	0.0787
0.1194	7.59	72000	0.0665	0.0789
0.1216	7.64	72500	0.0664	0.0779
0.1188	7.69	73000	0.0665	0.0783
0.1161	7.75	73500	0.0661	0.0777
0.1279	7.8	74000	0.0654	0.0782
0.1243	7.85	74500	0.0664	0.0776
0.1223	7.91	75000	0.0648	0.0778
0.123	7.96	75500	0.0650	0.0772
0.1182	8.01	76000	0.0663	0.0773
0.1199	8.06	76500	0.0662	0.0776
0.1158	8.12	77000	0.0667	0.0772
0.1142	8.17	77500	0.0672	0.0773
0.1174	8.22	78000	0.0668	0.0765
0.1204	8.27	78500	0.0661	0.0769
0.1121	8.33	79000	0.0666	0.0769
0.1211	8.38	79500	0.0652	0.0758
0.1214	8.43	80000	0.0656	0.0764
0.1159	8.49	80500	0.0653	0.0762
0.2059	8.54	81000	0.0664	0.0765
0.1145	8.59	81500	0.0653	0.0759
0.1162	8.64	82000	0.0650	0.0761
0.1142	8.7	82500	0.0651	0.0764
0.1183	8.75	83000	0.0649	0.0753
0.112	8.8	83500	0.0657	0.0756
0.1175	8.85	84000	0.0639	0.0753
0.1154	8.91	84500	0.0640	0.0752
0.107	8.96	85000	0.0651	0.0747
0.1105	9.01	85500	0.0646	0.0745
0.1129	9.07	86000	0.0651	0.0743
0.1112	9.12	86500	0.0643	0.0743
0.108	9.17	87000	0.0639	0.0743
0.1114	9.22	87500	0.0643	0.0738
0.1136	9.28	88000	0.0635	0.0747
0.1086	9.33	88500	0.0633	0.0742
0.1097	9.38	89000	0.0629	0.0745
0.1094	9.43	89500	0.0632	0.0734
0.1107	9.49	90000	0.0637	0.0737
0.1072	9.54	90500	0.0633	0.0734
0.101	9.59	91000	0.0633	0.0733
0.1076	9.64	91500	0.0631	0.0730
0.1135	9.7	92000	0.0623	0.0725
0.1168	9.75	92500	0.0625	0.0727
0.1047	9.8	93000	0.0625	0.0731
0.0992	9.86	93500	0.0628	0.0726
0.1026	9.91	94000	0.0630	0.0724
0.1129	9.96	94500	0.0615	0.0725
0.1088	10.01	95000	0.0623	0.0726
0.107	10.07	95500	0.0630	0.0719
0.115	10.12	96000	0.0623	0.0722
0.1037	10.17	96500	0.0622	0.0715
0.1028	10.22	97000	0.0612	0.0717
0.1025	10.28	97500	0.0618	0.0715
0.1075	10.33	98000	0.0610	0.0719
0.1035	10.38	98500	0.0627	0.0715
0.1038	10.44	99000	0.0608	0.0721
0.0968	10.49	99500	0.0618	0.0712
0.1095	10.54	100000	0.0621	0.0713
0.1957	10.59	100500	0.0606	0.0717
0.1032	10.65	101000	0.0613	0.0708
0.1104	10.7	101500	0.0622	0.0709
0.1071	10.75	102000	0.0612	0.0707
0.1133	10.8	102500	0.0618	0.0703
0.1017	10.86	103000	0.0616	0.0703
0.0943	10.91	103500	0.0613	0.0704
0.1067	10.96	104000	0.0602	0.0704
0.1078	11.02	104500	0.0602	0.0705
0.1088	11.07	105000	0.0617	0.0704
0.101	11.12	105500	0.0609	0.0703
0.0956	11.17	106000	0.0608	0.0701
0.0995	11.23	106500	0.0614	0.0702
0.0917	11.28	107000	0.0611	0.0698
0.1023	11.33	107500	0.0608	0.0697
0.1107	11.38	108000	0.0607	0.0699
0.0945	11.44	108500	0.0610	0.0695
0.1043	11.49	109000	0.0603	0.0697
0.1007	11.54	109500	0.0606	0.0699
0.0997	11.59	110000	0.0596	0.0696
0.0958	11.65	110500	0.0602	0.0695
0.1011	11.7	111000	0.0602	0.0698
0.0996	11.75	111500	0.0605	0.0695
0.0993	11.81	112000	0.0610	0.0691
0.0958	11.86	112500	0.0603	0.0693
0.0997	11.91	113000	0.0600	0.0695
0.0991	11.96	113500	0.0596	0.0691
0.096	12.02	114000	0.0603	0.0688
0.0971	12.07	114500	0.0605	0.0688
0.0948	12.12	115000	0.0601	0.0687
0.0981	12.17	115500	0.0596	0.0690
0.0928	12.23	116000	0.0599	0.0689
0.0959	12.28	116500	0.0602	0.0686
0.0925	12.33	117000	0.0598	0.0686
0.0998	12.39	117500	0.0593	0.0689
0.0996	12.44	118000	0.0600	0.0685
0.0981	12.49	118500	0.0600	0.0685
0.1045	12.54	119000	0.0593	0.0684
0.0944	12.6	119500	0.0594	0.0684
0.0874	12.65	120000	0.0590	0.0686
0.092	12.7	120500	0.0597	0.0681
0.0931	12.75	121000	0.0599	0.0678
0.092	12.81	121500	0.0604	0.0679
0.1033	12.86	122000	0.0591	0.0684
0.0935	12.91	122500	0.0594	0.0680
0.1062	12.97	123000	0.0594	0.0677
0.0948	13.02	123500	0.0600	0.0679
0.0939	13.07	124000	0.0599	0.0677
0.0962	13.12	124500	0.0602	0.0676
0.1015	13.18	125000	0.0594	0.0676
0.0976	13.23	125500	0.0586	0.0676
0.0876	13.28	126000	0.0595	0.0679
0.0864	13.33	126500	0.0597	0.0675
0.1756	13.39	127000	0.0583	0.0678
0.0963	13.44	127500	0.0584	0.0677
0.0956	13.49	128000	0.0593	0.0676
0.0927	13.54	128500	0.0594	0.0674
0.0969	13.6	129000	0.0588	0.0674
0.1005	13.65	129500	0.0586	0.0674
0.097	13.7	130000	0.0593	0.0674
0.0944	13.76	130500	0.0596	0.0673
0.0908	13.81	131000	0.0593	0.0674
0.0928	13.86	131500	0.0594	0.0673
0.0934	13.91	132000	0.0592	0.0674
0.0967	13.97	132500	0.0589	0.0672
0.0921	14.02	133000	0.0585	0.0671
0.0927	14.07	133500	0.0590	0.0673
0.0908	14.12	134000	0.0588	0.0672
0.0875	14.18	134500	0.0591	0.0672
0.097	14.23	135000	0.0589	0.0670
0.0915	14.28	135500	0.0586	0.0670
0.094	14.34	136000	0.0587	0.0672
0.09	14.39	136500	0.0589	0.0672
0.0969	14.44	137000	0.0586	0.0670
0.0925	14.49	137500	0.0585	0.0670
0.1005	14.55	138000	0.0584	0.0668
0.0907	14.6	138500	0.0584	0.0669
0.0891	14.65	139000	0.0587	0.0669
0.0907	14.7	139500	0.0588	0.0669
0.0948	14.76	140000	0.0586	0.0668
0.0907	14.81	140500	0.0585	0.0670
0.0914	14.86	141000	0.0586	0.0669
0.0867	14.92	141500	0.0587	0.0669
0.0877	14.97	142000	0.0587	0.0669

Framework versions

• Transformers 4.18.0
• Pytorch 1.11.0+cu113
• Datasets 2.1.0
• Tokenizers 0.12.1