molto/ft_kor_test_2

ft_kor_test_1

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0205
• Cer: 0.0037

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 1000
• num_epochs: 20
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Cer
5.8814	0.1	500	3.3282	1.0
2.922	0.2	1000	1.5452	0.4197
1.0454	0.3	1500	0.5135	0.1411
0.6881	0.4	2000	0.3212	0.0964
0.5735	0.51	2500	0.2526	0.0805
0.5236	0.61	3000	0.2255	0.0691
0.4813	0.71	3500	0.2167	0.0662
0.4442	0.81	4000	0.1816	0.0575
0.4244	0.91	4500	0.1717	0.0542
0.4026	1.01	5000	0.1573	0.0525
0.3691	1.11	5500	0.1423	0.0455
0.3606	1.21	6000	0.1340	0.0429
0.3451	1.32	6500	0.1305	0.0417
0.3421	1.42	7000	0.1231	0.0389
0.3319	1.52	7500	0.1167	0.0379
0.3265	1.62	8000	0.1158	0.0373
0.3114	1.72	8500	0.1105	0.0343
0.299	1.82	9000	0.1015	0.0322
0.3023	1.92	9500	0.0968	0.0309
0.2952	2.02	10000	0.0926	0.0301
0.2719	2.13	10500	0.0937	0.0297
0.2726	2.23	11000	0.0902	0.0285
0.2615	2.33	11500	0.0876	0.0284
0.2611	2.43	12000	0.0839	0.0264
0.2505	2.53	12500	0.0848	0.0269
0.2494	2.63	13000	0.0788	0.0246
0.2442	2.73	13500	0.0798	0.0249
0.2448	2.83	14000	0.0769	0.0243
0.2365	2.93	14500	0.0755	0.0240
0.234	3.04	15000	0.0750	0.0221
0.2282	3.14	15500	0.0717	0.0219
0.2173	3.24	16000	0.0673	0.0210
0.2124	3.34	16500	0.0680	0.0211
0.2161	3.44	17000	0.0656	0.0206
0.2089	3.54	17500	0.0664	0.0204
0.213	3.64	18000	0.0623	0.0190
0.2094	3.74	18500	0.0635	0.0184
0.1998	3.85	19000	0.0635	0.0184
0.2024	3.95	19500	0.0620	0.0183
0.1935	4.05	20000	0.0572	0.0174
0.1873	4.15	20500	0.0607	0.0180
0.1789	4.25	21000	0.0583	0.0163
0.1842	4.35	21500	0.0663	0.0187
0.1773	4.45	22000	0.0532	0.0156
0.1877	4.55	22500	0.0583	0.0163
0.1844	4.65	23000	0.0543	0.0155
0.1711	4.76	23500	0.0522	0.0150
0.1703	4.86	24000	0.0503	0.0148
0.1712	4.96	24500	0.0524	0.0153
0.1642	5.06	25000	0.0505	0.0148
0.1622	5.16	25500	0.0476	0.0138
0.1544	5.26	26000	0.0500	0.0143
0.157	5.36	26500	0.0505	0.0139
0.1632	5.46	27000	0.0487	0.0138
0.1516	5.57	27500	0.0440	0.0126
0.1532	5.67	28000	0.0467	0.0127
0.1523	5.77	28500	0.0486	0.0135
0.1471	5.87	29000	0.0489	0.0129
0.1498	5.97	29500	0.0458	0.0123
0.1511	6.07	30000	0.0424	0.0123
0.1422	6.17	30500	0.0444	0.0118
0.1394	6.27	31000	0.0519	0.0148
0.1483	6.38	31500	0.0436	0.0120
0.1394	6.48	32000	0.0465	0.0126
0.1363	6.58	32500	0.0397	0.0110
0.1372	6.68	33000	0.0418	0.0110
0.1353	6.78	33500	0.0412	0.0110
0.1356	6.88	34000	0.0397	0.0109
0.1321	6.98	34500	0.0380	0.0100
0.1323	7.08	35000	0.0373	0.0101
0.1251	7.18	35500	0.0365	0.0099
0.1238	7.29	36000	0.0381	0.0100
0.1247	7.39	36500	0.0394	0.0103
0.128	7.49	37000	0.0389	0.0102
0.1245	7.59	37500	0.0382	0.0096
0.1224	7.69	38000	0.0358	0.0090
0.12	7.79	38500	0.0495	0.0113
0.1217	7.89	39000	0.0476	0.0108
0.1198	7.99	39500	0.0512	0.0130
0.1125	8.1	40000	0.0431	0.0109
0.1107	8.2	40500	0.0456	0.0111
0.1101	8.3	41000	0.0889	0.0176
0.1136	8.4	41500	0.0449	0.0103
0.1131	8.5	42000	0.0320	0.0082
0.1145	8.6	42500	0.0311	0.0083
0.1039	8.7	43000	0.0317	0.0086
0.1115	8.8	43500	0.0384	0.0086
0.1098	8.91	44000	0.0328	0.0085
0.1114	9.01	44500	0.0331	0.0083
0.0982	9.11	45000	0.0305	0.0079
0.1041	9.21	45500	0.0359	0.0084
0.1033	9.31	46000	0.0298	0.0076
0.1024	9.41	46500	0.0310	0.0076
0.0981	9.51	47000	0.0309	0.0075
0.1033	9.61	47500	0.0311	0.0076
0.0995	9.71	48000	0.0309	0.0079
0.1012	9.82	48500	0.0283	0.0071
0.1039	9.92	49000	0.0276	0.0070
0.0957	10.02	49500	0.0298	0.0071
0.0933	10.12	50000	0.0297	0.0073
0.0961	10.22	50500	0.0278	0.0069
0.0939	10.32	51000	0.0278	0.0071
0.0928	10.42	51500	0.0279	0.0071
0.0915	10.52	52000	0.0271	0.0065
0.0907	10.63	52500	0.0385	0.0099
0.0951	10.73	53000	0.0556	0.0127
0.0949	10.83	53500	0.0767	0.0189
0.0923	10.93	54000	0.0317	0.0074
0.0852	11.03	54500	0.0474	0.0114
0.0863	11.13	55000	0.0304	0.0067
0.0858	11.23	55500	0.0289	0.0063
0.0852	11.33	56000	0.0399	0.0117
0.0821	11.43	56500	0.0498	0.0111
0.0822	11.54	57000	0.0452	0.0113
0.0838	11.64	57500	0.0397	0.0079
0.0771	11.74	58000	0.0568	0.0120
0.0813	11.84	58500	0.0465	0.0087
0.078	11.94	59000	0.0524	0.0092
0.0809	12.04	59500	0.0545	0.0100
0.0755	12.14	60000	0.0273	0.0057
0.077	12.24	60500	0.0277	0.0060
0.0772	12.35	61000	0.0265	0.0057
0.0728	12.45	61500	0.0311	0.0057
0.0766	12.55	62000	0.0301	0.0066
0.0805	12.65	62500	0.0323	0.0067
0.0732	12.75	63000	0.0298	0.0061
0.0735	12.85	63500	0.0229	0.0052
0.0738	12.95	64000	0.0242	0.0054
0.0709	13.05	64500	0.0237	0.0053
0.0702	13.16	65000	0.0236	0.0050
0.0702	13.26	65500	0.0255	0.0053
0.0676	13.36	66000	0.0236	0.0052
0.0704	13.46	66500	0.0224	0.0053
0.07	13.56	67000	0.0238	0.0054
0.0671	13.66	67500	0.0232	0.0054
0.0709	13.76	68000	0.0228	0.0051
0.0636	13.86	68500	0.0227	0.0052
0.0661	13.96	69000	0.0223	0.0049
0.0645	14.07	69500	0.0222	0.0048
0.0639	14.17	70000	0.0243	0.0051
0.0608	14.27	70500	0.0250	0.0050
0.0631	14.37	71000	0.0234	0.0048
0.0656	14.47	71500	0.0228	0.0048
0.0616	14.57	72000	0.0239	0.0050
0.0631	14.67	72500	0.0237	0.0049
0.0662	14.77	73000	0.0234	0.0047
0.0622	14.88	73500	0.0289	0.0056
0.064	14.98	74000	0.0242	0.0048
0.0546	15.08	74500	0.0234	0.0049
0.0573	15.18	75000	0.0254	0.0054
0.0571	15.28	75500	0.0288	0.0058
0.0576	15.38	76000	0.0244	0.0053
0.0562	15.48	76500	0.0299	0.0061
0.0595	15.58	77000	0.0221	0.0046
0.0601	15.69	77500	0.0224	0.0046
0.0575	15.79	78000	0.0216	0.0045
0.059	15.89	78500	0.0222	0.0045
0.0562	15.99	79000	0.0224	0.0047
0.0551	16.09	79500	0.0216	0.0044
0.0539	16.19	80000	0.0223	0.0047
0.0547	16.29	80500	0.0212	0.0045
0.0527	16.39	81000	0.0264	0.0049
0.0527	16.49	81500	0.0247	0.0050
0.0526	16.6	82000	0.0236	0.0047
0.0507	16.7	82500	0.0213	0.0042
0.0522	16.8	83000	0.0221	0.0042
0.0522	16.9	83500	0.0220	0.0042
0.0496	17.0	84000	0.0217	0.0043
0.0495	17.1	84500	0.0214	0.0042
0.0493	17.2	85000	0.0217	0.0042
0.0488	17.3	85500	0.0207	0.0040
0.0492	17.41	86000	0.0210	0.0042
0.0496	17.51	86500	0.0204	0.0042
0.0487	17.61	87000	0.0216	0.0041
0.0466	17.71	87500	0.0199	0.0040
0.0465	17.81	88000	0.0199	0.0040
0.0491	17.91	88500	0.0198	0.0040
0.0469	18.01	89000	0.0204	0.0041
0.0447	18.11	89500	0.0205	0.0040
0.0487	18.21	90000	0.0215	0.0040
0.0455	18.32	90500	0.0207	0.0039
0.047	18.42	91000	0.0207	0.0040
0.0458	18.52	91500	0.0206	0.0040
0.0462	18.62	92000	0.0202	0.0039
0.0473	18.72	92500	0.0212	0.0039
0.043	18.82	93000	0.0208	0.0039
0.0435	18.92	93500	0.0204	0.0039
0.0448	19.02	94000	0.0208	0.0038
0.0435	19.13	94500	0.0205	0.0038
0.0433	19.23	95000	0.0203	0.0038
0.0425	19.33	95500	0.0204	0.0037
0.045	19.43	96000	0.0205	0.0038
0.043	19.53	96500	0.0205	0.0037
0.0435	19.63	97000	0.0206	0.0038
0.0424	19.73	97500	0.0207	0.0037
0.0441	19.83	98000	0.0206	0.0037
0.0452	19.94	98500	0.0205	0.0037

Framework versions

• Transformers 4.29.2
• Pytorch 2.0.1+cu117
• Datasets 2.13.0
• Tokenizers 0.13.3