MonotonicSMA-test4

This model is a fine-tuned version of openai/whisper-small on the common_voice_16_0 dataset. It achieves the following results on the evaluation set:

• Loss: 0.2317
• Cer: 12.7528

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-06
• train_batch_size: 10
• eval_batch_size: 10
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 80
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 1000
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Cer	Validation Loss
0.8165	0.0105	200	154.3221	1.4155
0.5269	0.0211	400	73.7226	0.6193
0.4773	0.0316	600	28.7084	0.5482
0.4607	0.0422	800	39.6492	0.5541
0.4349	0.0527	1000	20.7543	0.5006
0.4251	0.0633	1200	22.6217	0.4861
0.4119	0.0738	1400	23.1247	0.4629
0.3914	0.0844	1600	20.4435	0.4590
0.3737	0.0949	1800	18.5130	0.4258
0.3722	0.1054	2000	18.2601	0.4159
0.3816	0.1160	2200	18.0678	0.4124
0.3682	0.1265	2400	18.2970	0.3839
0.3602	0.1371	2600	17.6754	0.3926
0.3575	0.1476	2800	17.6122	0.3745
0.3465	0.1582	3000	18.1232	0.3772
0.3699	0.1687	3200	16.3164	0.3575
0.3431	0.1793	3400	17.5753	0.3592
0.3409	0.1898	3600	16.6798	0.3569
0.3248	0.2004	3800	17.4357	0.3563
0.3162	0.2109	4000	17.5358	0.3515
0.3151	0.2214	4200	15.7001	0.3432
0.3091	0.2320	4400	15.3682	0.3398
0.3067	0.2425	4600	14.4832	0.3282
0.2844	0.2531	4800	14.8625	0.3254
0.2943	0.2636	5000	14.3015	0.3235
0.2952	0.2742	5200	14.4121	0.3287
0.2852	0.2847	5400	14.3173	0.3196
0.2798	0.2953	5600	13.1532	0.3132
0.2808	0.3058	5800	12.9741	0.3143
0.2941	0.3163	6000	13.9064	0.3140
0.272	0.3269	6200	12.8213	0.3064
0.2942	0.3374	6400	13.3955	0.3075
0.2971	0.3480	6600	13.1137	0.3040
0.279	0.3585	6800	13.1268	0.2994
0.2732	0.3691	7000	13.7484	0.3034
0.2629	0.3796	7200	13.6668	0.3020
0.2716	0.3902	7400	13.9249	0.2961
0.2705	0.4007	7600	12.7818	0.2939
0.2646	0.4112	7800	13.4245	0.2938
0.2584	0.4218	8000	12.8161	0.2900
0.2658	0.4323	8200	12.5395	0.2836
0.2583	0.4429	8400	13.0241	0.2935
0.2575	0.4534	8600	12.6212	0.2855
0.2706	0.4640	8800	12.2261	0.2815
0.2592	0.4745	9000	12.1418	0.2797
0.2558	0.4851	9200	12.0101	0.2778
0.2612	0.4956	9400	12.1655	0.2789
0.2562	0.5062	9600	13.1795	0.2793
0.2567	0.5167	9800	12.2709	0.2762
0.2706	0.5272	10000	12.0970	0.2712
0.2566	0.5378	10200	12.1945	0.2694
0.2712	0.5483	10400	11.9127	0.2684
0.2576	0.5589	10600	12.9952	0.2709
0.2373	0.5694	10800	12.7581	0.2669
0.247	0.5800	11000	12.0075	0.2684
0.2663	0.5905	11200	12.6659	0.2673
0.2597	0.6011	11400	12.4447	0.2677
0.2464	0.6116	11600	12.4816	0.2645
0.2482	0.6221	11800	12.4473	0.2625
0.2463	0.6327	12000	12.5711	0.2656
0.238	0.6432	12200	12.5685	0.2605
0.2522	0.6538	12400	12.5685	0.2610
0.2585	0.6643	12600	11.9969	0.2595
0.2491	0.6749	12800	11.8732	0.2607
0.244	0.6854	13000	11.8600	0.2595
0.2431	0.6960	13200	11.5123	0.2574
0.2333	0.7065	13400	11.9285	0.2570
0.2491	0.7170	13600	11.6440	0.2549
0.2385	0.7276	13800	11.6045	0.2562
0.2509	0.7381	14000	11.8521	0.2550
0.2392	0.7487	14200	11.2358	0.2511
0.2429	0.7592	14400	11.5018	0.2530
0.2419	0.7698	14600	11.6546	0.2507
0.2431	0.7803	14800	11.5624	0.2518
0.2365	0.7909	15000	11.4649	0.2499
0.2233	0.8014	15200	11.8257	0.2500
0.2306	0.8120	15400	11.0303	0.2485
0.2371	0.8225	15600	11.1252	0.2490
0.2426	0.8330	15800	11.3806	0.2499
0.2355	0.8436	16000	11.1673	0.2454
0.2365	0.8541	16200	10.6116	0.2458
0.2261	0.8647	16400	10.7854	0.2451
0.2394	0.8752	16600	10.9540	0.2467
0.2309	0.8858	16800	10.9882	0.2446
0.2353	0.8963	17000	10.8433	0.2436
0.2277	0.9069	17200	10.9224	0.2432
0.2322	0.9174	17400	10.7933	0.2420
0.2213	0.9279	17600	10.7011	0.2427
0.2341	0.9385	17800	10.8591	0.2429
0.2322	0.9490	18000	10.6063	0.2409
0.2376	0.9596	18200	11.1094	0.2424
0.2191	0.9701	18400	11.0119	0.2400
0.2341	0.9807	18600	10.9303	0.2398
0.2249	0.9912	18800	10.5589	0.2396
0.2142	1.0018	19000	0.2488	11.1410
0.2219	1.0123	19200	0.2523	11.4649
0.2162	1.0228	19400	0.2553	11.3885
0.2186	1.0334	19600	0.2544	11.3859
0.2163	1.0439	19800	0.2507	11.2990
0.2255	1.0545	20000	0.2534	11.6625
0.2183	1.0650	20200	0.2526	11.0646
0.2176	1.0756	20400	0.2551	11.6387
0.2147	1.0861	20600	0.2538	10.9434
0.2156	1.0967	20800	0.2519	11.2015
0.2199	1.1072	21000	0.2526	11.2463
0.2147	1.1178	21200	0.2520	10.9461
0.2073	1.1283	21400	0.2470	10.7722
0.2184	1.1388	21600	0.2540	11.2753
0.2273	1.1494	21800	0.2455	10.9145
0.2092	1.1599	22000	0.2479	10.8697
0.2206	1.1705	22200	0.2457	11.7125
0.2182	1.1810	22400	0.2482	11.7388
0.2118	1.1916	22600	0.2495	11.2410
0.2	1.2021	22800	0.2517	11.1989
0.2164	1.2127	23000	0.2469	10.9039
0.2172	1.2232	23200	0.2469	12.0496
0.2157	1.2337	23400	0.2477	11.1778
0.2134	1.2443	23600	0.2453	11.2700
0.2164	1.2548	23800	0.2481	11.4070
0.2235	1.2654	24000	0.2471	11.1146
0.2147	1.2759	24200	0.2459	11.0988
0.2207	1.2865	24400	0.2436	10.4298
0.2142	1.2970	24600	0.2424	11.1041
0.2087	1.3076	24800	0.2439	10.7433
0.2166	1.3181	25000	0.2428	10.4957
0.212	1.3286	25200	0.2436	10.5378
0.2145	1.3392	25400	0.2443	10.6432
0.222	1.3497	25600	0.2404	10.8065
0.2093	1.3603	25800	0.2412	10.3903
0.2132	1.3708	26000	0.2391	10.3693
0.2114	1.3814	26200	0.2405	10.3851
0.1999	1.3919	26400	0.2413	10.3798
0.2163	1.4025	26600	0.2385	10.3139
0.2126	1.4130	26800	0.2383	11.9495
0.2076	1.4236	27000	0.2371	10.5773
0.2149	1.4341	27200	0.2395	10.6800
0.2061	1.4446	27400	0.2394	11.4333
0.2172	1.4552	27600	0.2402	11.8732
0.2141	1.4657	27800	0.2371	10.1717
0.2153	1.4763	28000	0.2360	10.3930
0.2036	1.4868	28200	0.2384	12.2314
0.2094	1.4974	28400	0.2383	10.2639
0.2164	1.5079	28600	0.2355	12.8529
0.2092	1.5185	28800	0.2341	11.3332
0.2058	1.5290	29000	0.2362	10.0558
0.2049	1.5395	29200	0.2369	10.6195
0.2165	1.5501	29400	0.2347	11.9864
0.192	1.5606	29600	0.2346	11.1831
0.2091	1.5712	29800	0.2337	10.7722
0.2115	1.5817	30000	0.2351	10.3956
0.1954	1.5923	30200	0.2363	11.0198
0.2054	1.6028	30400	0.2321	10.6932
0.2123	1.6134	30600	0.2334	11.4676
0.2063	1.6239	30800	0.2326	12.1234
0.2012	1.6344	31000	0.2358	10.1401
0.2167	1.6450	31200	0.2347	12.6238
0.1934	1.6555	31400	0.2321	10.8802
0.2101	1.6661	31600	0.2352	11.0936
0.2037	1.6766	31800	0.2306	10.8618
0.2028	1.6872	32000	0.2343	10.9145
0.2082	1.6977	32200	0.2326	11.3859
0.1919	1.7083	32400	0.2325	11.9732
0.2116	1.7188	32600	0.2329	10.0190
0.2067	1.7294	32800	0.2325	11.1673
0.1983	1.7399	33000	0.2313	11.7573
0.2033	1.7504	33200	0.2326	11.3991
0.2082	1.7610	33400	0.2319	9.8873
0.2058	1.7715	33600	0.2310	10.8328
0.2218	1.7821	33800	0.2323	11.0883
0.2029	1.7926	34000	0.2307	10.8512
0.201	1.8032	34200	0.2306	9.7319
0.202	1.8137	34400	0.2306	10.4377
0.1945	1.8243	34600	0.2309	9.8530
0.2152	1.8348	34800	0.2308	10.8144
0.199	1.8453	35000	0.2304	11.6229
0.1969	1.8559	35200	0.2292	11.2226
0.1915	1.8664	35400	0.2296	12.3183
0.2057	1.8770	35600	0.2296	12.1155
0.1847	1.8875	35800	0.2315	12.6712
0.1917	1.8981	36000	0.2297	12.7555
0.1958	1.9086	36200	0.2307	11.3490
0.1894	1.9192	36400	0.2292	12.1365
0.2012	1.9297	36600	0.2288	12.5184
0.1959	1.9403	36800	0.2300	10.8065
0.1861	1.9508	37000	0.2300	10.7801
0.2036	1.9613	37200	0.2301	11.4412
0.2047	1.9719	37400	0.2282	10.6827
0.1997	1.9824	37600	0.2278	10.7433
0.2031	1.9930	37800	0.2281	11.2173
0.1688	2.0035	38000	0.2306	11.1225
0.1829	2.0141	38200	0.2308	11.2226
0.1705	2.0246	38400	0.2312	11.2173
0.1751	2.0352	38600	0.2316	12.6185
0.1874	2.0457	38800	0.2320	11.5992
0.1762	2.0562	39000	0.2323	12.4184
0.1753	2.0668	39200	0.2317	12.1128
0.1831	2.0773	39400	0.2319	11.4386
0.1728	2.0879	39600	0.2317	11.2595
0.1689	2.0984	39800	0.2316	11.5676
0.1721	2.1090	40000	0.2317	12.7528

Framework versions

• Transformers 4.44.2
• Pytorch 2.10.0+cu128
• Datasets 3.6.0
• Tokenizers 0.19.1