w2vbert-waxal-multi7

This model is a fine-tuned version of sulaimank/w2v-bert-waxal on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2946
• Wer Ach: 0.3978
• Cer Ach: 0.1490
• Zindi Ach: 0.7266
• Wer Lin: 0.2111
• Cer Lin: 0.0937
• Zindi Lin: 0.8476
• Wer Lug: 0.2779
• Cer Lug: 0.0440
• Zindi Lug: 0.8390
• Wer Mas: 0.5779
• Cer Mas: 0.1214
• Zindi Mas: 0.6504
• Wer Nyn: 0.4323
• Cer Nyn: 0.0928
• Zindi Nyn: 0.7375
• Wer Sna: 0.3840
• Cer Sna: 0.0976
• Zindi Sna: 0.7592
• Wer Sog: 0.5612
• Cer Sog: 0.1014
• Zindi Sog: 0.6687
• Wer: 0.3588
• Cer: 0.0995
• Zindi: 0.7709
• Wer Strip: 0.2651
• Cer Strip: 0.0861
• Zindi Strip: 0.8244
• Lang Token Emitted: 1.0
• Lang Token Acc: 0.9854

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 24
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.98) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 0.1
• num_epochs: 10.0

Training results

Training Loss	Epoch	Step	Validation Loss	Wer Ach	Cer Ach	Zindi Ach	Wer Lin	Cer Lin	Zindi Lin	Wer Lug	Cer Lug	Zindi Lug	Wer Mas	Cer Mas	Zindi Mas	Wer Nyn	Cer Nyn	Zindi Nyn	Wer Sna	Cer Sna	Zindi Sna	Wer Sog	Cer Sog	Zindi Sog	Wer	Cer	Zindi	Wer Strip	Cer Strip	Zindi Strip	Lang Token Emitted	Lang Token Acc
0.6332	0.2230	500	0.5107	0.7734	0.2881	0.4693	0.2254	0.1027	0.8360	0.3627	0.0572	0.7901	0.9002	0.2637	0.4180	0.7860	0.2046	0.5047	0.4630	0.1055	0.7157	0.7499	0.1711	0.5395	0.5041	0.1504	0.6727	0.4093	0.1351	0.7278	0.9703	0.6699
0.4787	0.4460	1000	0.3878	0.6799	0.2362	0.5419	0.2016	0.0919	0.8533	0.3764	0.0623	0.7806	0.8115	0.2096	0.4895	0.6976	0.1727	0.5648	0.4540	0.1048	0.7206	0.6791	0.1368	0.5920	0.4614	0.1305	0.7040	0.3669	0.1165	0.7583	0.9706	0.8699
0.4086	0.6690	1500	0.3556	0.6024	0.2096	0.5940	0.1965	0.0921	0.8557	0.3512	0.0563	0.7963	0.7867	0.1921	0.5106	0.6290	0.1511	0.6100	0.4322	0.1041	0.7319	0.6428	0.1267	0.6153	0.4347	0.1229	0.7212	0.3404	0.1092	0.7752	0.9964	0.9222
0.3417	0.8921	2000	0.3392	0.5870	0.1976	0.6077	0.2066	0.0881	0.8527	0.3447	0.0563	0.7995	0.7548	0.1768	0.5342	0.5813	0.1348	0.6420	0.4318	0.1032	0.7325	0.6355	0.1189	0.6228	0.4280	0.1163	0.7278	0.3312	0.1026	0.7831	1.0	0.9608
0.2988	1.1151	2500	0.3267	0.5338	0.1837	0.6413	0.2094	0.0982	0.8462	0.3682	0.0585	0.7867	0.7208	0.1655	0.5568	0.5450	0.1259	0.6645	0.4363	0.1061	0.7288	0.6232	0.1150	0.6309	0.4180	0.1165	0.7328	0.3226	0.1034	0.7870	0.9997	0.9762
0.3009	1.3381	3000	0.3273	0.5066	0.1763	0.6586	0.2152	0.0959	0.8444	0.3314	0.0524	0.8081	0.6991	0.1608	0.5700	0.5491	0.1252	0.6629	0.4192	0.1042	0.7383	0.6128	0.1189	0.6341	0.4092	0.1142	0.7383	0.3152	0.1010	0.7919	0.9990	0.9718
0.3556	1.5611	3500	0.3088	0.5218	0.1815	0.6483	0.2114	0.0995	0.8446	0.3401	0.0537	0.8031	0.6779	0.1568	0.5826	0.5256	0.1180	0.6782	0.4336	0.1057	0.7304	0.6086	0.1117	0.6398	0.4075	0.1141	0.7392	0.3148	0.1012	0.7920	0.9997	0.9803
0.3064	1.7841	4000	0.2994	0.4934	0.1749	0.6659	0.2157	0.1039	0.8402	0.3220	0.0536	0.8122	0.6648	0.1516	0.5918	0.5121	0.1144	0.6868	0.4203	0.1060	0.7369	0.5765	0.1079	0.6578	0.3974	0.1137	0.7444	0.3053	0.1001	0.7973	0.9997	0.9818
0.2529	2.0071	4500	0.3054	0.4741	0.1650	0.6804	0.2124	0.1029	0.8423	0.3220	0.0541	0.8120	0.6639	0.1533	0.5914	0.5084	0.1124	0.6896	0.4172	0.1054	0.7387	0.5690	0.1069	0.6621	0.3928	0.1126	0.7473	0.3022	0.0990	0.7994	0.9995	0.9816
0.2572	2.2302	5000	0.2922	0.4717	0.1644	0.6820	0.2097	0.1012	0.8446	0.3114	0.0505	0.8190	0.6533	0.1456	0.6005	0.4992	0.1098	0.6955	0.4239	0.1056	0.7353	0.5762	0.1092	0.6573	0.3908	0.1108	0.7492	0.3013	0.0979	0.8004	0.9992	0.9846
0.2483	2.4532	5500	0.2983	0.4597	0.1622	0.6890	0.2171	0.1006	0.8411	0.3082	0.0491	0.8214	0.6476	0.1423	0.6050	0.4896	0.1092	0.7006	0.4020	0.1029	0.7476	0.5682	0.1048	0.6635	0.3858	0.1088	0.7527	0.2945	0.0956	0.8049	0.9997	0.9841
0.2861	2.6762	6000	0.2984	0.4840	0.1651	0.6755	0.2128	0.0975	0.8449	0.3105	0.0488	0.8203	0.6427	0.1407	0.6083	0.4971	0.1072	0.6979	0.4126	0.1024	0.7425	0.5918	0.1120	0.6481	0.3907	0.1082	0.7505	0.3012	0.0953	0.8017	0.9992	0.9780
0.2269	2.8992	6500	0.2886	0.4500	0.1558	0.6971	0.2124	0.0974	0.8451	0.2882	0.0483	0.8318	0.6287	0.1373	0.6170	0.4766	0.1039	0.7097	0.4092	0.1033	0.7437	0.5585	0.1045	0.6685	0.3793	0.1063	0.7572	0.2872	0.0935	0.8097	0.9997	0.9828
0.2209	3.1222	7000	0.2930	0.4447	0.1574	0.6989	0.2197	0.0982	0.8410	0.3013	0.0484	0.8251	0.6254	0.1378	0.6184	0.4821	0.1059	0.7060	0.3969	0.1014	0.7509	0.5613	0.1027	0.6680	0.3800	0.1063	0.7568	0.2883	0.0929	0.8094	1.0	0.9836
0.2111	3.3452	7500	0.2766	0.4380	0.1562	0.7029	0.2190	0.0998	0.8406	0.2954	0.0474	0.8286	0.6243	0.1356	0.6201	0.4792	0.1047	0.7081	0.3984	0.1017	0.7500	0.5646	0.1037	0.6658	0.3790	0.1064	0.7573	0.2879	0.0933	0.8094	0.9995	0.9839
0.1920	3.5682	8000	0.2799	0.4356	0.1523	0.7060	0.2188	0.0984	0.8414	0.2873	0.0470	0.8328	0.6180	0.1341	0.6240	0.4652	0.1010	0.7169	0.3914	0.1008	0.7539	0.5619	0.1032	0.6674	0.3748	0.1048	0.7602	0.2856	0.0924	0.8110	1.0	0.9821
0.2152	3.7913	8500	0.2797	0.4457	0.1536	0.7003	0.2138	0.0996	0.8433	0.2811	0.0458	0.8365	0.6125	0.1312	0.6281	0.4660	0.1005	0.7167	0.3971	0.1019	0.7505	0.5578	0.1018	0.6702	0.3737	0.1049	0.7607	0.2836	0.0928	0.8118	1.0	0.9834
0.2041	4.0143	9000	0.2674	0.4302	0.1521	0.7088	0.2124	0.0954	0.8461	0.2873	0.0464	0.8331	0.6067	0.1296	0.6318	0.4617	0.0985	0.7199	0.4010	0.1009	0.7490	0.5565	0.1025	0.6705	0.3717	0.1030	0.7627	0.2808	0.0902	0.8145	1.0	0.9839
0.1806	4.2373	9500	0.2757	0.4134	0.1482	0.7192	0.2118	0.0958	0.8462	0.2857	0.0473	0.8335	0.6018	0.1296	0.6343	0.4509	0.0982	0.7254	0.3914	0.0992	0.7547	0.5486	0.1003	0.6756	0.3658	0.1023	0.7660	0.2755	0.0895	0.8175	1.0	0.9857
0.2057	4.4603	10000	0.2753	0.4376	0.1533	0.7045	0.2142	0.0961	0.8448	0.2830	0.0465	0.8353	0.5953	0.1284	0.6381	0.4545	0.0985	0.7235	0.3917	0.0999	0.7542	0.5528	0.1000	0.6736	0.3687	0.1026	0.7643	0.2784	0.0898	0.8159	1.0	0.9857
0.1922	4.6833	10500	0.2687	0.4170	0.1497	0.7166	0.2143	0.0984	0.8437	0.2836	0.0458	0.8353	0.6038	0.1302	0.6330	0.4464	0.0976	0.7280	0.3946	0.1000	0.7527	0.5474	0.1001	0.6762	0.3672	0.1032	0.7648	0.2765	0.0902	0.8166	0.9995	0.9836
0.1840	4.9063	11000	0.2713	0.4081	0.1450	0.7235	0.2132	0.0988	0.8440	0.2882	0.0464	0.8327	0.6010	0.1286	0.6352	0.4495	0.0982	0.7261	0.3922	0.1005	0.7536	0.5545	0.1008	0.6723	0.3664	0.1031	0.7652	0.2751	0.0904	0.8173	1.0	0.9721
0.1683	5.1293	11500	0.2694	0.4387	0.1618	0.6997	0.2148	0.0956	0.8448	0.2889	0.0470	0.8320	0.5958	0.1291	0.6375	0.4491	0.0968	0.7271	0.3971	0.0999	0.7515	0.5491	0.1003	0.6753	0.3696	0.1030	0.7637	0.2790	0.0902	0.8154	0.9997	0.9854
0.1923	5.3524	12000	0.2772	0.4179	0.1558	0.7132	0.2119	0.0972	0.8455	0.2807	0.0464	0.8365	0.5973	0.1286	0.6371	0.4423	0.0964	0.7306	0.3923	0.1003	0.7537	0.5477	0.0985	0.6769	0.3647	0.1029	0.7662	0.2748	0.0903	0.8174	0.9997	0.9816
0.1644	5.5754	12500	0.2782	0.4111	0.1490	0.7199	0.2120	0.0954	0.8463	0.2836	0.0458	0.8353	0.5948	0.1281	0.6385	0.4365	0.0953	0.7341	0.3882	0.0989	0.7564	0.5471	0.1002	0.6763	0.3627	0.1015	0.7679	0.2711	0.0884	0.8202	0.9997	0.9831
0.1724	5.7984	13000	0.2698	0.4133	0.1536	0.7165	0.2113	0.0953	0.8467	0.2862	0.0467	0.8336	0.5926	0.1270	0.6402	0.4426	0.0952	0.7311	0.3896	0.0991	0.7556	0.5473	0.0999	0.6764	0.3633	0.1017	0.7675	0.2729	0.0889	0.8191	0.9997	0.9813
0.1533	6.0214	13500	0.2705	0.4042	0.1477	0.7240	0.2082	0.0937	0.8491	0.2802	0.0438	0.8380	0.5855	0.1256	0.6445	0.4367	0.0954	0.7340	0.3892	0.0985	0.7561	0.5572	0.1004	0.6712	0.3604	0.1004	0.7696	0.2708	0.0875	0.8209	1.0	0.9864
0.1437	6.2444	14000	0.2776	0.4050	0.1491	0.7229	0.2112	0.0950	0.8469	0.2747	0.0443	0.8405	0.5918	0.1256	0.6413	0.4361	0.0947	0.7346	0.3884	0.0994	0.7561	0.5502	0.0989	0.6755	0.3612	0.1009	0.7689	0.2702	0.0881	0.8209	1.0	0.9864
0.1402	6.4674	14500	0.2754	0.4033	0.1479	0.7244	0.2102	0.0947	0.8475	0.2887	0.0452	0.8330	0.5877	0.1246	0.6439	0.4369	0.0957	0.7337	0.3961	0.0989	0.7525	0.5575	0.1015	0.6705	0.3632	0.1009	0.7679	0.2714	0.0877	0.8204	1.0	0.9862
0.1655	6.6905	15000	0.2743	0.4081	0.1534	0.7193	0.2156	0.0958	0.8443	0.2765	0.0442	0.8397	0.5895	0.1246	0.6429	0.4355	0.0938	0.7353	0.3872	0.0992	0.7568	0.5596	0.1008	0.6698	0.3634	0.1013	0.7676	0.2713	0.0882	0.8203	1.0	0.9846
0.1409	6.9135	15500	0.2713	0.4113	0.1544	0.7171	0.2086	0.0951	0.8481	0.2692	0.0433	0.8437	0.5825	0.1239	0.6468	0.4379	0.0959	0.7331	0.3860	0.0988	0.7576	0.5452	0.0979	0.6784	0.3587	0.1009	0.7702	0.2676	0.0878	0.8223	1.0	0.9864
0.1239	7.1365	16000	0.2756	0.4082	0.1521	0.7198	0.2139	0.0954	0.8453	0.2777	0.0443	0.8390	0.5840	0.1252	0.6454	0.4386	0.0949	0.7332	0.3890	0.0990	0.7560	0.5546	0.1002	0.6726	0.3625	0.1012	0.7682	0.2693	0.0878	0.8215	1.0	0.9864
0.1296	7.3595	16500	0.2802	0.4045	0.1461	0.7247	0.2101	0.0942	0.8478	0.2754	0.0444	0.8401	0.5798	0.1239	0.6482	0.4328	0.0931	0.7370	0.3916	0.0978	0.7553	0.5530	0.1006	0.6732	0.3600	0.0999	0.7701	0.2687	0.0866	0.8224	1.0	0.9854
0.1391	7.5825	17000	0.2734	0.4050	0.1501	0.7224	0.2175	0.0969	0.8428	0.2774	0.0438	0.8394	0.5771	0.1218	0.6506	0.4344	0.0937	0.7360	0.3869	0.0983	0.7574	0.5601	0.0994	0.6702	0.3623	0.1007	0.7685	0.2677	0.0874	0.8225	1.0	0.9821
0.1337	7.8055	17500	0.2797	0.4015	0.1551	0.7217	0.2093	0.0944	0.8482	0.2800	0.0448	0.8376	0.5746	0.1216	0.6519	0.4398	0.0944	0.7329	0.3830	0.0976	0.7597	0.5559	0.1001	0.6720	0.3582	0.1002	0.7708	0.2660	0.0872	0.8234	1.0	0.9854
0.0999	8.0285	18000	0.2870	0.3978	0.1479	0.7271	0.2115	0.0940	0.8473	0.2823	0.0445	0.8366	0.5765	0.1219	0.6508	0.4323	0.0929	0.7374	0.3889	0.0973	0.7569	0.5539	0.1007	0.6727	0.3593	0.0995	0.7706	0.2665	0.0865	0.8235	1.0	0.9849
0.1136	8.2516	18500	0.2861	0.4026	0.1524	0.7225	0.2110	0.0941	0.8475	0.2763	0.0436	0.8400	0.5782	0.1238	0.6490	0.4355	0.0938	0.7353	0.3817	0.0975	0.7604	0.5591	0.1004	0.6702	0.3588	0.1001	0.7705	0.2668	0.0868	0.8232	1.0	0.9859
0.1202	8.4746	19000	0.2861	0.3964	0.1469	0.7284	0.2118	0.0942	0.8470	0.2795	0.0435	0.8385	0.5765	0.1213	0.6511	0.4345	0.0930	0.7362	0.3834	0.0973	0.7596	0.5639	0.1016	0.6672	0.3591	0.0995	0.7707	0.2660	0.0863	0.8239	1.0	0.9851
0.1210	8.6976	19500	0.2865	0.4115	0.1606	0.7139	0.2095	0.0939	0.8483	0.2749	0.0433	0.8409	0.5740	0.1212	0.6524	0.4317	0.0926	0.7378	0.3836	0.0977	0.7593	0.5525	0.0998	0.6739	0.3580	0.1001	0.7709	0.2656	0.0869	0.8238	1.0	0.9846
0.1090	8.9206	20000	0.2848	0.3952	0.1487	0.7281	0.2093	0.0933	0.8487	0.2719	0.0433	0.8424	0.5749	0.1213	0.6519	0.4358	0.0936	0.7353	0.3847	0.0972	0.7591	0.5568	0.1001	0.6715	0.3572	0.0992	0.7718	0.2644	0.0859	0.8248	1.0	0.9854
0.1172	9.1436	20500	0.2922	0.3942	0.1477	0.7290	0.2104	0.0934	0.8481	0.2772	0.0439	0.8395	0.5787	0.1213	0.6500	0.4375	0.0936	0.7344	0.3861	0.0978	0.7581	0.5645	0.1026	0.6664	0.3594	0.0996	0.7705	0.2663	0.0865	0.8236	1.0	0.9849
0.1131	9.3666	21000	0.2938	0.3938	0.1485	0.7289	0.2109	0.0937	0.8477	0.2781	0.0438	0.8390	0.5778	0.1220	0.6501	0.4379	0.0939	0.7341	0.3818	0.0972	0.7605	0.5617	0.1020	0.6681	0.3584	0.0997	0.7710	0.2651	0.0863	0.8243	1.0	0.9846
0.0990	9.5897	21500	0.2913	0.4023	0.1503	0.7237	0.2100	0.0932	0.8484	0.2758	0.0438	0.8402	0.5796	0.1218	0.6493	0.4333	0.0931	0.7368	0.3855	0.0977	0.7584	0.5622	0.1015	0.6682	0.3593	0.0996	0.7705	0.2660	0.0862	0.8239	1.0	0.9857
0.0980	9.8127	22000	0.2921	0.3968	0.1488	0.7272	0.2105	0.0938	0.8478	0.2735	0.0437	0.8414	0.5785	0.1220	0.6497	0.4334	0.0931	0.7367	0.3836	0.0976	0.7594	0.5619	0.1012	0.6685	0.3584	0.0996	0.7710	0.2653	0.0862	0.8243	1.0	0.9854
0.1001	10.0	22420	0.2946	0.3978	0.1490	0.7266	0.2111	0.0937	0.8476	0.2779	0.0440	0.8390	0.5779	0.1214	0.6504	0.4323	0.0928	0.7375	0.3840	0.0976	0.7592	0.5612	0.1014	0.6687	0.3588	0.0995	0.7709	0.2651	0.0861	0.8244	1.0	0.9854

Framework versions

• Transformers 5.14.1
• Pytorch 2.11.0+cu128
• Datasets 3.6.0
• Tokenizers 0.22.2