w2vbert-luganda-waxal

This model is a fine-tuned version of sulaimank/w2v-bert-2.0-lg-CV-Fleurs-300 on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1126
• Wer: 0.1278
• Cer: 0.0285
• Zindi: 0.9219

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 64
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 60.0

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer	Zindi
0.2041	0.1116	500	0.1647	0.1696	0.0387	0.8958
0.2117	0.2233	1000	0.1667	0.1687	0.0407	0.8953
0.2281	0.3349	1500	0.1568	0.1708	0.0410	0.8941
0.2158	0.4466	2000	0.1530	0.1697	0.0370	0.8966
0.2199	0.5582	2500	0.1358	0.1515	0.0337	0.9074
0.2099	0.6699	3000	0.1419	0.1677	0.0370	0.8976
0.2347	0.7815	3500	0.1400	0.1505	0.0337	0.9079
0.2444	0.8932	4000	0.1436	0.1570	0.0358	0.9036
0.2041	1.0047	4500	0.1294	0.1497	0.0330	0.9087
0.1984	1.1163	5000	0.1346	0.1461	0.0324	0.9108
0.1860	1.2280	5500	0.1340	0.1488	0.0336	0.9088
0.1821	1.3396	6000	0.1289	0.1421	0.0318	0.9130
0.2105	1.4513	6500	0.1321	0.1494	0.0330	0.9088
0.1951	1.5629	7000	0.1290	0.1441	0.0326	0.9116
0.1906	1.6746	7500	0.1339	0.1450	0.0328	0.9111
0.1824	1.7862	8000	0.1285	0.1401	0.0323	0.9138
0.2062	1.8978	8500	0.1271	0.1387	0.0326	0.9144
0.1450	2.0094	9000	0.1205	0.1362	0.0304	0.9167
0.1598	2.1210	9500	0.1225	0.1377	0.0312	0.9155
0.1942	2.2327	10000	0.1201	0.1386	0.0307	0.9154
0.1446	2.3443	10500	0.1236	0.1377	0.0314	0.9155
0.1635	2.4560	11000	0.1154	0.1329	0.0297	0.9187
0.1630	2.5676	11500	0.1194	0.1350	0.0296	0.9177
0.1805	2.6792	12000	0.1215	0.1412	0.0319	0.9134
0.1561	2.7909	12500	0.1155	0.1313	0.0292	0.9198
0.1740	2.9025	13000	0.1202	0.1244	0.0288	0.9234
0.1348	3.0141	13500	0.1191	0.1286	0.0291	0.9212
0.1291	3.1257	14000	0.1207	0.1325	0.0294	0.9191
0.1252	3.2374	14500	0.1174	0.1332	0.0297	0.9186
0.1305	3.3490	15000	0.1167	0.1353	0.0298	0.9175
0.1363	3.4606	15500	0.1163	0.1314	0.0290	0.9198
0.1415	3.5723	16000	0.1145	0.1314	0.0296	0.9195
0.1504	3.6839	16500	0.1141	0.1267	0.0283	0.9225
0.1669	3.7956	17000	0.1142	0.1276	0.0285	0.9220
0.1493	3.9072	17500	0.1126	0.1233	0.0275	0.9246
0.1197	4.0188	18000	0.1134	0.1241	0.0279	0.9240
0.1110	4.1304	18500	0.1123	0.1290	0.0287	0.9212
0.1084	4.2420	19000	0.1131	0.1211	0.0273	0.9258
0.1197	4.3537	19500	0.1114	0.1230	0.0278	0.9246
0.1393	4.4653	20000	0.1151	0.1302	0.0293	0.9203
0.1318	4.5770	20500	0.1111	0.1207	0.0275	0.9259
0.1325	4.6886	21000	0.1100	0.1231	0.0271	0.9249
0.1249	4.8003	21500	0.1137	0.1210	0.0269	0.9260
0.1406	4.9119	22000	0.1117	0.1252	0.0283	0.9232
0.0883	5.0234	22500	0.1093	0.1181	0.0271	0.9274
0.1049	5.1351	23000	0.1107	0.1212	0.0270	0.9259
0.0997	5.2467	23500	0.1123	0.1277	0.0286	0.9218
0.1148	5.3584	24000	0.1147	0.1325	0.0306	0.9184
0.1053	5.4700	24500	0.1090	0.1223	0.0275	0.9251
0.1019	5.5817	25000	0.1127	0.1259	0.0284	0.9228
0.1110	5.6933	25500	0.1100	0.1184	0.0271	0.9272
0.0972	5.8050	26000	0.1059	0.1203	0.0269	0.9264
0.1204	5.9166	26500	0.1152	0.1260	0.0280	0.9230
0.0748	6.0281	27000	0.1088	0.1219	0.0272	0.9254
0.0747	6.1398	27500	0.1126	0.1278	0.0285	0.9219

Framework versions

• Transformers 5.13.0
• Pytorch 2.12.1+cu130
• Datasets 3.6.0
• Tokenizers 0.22.2