syafiqfaray/byt5-small-indocollex-informal-to-formal

byt5-finetuned-indocollex-informal-to-formal

This model is a fine-tuned version of google/byt5-small on IndoCollex dataset on informal-formal transformation.

It achieves the following results on the evaluation set:

• Loss: 0.2186
• CER: 0.2292
• WER: 0.6667
• Word Accuracy: 0.3333
• Gen Len: 7.4857

On test set, it achieves following results :

• CER: 0.2655
• WER: 0.666
• Word Accuracy: 0.333

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Cer	Wer	Word Acc	Gen Len
No log	1.0	47	45.4518	2.1817	2.0286	-1.0286	19.0
No log	2.0	94	34.7405	2.2267	2.5619	-1.5619	19.0
No log	3.0	141	26.0483	2.2895	4.5857	-3.5857	19.0
No log	4.0	188	17.2640	2.399	1.3667	-0.3667	19.0
No log	5.0	235	7.8648	2.4949	1.0	0.0	19.0
No log	6.0	282	5.4635	2.4143	1.0	0.0	19.0
No log	7.0	329	4.8432	1.253	1.0	0.0	8.8743
No log	8.0	376	4.1049	1.0	1.0	0.0	0.0
No log	9.0	423	3.1453	0.848	1.0	0.0	7.3371
No log	10.0	470	2.6065	0.8778	0.9905	0.0095	7.3486
19.2068	11.0	517	1.6326	0.9677	1.0	0.0	9.5143
19.2068	12.0	564	0.9833	0.7538	0.9905	0.0095	8.4571
19.2068	13.0	611	0.6980	0.6562	0.981	0.019	7.5543
19.2068	14.0	658	0.5709	0.5679	0.9857	0.0143	6.9714
19.2068	15.0	705	0.4965	0.4567	0.9571	0.0429	6.7886
19.2068	16.0	752	0.4470	0.3413	0.9381	0.0619	6.84
19.2068	17.0	799	0.4211	0.3175	0.9238	0.0762	6.8514
19.2068	18.0	846	0.4036	0.3124	0.9	0.1	6.6914
19.2068	19.0	893	0.3738	0.3031	0.9048	0.0952	6.9429
19.2068	20.0	940	0.3604	0.309	0.8857	0.1143	6.9086
19.2068	21.0	987	0.3489	0.3022	0.881	0.119	7.0171
0.8827	22.0	1034	0.3320	0.2869	0.8333	0.1667	6.9771
0.8827	23.0	1081	0.3238	0.2861	0.8238	0.1762	6.9257
0.8827	24.0	1128	0.3163	0.2666	0.8143	0.1857	7.2686
0.8827	25.0	1175	0.3139	0.2733	0.8095	0.1905	7.2914
0.8827	26.0	1222	0.3029	0.2716	0.8	0.2	7.36
0.8827	27.0	1269	0.2941	0.2666	0.7905	0.2095	7.2971
0.8827	28.0	1316	0.2905	0.2666	0.7857	0.2143	7.2914
0.8827	29.0	1363	0.2835	0.2615	0.7857	0.2143	7.2686
0.8827	30.0	1410	0.2829	0.2733	0.781	0.219	7.44
0.8827	31.0	1457	0.2762	0.2598	0.7714	0.2286	7.3714
0.3372	32.0	1504	0.2746	0.2725	0.7857	0.2143	7.4571
0.3372	33.0	1551	0.2728	0.2666	0.7714	0.2286	7.4457
0.3372	34.0	1598	0.2650	0.2572	0.7619	0.2381	7.3886
0.3372	35.0	1645	0.2618	0.2708	0.7762	0.2238	7.44
0.3372	36.0	1692	0.2579	0.2572	0.7619	0.2381	7.3771
0.3372	37.0	1739	0.2563	0.2496	0.7524	0.2476	7.3371
0.3372	38.0	1786	0.2530	0.247	0.7571	0.2429	7.3543
0.3372	39.0	1833	0.2531	0.2504	0.7667	0.2333	7.3657
0.3372	40.0	1880	0.2521	0.2453	0.7476	0.2524	7.3143
0.3372	41.0	1927	0.2496	0.2419	0.7333	0.2667	7.2914
0.3372	42.0	1974	0.2483	0.2411	0.7381	0.2619	7.3143
0.2747	43.0	2021	0.2446	0.2402	0.7381	0.2619	7.3429
0.2747	44.0	2068	0.2443	0.2402	0.7381	0.2619	7.32
0.2747	45.0	2115	0.2425	0.2377	0.7381	0.2619	7.3714
0.2747	46.0	2162	0.2406	0.2351	0.7429	0.2571	7.3714
0.2747	47.0	2209	0.2399	0.2402	0.7429	0.2571	7.32
0.2747	48.0	2256	0.2383	0.2402	0.7381	0.2619	7.3657
0.2747	49.0	2303	0.2363	0.2377	0.7429	0.2571	7.3257
0.2747	50.0	2350	0.2340	0.2301	0.7143	0.2857	7.3714
0.2747	51.0	2397	0.2347	0.2275	0.7143	0.2857	7.3543
0.2747	52.0	2444	0.2332	0.2275	0.7143	0.2857	7.3714
0.2747	53.0	2491	0.2309	0.2258	0.7095	0.2905	7.3657
0.2411	54.0	2538	0.2309	0.225	0.7048	0.2952	7.3714
0.2411	55.0	2585	0.2299	0.2267	0.7048	0.2952	7.3829
0.2411	56.0	2632	0.2280	0.2258	0.7048	0.2952	7.4171
0.2411	57.0	2679	0.2301	0.2233	0.6952	0.3048	7.44
0.2411	58.0	2726	0.2287	0.2207	0.6905	0.3095	7.44
0.2411	59.0	2773	0.2295	0.2216	0.7	0.3	7.4171
0.2411	60.0	2820	0.2277	0.2199	0.6952	0.3048	7.4229
0.2411	61.0	2867	0.2267	0.2233	0.6952	0.3048	7.4286
0.2411	62.0	2914	0.2260	0.2233	0.7048	0.2952	7.4343
0.2411	63.0	2961	0.2263	0.2224	0.7048	0.2952	7.4343
0.2193	64.0	3008	0.2262	0.2216	0.6952	0.3048	7.4286
0.2193	65.0	3055	0.2268	0.225	0.6952	0.3048	7.4
0.2193	66.0	3102	0.2241	0.2207	0.6952	0.3048	7.4114
0.2193	67.0	3149	0.2237	0.2233	0.7	0.3	7.4286
0.2193	68.0	3196	0.2230	0.2224	0.7	0.3	7.4229
0.2193	69.0	3243	0.2229	0.2216	0.681	0.319	7.4286
0.2193	70.0	3290	0.2225	0.2241	0.7	0.3	7.4286
0.2193	71.0	3337	0.2220	0.2241	0.6905	0.3095	7.44
0.2193	72.0	3384	0.2221	0.2241	0.6905	0.3095	7.4286
0.2193	73.0	3431	0.2214	0.2241	0.6905	0.3095	7.4171
0.2193	74.0	3478	0.2215	0.2233	0.6905	0.3095	7.4229
0.2056	75.0	3525	0.2209	0.2267	0.6905	0.3095	7.4457
0.2056	76.0	3572	0.2208	0.2258	0.6905	0.3095	7.44
0.2056	77.0	3619	0.2201	0.225	0.6905	0.3095	7.4343
0.2056	78.0	3666	0.2205	0.2258	0.6905	0.3095	7.4229
0.2056	79.0	3713	0.2209	0.225	0.6905	0.3095	7.4171
0.2056	80.0	3760	0.2203	0.2275	0.6857	0.3143	7.4571
0.2056	81.0	3807	0.2201	0.2275	0.6857	0.3143	7.4571
0.2056	82.0	3854	0.2204	0.2275	0.6857	0.3143	7.4571
0.2056	83.0	3901	0.2203	0.2267	0.6762	0.3238	7.4629
0.2056	84.0	3948	0.2199	0.2267	0.6667	0.3333	7.4743
0.2056	85.0	3995	0.2194	0.2267	0.6667	0.3333	7.48
0.196	86.0	4042	0.2193	0.2275	0.6667	0.3333	7.4743
0.196	87.0	4089	0.2189	0.2284	0.6667	0.3333	7.48
0.196	88.0	4136	0.2185	0.2275	0.6619	0.3381	7.4971
0.196	89.0	4183	0.2188	0.225	0.6619	0.3381	7.4914
0.196	90.0	4230	0.2185	0.2292	0.6667	0.3333	7.4857
0.196	91.0	4277	0.2188	0.2292	0.6667	0.3333	7.4857
0.196	92.0	4324	0.2189	0.2284	0.6667	0.3333	7.48
0.196	93.0	4371	0.2191	0.2258	0.6667	0.3333	7.4743
0.196	94.0	4418	0.2190	0.2258	0.6667	0.3333	7.4743
0.196	95.0	4465	0.2187	0.2258	0.6667	0.3333	7.4743
0.1901	96.0	4512	0.2186	0.2267	0.6667	0.3333	7.48
0.1901	97.0	4559	0.2187	0.2267	0.6667	0.3333	7.48
0.1901	98.0	4606	0.2187	0.2267	0.6667	0.3333	7.48
0.1901	99.0	4653	0.2186	0.2292	0.6667	0.3333	7.4857
0.1901	100.0	4700	0.2186	0.2292	0.6667	0.3333	7.4857

Framework versions

• Transformers 4.33.0
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.13.3