arabert_cross_relevance_task5_fold0

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2622
• Qwk: 0.1283
• Mse: 0.2622

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1333	2	0.4161	0.0028	0.4160
No log	0.2667	4	0.3774	0.0409	0.3772
No log	0.4	6	0.3195	0.0376	0.3194
No log	0.5333	8	0.3532	0.0623	0.3530
No log	0.6667	10	0.3030	0.0611	0.3030
No log	0.8	12	0.2649	0.0787	0.2649
No log	0.9333	14	0.2826	0.0885	0.2828
No log	1.0667	16	0.2985	0.0923	0.2988
No log	1.2	18	0.2796	0.1040	0.2799
No log	1.3333	20	0.2595	0.0929	0.2597
No log	1.4667	22	0.2462	0.0852	0.2464
No log	1.6	24	0.2480	0.0852	0.2481
No log	1.7333	26	0.2542	0.0890	0.2544
No log	1.8667	28	0.2586	0.0997	0.2588
No log	2.0	30	0.2670	0.1014	0.2673
No log	2.1333	32	0.2648	0.1105	0.2650
No log	2.2667	34	0.2632	0.1459	0.2634
No log	2.4	36	0.2674	0.1834	0.2676
No log	2.5333	38	0.2628	0.1703	0.2629
No log	2.6667	40	0.2527	0.1229	0.2528
No log	2.8	42	0.2484	0.1022	0.2484
No log	2.9333	44	0.2561	0.0997	0.2562
No log	3.0667	46	0.2688	0.0846	0.2689
No log	3.2	48	0.2566	0.1007	0.2567
No log	3.3333	50	0.2524	0.0965	0.2525
No log	3.4667	52	0.2583	0.0935	0.2584
No log	3.6	54	0.2587	0.1253	0.2588
No log	3.7333	56	0.2574	0.1401	0.2575
No log	3.8667	58	0.2677	0.1075	0.2678
No log	4.0	60	0.2736	0.0953	0.2736
No log	4.1333	62	0.2558	0.1301	0.2559
No log	4.2667	64	0.2518	0.1067	0.2519
No log	4.4	66	0.2551	0.1166	0.2552
No log	4.5333	68	0.2520	0.1067	0.2521
No log	4.6667	70	0.2540	0.0866	0.2541
No log	4.8	72	0.2633	0.1021	0.2635
No log	4.9333	74	0.2704	0.0902	0.2705
No log	5.0667	76	0.2725	0.0963	0.2727
No log	5.2	78	0.2693	0.1081	0.2694
No log	5.3333	80	0.2662	0.1004	0.2663
No log	5.4667	82	0.2608	0.1055	0.2609
No log	5.6	84	0.2559	0.1013	0.2560
No log	5.7333	86	0.2577	0.1078	0.2578
No log	5.8667	88	0.2608	0.1146	0.2608
No log	6.0	90	0.2533	0.1144	0.2533
No log	6.1333	92	0.2490	0.1142	0.2491
No log	6.2667	94	0.2520	0.0942	0.2521
No log	6.4	96	0.2592	0.1080	0.2593
No log	6.5333	98	0.2666	0.1319	0.2667
No log	6.6667	100	0.2668	0.1521	0.2668
No log	6.8	102	0.2667	0.1560	0.2667
No log	6.9333	104	0.2680	0.1450	0.2681
No log	7.0667	106	0.2684	0.1482	0.2685
No log	7.2	108	0.2672	0.1529	0.2672
No log	7.3333	110	0.2659	0.1721	0.2660
No log	7.4667	112	0.2665	0.1614	0.2665
No log	7.6	114	0.2656	0.1651	0.2656
No log	7.7333	116	0.2636	0.1577	0.2637
No log	7.8667	118	0.2610	0.1613	0.2610
No log	8.0	120	0.2581	0.1575	0.2581
No log	8.1333	122	0.2559	0.1289	0.2559
No log	8.2667	124	0.2559	0.1070	0.2559
No log	8.4	126	0.2569	0.1026	0.2569
No log	8.5333	128	0.2575	0.1056	0.2575
No log	8.6667	130	0.2582	0.1274	0.2582
No log	8.8	132	0.2585	0.1272	0.2585
No log	8.9333	134	0.2596	0.1306	0.2595
No log	9.0667	136	0.2600	0.1101	0.2600
No log	9.2	138	0.2608	0.1101	0.2607
No log	9.3333	140	0.2612	0.1342	0.2612
No log	9.4667	142	0.2617	0.1137	0.2617
No log	9.6	144	0.2619	0.1283	0.2619
No log	9.7333	146	0.2620	0.1414	0.2620
No log	9.8667	148	0.2621	0.1414	0.2621
No log	10.0	150	0.2622	0.1283	0.2622

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1