t5-small_stereoset_finetuned

This model is a fine-tuned version of t5-small on the stereoset dataset. It achieves the following results on the evaluation set:

• Loss: 0.3572
• Accuracy: 0.5181
• Tp: 0.5008
• Tn: 0.0173
• Fp: 0.4819
• Fn: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Tp	Tn	Fp	Fn
6.2515	0.43	20	5.1550	0.6507	0.4992	0.1515	0.3477	0.0016
3.3425	0.85	40	1.9895	0.8414	0.4451	0.3964	0.1028	0.0557
1.0076	1.28	60	0.5623	0.5110	0.5	0.0110	0.4882	0.0008
0.522	1.7	80	0.3896	0.5008	0.5008	0.0	0.4992	0.0
0.4541	2.13	100	0.3777	0.5008	0.5008	0.0	0.4992	0.0
0.4494	2.55	120	0.3694	0.5008	0.5008	0.0	0.4992	0.0
0.3915	2.98	140	0.3468	0.5008	0.5008	0.0	0.4992	0.0
0.3956	3.4	160	0.3510	0.5008	0.5008	0.0	0.4992	0.0
0.395	3.83	180	0.3403	0.5008	0.5008	0.0	0.4992	0.0
0.4005	4.26	200	0.3357	0.5008	0.5008	0.0	0.4992	0.0
0.3764	4.68	220	0.3367	0.5008	0.5008	0.0	0.4992	0.0
0.3798	5.11	240	0.3321	0.5008	0.5008	0.0	0.4992	0.0
0.3546	5.53	260	0.3452	0.5008	0.5008	0.0	0.4992	0.0
0.3716	5.96	280	0.3257	0.5008	0.5008	0.0	0.4992	0.0
0.3598	6.38	300	0.3255	0.5008	0.5008	0.0	0.4992	0.0
0.366	6.81	320	0.3400	0.5008	0.5008	0.0	0.4992	0.0
0.3537	7.23	340	0.3239	0.5008	0.5008	0.0	0.4992	0.0
0.3395	7.66	360	0.3238	0.5008	0.5008	0.0	0.4992	0.0
0.338	8.09	380	0.3323	0.5008	0.5008	0.0	0.4992	0.0
0.3402	8.51	400	0.3193	0.5008	0.5008	0.0	0.4992	0.0
0.3421	8.94	420	0.3188	0.5008	0.5008	0.0	0.4992	0.0
0.318	9.36	440	0.3173	0.5008	0.5008	0.0	0.4992	0.0
0.3532	9.79	460	0.3164	0.5008	0.5008	0.0	0.4992	0.0
0.3333	10.21	480	0.3175	0.5008	0.5008	0.0	0.4992	0.0
0.3187	10.64	500	0.3157	0.5008	0.5008	0.0	0.4992	0.0
0.3004	11.06	520	0.3108	0.5008	0.5008	0.0	0.4992	0.0
0.3257	11.49	540	0.3094	0.5008	0.5008	0.0	0.4992	0.0
0.3342	11.91	560	0.3125	0.5008	0.5008	0.0	0.4992	0.0
0.3084	12.34	580	0.3141	0.5008	0.5008	0.0	0.4992	0.0
0.3134	12.77	600	0.3076	0.5008	0.5008	0.0	0.4992	0.0
0.3081	13.19	620	0.3059	0.5008	0.5008	0.0	0.4992	0.0
0.3017	13.62	640	0.3098	0.5008	0.5008	0.0	0.4992	0.0
0.2924	14.04	660	0.3046	0.5008	0.5008	0.0	0.4992	0.0
0.3109	14.47	680	0.3054	0.5008	0.5008	0.0	0.4992	0.0
0.287	14.89	700	0.3061	0.5008	0.5008	0.0	0.4992	0.0
0.2783	15.32	720	0.3051	0.5008	0.5008	0.0	0.4992	0.0
0.2938	15.74	740	0.3037	0.5031	0.5008	0.0024	0.4969	0.0
0.2788	16.17	760	0.3057	0.5024	0.5008	0.0016	0.4976	0.0
0.2872	16.6	780	0.3100	0.5016	0.5008	0.0008	0.4984	0.0
0.2794	17.02	800	0.3055	0.5031	0.5008	0.0024	0.4969	0.0
0.2847	17.45	820	0.3047	0.5055	0.5008	0.0047	0.4945	0.0
0.2644	17.87	840	0.3067	0.5024	0.5008	0.0016	0.4976	0.0
0.2558	18.3	860	0.3062	0.5063	0.5008	0.0055	0.4937	0.0
0.2867	18.72	880	0.3160	0.5024	0.5008	0.0016	0.4976	0.0
0.2864	19.15	900	0.3067	0.5071	0.5008	0.0063	0.4929	0.0
0.2645	19.57	920	0.3211	0.5024	0.5008	0.0016	0.4976	0.0
0.2606	20.0	940	0.3067	0.5094	0.5008	0.0086	0.4906	0.0
0.2694	20.43	960	0.3125	0.5055	0.5008	0.0047	0.4945	0.0
0.2634	20.85	980	0.3072	0.5086	0.5008	0.0078	0.4914	0.0
0.2519	21.28	1000	0.3088	0.5086	0.5008	0.0078	0.4914	0.0
0.2537	21.7	1020	0.3136	0.5071	0.5008	0.0063	0.4929	0.0
0.2536	22.13	1040	0.3089	0.5133	0.5008	0.0126	0.4867	0.0
0.2488	22.55	1060	0.3108	0.5110	0.5008	0.0102	0.4890	0.0
0.2558	22.98	1080	0.3157	0.5071	0.5008	0.0063	0.4929	0.0
0.2626	23.4	1100	0.3104	0.5133	0.5008	0.0126	0.4867	0.0
0.2424	23.83	1120	0.3130	0.5133	0.5008	0.0126	0.4867	0.0
0.2496	24.26	1140	0.3139	0.5133	0.5008	0.0126	0.4867	0.0
0.2451	24.68	1160	0.3160	0.5133	0.5008	0.0126	0.4867	0.0
0.2399	25.11	1180	0.3148	0.5141	0.5008	0.0133	0.4859	0.0
0.236	25.53	1200	0.3163	0.5141	0.5008	0.0133	0.4859	0.0
0.2561	25.96	1220	0.3208	0.5118	0.5008	0.0110	0.4882	0.0
0.2425	26.38	1240	0.3161	0.5149	0.5008	0.0141	0.4851	0.0
0.2376	26.81	1260	0.3173	0.5133	0.5008	0.0126	0.4867	0.0
0.246	27.23	1280	0.3174	0.5149	0.5008	0.0141	0.4851	0.0
0.2256	27.66	1300	0.3186	0.5149	0.5008	0.0141	0.4851	0.0
0.2316	28.09	1320	0.3177	0.5149	0.5008	0.0141	0.4851	0.0
0.2406	28.51	1340	0.3197	0.5157	0.5008	0.0149	0.4843	0.0
0.218	28.94	1360	0.3227	0.5133	0.5008	0.0126	0.4867	0.0
0.2103	29.36	1380	0.3228	0.5141	0.5008	0.0133	0.4859	0.0
0.2161	29.79	1400	0.3244	0.5133	0.5008	0.0126	0.4867	0.0
0.2172	30.21	1420	0.3246	0.5141	0.5008	0.0133	0.4859	0.0
0.2119	30.64	1440	0.3256	0.5141	0.5008	0.0133	0.4859	0.0
0.2202	31.06	1460	0.3261	0.5181	0.5008	0.0173	0.4819	0.0
0.2244	31.49	1480	0.3297	0.5141	0.5008	0.0133	0.4859	0.0
0.2123	31.91	1500	0.3285	0.5165	0.5008	0.0157	0.4835	0.0
0.1914	32.34	1520	0.3308	0.5149	0.5008	0.0141	0.4851	0.0
0.2338	32.77	1540	0.3311	0.5173	0.5008	0.0165	0.4827	0.0
0.2206	33.19	1560	0.3317	0.5173	0.5008	0.0165	0.4827	0.0
0.2278	33.62	1580	0.3340	0.5149	0.5008	0.0141	0.4851	0.0
0.1982	34.04	1600	0.3343	0.5181	0.5008	0.0173	0.4819	0.0
0.2154	34.47	1620	0.3354	0.5141	0.5008	0.0133	0.4859	0.0
0.1901	34.89	1640	0.3372	0.5149	0.5008	0.0141	0.4851	0.0
0.2087	35.32	1660	0.3396	0.5149	0.5008	0.0141	0.4851	0.0
0.1931	35.74	1680	0.3401	0.5173	0.5008	0.0165	0.4827	0.0
0.1995	36.17	1700	0.3411	0.5235	0.5008	0.0228	0.4765	0.0
0.2226	36.6	1720	0.3413	0.5181	0.5008	0.0173	0.4819	0.0
0.216	37.02	1740	0.3443	0.5141	0.5008	0.0133	0.4859	0.0
0.1911	37.45	1760	0.3434	0.5141	0.5008	0.0133	0.4859	0.0
0.2138	37.87	1780	0.3435	0.5173	0.5008	0.0165	0.4827	0.0
0.1918	38.3	1800	0.3449	0.5149	0.5008	0.0141	0.4851	0.0
0.2021	38.72	1820	0.3462	0.5149	0.5008	0.0141	0.4851	0.0
0.2046	39.15	1840	0.3454	0.5149	0.5008	0.0141	0.4851	0.0
0.2084	39.57	1860	0.3460	0.5149	0.5008	0.0141	0.4851	0.0
0.1834	40.0	1880	0.3462	0.5149	0.5008	0.0141	0.4851	0.0
0.19	40.43	1900	0.3479	0.5149	0.5008	0.0141	0.4851	0.0
0.1877	40.85	1920	0.3479	0.5149	0.5008	0.0141	0.4851	0.0
0.2152	41.28	1940	0.3480	0.5212	0.5008	0.0204	0.4788	0.0
0.1795	41.7	1960	0.3487	0.5157	0.5008	0.0149	0.4843	0.0
0.1804	42.13	1980	0.3502	0.5149	0.5008	0.0141	0.4851	0.0
0.1748	42.55	2000	0.3520	0.5149	0.5008	0.0141	0.4851	0.0
0.177	42.98	2020	0.3518	0.5181	0.5008	0.0173	0.4819	0.0
0.179	43.4	2040	0.3529	0.5204	0.5008	0.0196	0.4796	0.0
0.1895	43.83	2060	0.3538	0.5204	0.5008	0.0196	0.4796	0.0
0.1867	44.26	2080	0.3539	0.5196	0.5008	0.0188	0.4804	0.0
0.2155	44.68	2100	0.3546	0.5165	0.5008	0.0157	0.4835	0.0
0.1783	45.11	2120	0.3550	0.5181	0.5008	0.0173	0.4819	0.0
0.1969	45.53	2140	0.3560	0.5157	0.5008	0.0149	0.4843	0.0
0.1826	45.96	2160	0.3564	0.5149	0.5008	0.0141	0.4851	0.0
0.1957	46.38	2180	0.3571	0.5149	0.5008	0.0141	0.4851	0.0
0.1864	46.81	2200	0.3568	0.5157	0.5008	0.0149	0.4843	0.0
0.1889	47.23	2220	0.3564	0.5196	0.5008	0.0188	0.4804	0.0
0.1837	47.66	2240	0.3569	0.5165	0.5008	0.0157	0.4835	0.0
0.1713	48.09	2260	0.3568	0.5196	0.5008	0.0188	0.4804	0.0
0.1997	48.51	2280	0.3570	0.5188	0.5008	0.0181	0.4812	0.0
0.1844	48.94	2300	0.3570	0.5188	0.5008	0.0181	0.4812	0.0
0.1854	49.36	2320	0.3571	0.5181	0.5008	0.0173	0.4819	0.0
0.1897	49.79	2340	0.3572	0.5181	0.5008	0.0173	0.4819	0.0

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1
• Datasets 2.10.1
• Tokenizers 0.13.2