multiberts-seed_1_stereoset_classifieronly

This model is a fine-tuned version of google/multiberts-seed_1 on the stereoset dataset. It achieves the following results on the evaluation set:

• Loss: 0.6867
• Accuracy: 0.5597
• Tp: 0.3234
• Tn: 0.2363
• Fp: 0.2763
• Fn: 0.1641

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Tp	Tn	Fp	Fn
0.7062	0.43	20	0.6925	0.5220	0.2951	0.2268	0.2857	0.1923
0.6988	0.85	40	0.6985	0.5181	0.4082	0.1099	0.4027	0.0793
0.7023	1.28	60	0.6920	0.5173	0.2951	0.2221	0.2904	0.1923
0.6934	1.7	80	0.6944	0.5196	0.3422	0.1774	0.3352	0.1452
0.6983	2.13	100	0.6918	0.5204	0.3093	0.2111	0.3014	0.1782
0.7046	2.55	120	0.6922	0.5188	0.3265	0.1923	0.3203	0.1609
0.7051	2.98	140	0.6912	0.5283	0.2111	0.3171	0.1954	0.2763
0.6994	3.4	160	0.6944	0.5196	0.3540	0.1656	0.3469	0.1334
0.6914	3.83	180	0.6962	0.5212	0.3854	0.1358	0.3768	0.1020
0.7066	4.26	200	0.6907	0.5330	0.2347	0.2983	0.2143	0.2527
0.6975	4.68	220	0.6914	0.5345	0.2904	0.2441	0.2684	0.1970
0.6995	5.11	240	0.6923	0.5275	0.3289	0.1986	0.3140	0.1586
0.7011	5.53	260	0.6909	0.5377	0.2881	0.2496	0.2630	0.1994
0.6985	5.96	280	0.6924	0.5251	0.3407	0.1845	0.3281	0.1468
0.6957	6.38	300	0.6915	0.5275	0.3281	0.1994	0.3132	0.1593
0.7033	6.81	320	0.6904	0.5400	0.2889	0.2512	0.2614	0.1986
0.6989	7.23	340	0.6900	0.5392	0.2394	0.2998	0.2127	0.2480
0.6913	7.66	360	0.6906	0.5353	0.3203	0.2151	0.2975	0.1672
0.6906	8.09	380	0.6950	0.5290	0.3721	0.1570	0.3556	0.1154
0.6854	8.51	400	0.6908	0.5338	0.2873	0.2465	0.2661	0.2002
0.6888	8.94	420	0.6948	0.5290	0.3689	0.1601	0.3524	0.1185
0.7005	9.36	440	0.6935	0.5330	0.3485	0.1845	0.3281	0.1389
0.695	9.79	460	0.6899	0.5392	0.2465	0.2928	0.2198	0.2410
0.69	10.21	480	0.6916	0.5259	0.2896	0.2363	0.2763	0.1978
0.6904	10.64	500	0.6918	0.5275	0.3022	0.2253	0.2873	0.1852
0.6802	11.06	520	0.6928	0.5235	0.3155	0.2080	0.3046	0.1719
0.6986	11.49	540	0.6918	0.5275	0.3077	0.2198	0.2928	0.1797
0.697	11.91	560	0.6895	0.5408	0.2637	0.2771	0.2355	0.2237
0.6957	12.34	580	0.6916	0.5361	0.3234	0.2127	0.2998	0.1641
0.6967	12.77	600	0.6932	0.5267	0.3407	0.1860	0.3265	0.1468
0.6915	13.19	620	0.6907	0.5361	0.2818	0.2543	0.2582	0.2057
0.686	13.62	640	0.6925	0.5306	0.3328	0.1978	0.3148	0.1546
0.6972	14.04	660	0.6900	0.5385	0.2818	0.2567	0.2559	0.2057
0.687	14.47	680	0.6891	0.5385	0.2441	0.2943	0.2182	0.2433
0.7001	14.89	700	0.6885	0.5338	0.2378	0.2959	0.2166	0.2496
0.6925	15.32	720	0.6887	0.5408	0.2951	0.2457	0.2669	0.1923
0.6956	15.74	740	0.6904	0.5408	0.3414	0.1994	0.3132	0.1460
0.6825	16.17	760	0.6892	0.5345	0.2967	0.2378	0.2747	0.1907
0.6872	16.6	780	0.6889	0.5416	0.3022	0.2394	0.2732	0.1852
0.6916	17.02	800	0.6913	0.5416	0.3462	0.1954	0.3171	0.1413
0.6891	17.45	820	0.6909	0.5361	0.3336	0.2025	0.3100	0.1538
0.696	17.87	840	0.6881	0.5463	0.2630	0.2834	0.2292	0.2245
0.6926	18.3	860	0.6886	0.5432	0.2865	0.2567	0.2559	0.2009
0.6867	18.72	880	0.6889	0.5416	0.2998	0.2418	0.2708	0.1876
0.6957	19.15	900	0.6883	0.5447	0.2889	0.2559	0.2567	0.1986
0.6753	19.57	920	0.6884	0.5432	0.2983	0.2449	0.2677	0.1892
0.7012	20.0	940	0.6903	0.5416	0.3438	0.1978	0.3148	0.1436
0.6994	20.43	960	0.6883	0.5432	0.2959	0.2473	0.2653	0.1915
0.6871	20.85	980	0.6889	0.5447	0.3265	0.2182	0.2943	0.1609
0.6946	21.28	1000	0.6892	0.5479	0.3297	0.2182	0.2943	0.1578
0.6853	21.7	1020	0.6887	0.5455	0.3226	0.2229	0.2896	0.1648
0.6988	22.13	1040	0.6900	0.5455	0.3509	0.1947	0.3179	0.1366
0.6933	22.55	1060	0.6873	0.5455	0.2661	0.2794	0.2331	0.2214
0.6868	22.98	1080	0.6899	0.5432	0.3556	0.1876	0.3250	0.1319
0.6931	23.4	1100	0.6905	0.5400	0.3619	0.1782	0.3344	0.1256
0.6907	23.83	1120	0.6869	0.5502	0.2912	0.2590	0.2535	0.1962
0.6848	24.26	1140	0.6878	0.5502	0.3163	0.2339	0.2786	0.1711
0.7056	24.68	1160	0.6887	0.5487	0.3336	0.2151	0.2975	0.1538
0.6797	25.11	1180	0.6878	0.5447	0.3077	0.2370	0.2755	0.1797
0.6891	25.53	1200	0.6885	0.5463	0.3179	0.2284	0.2841	0.1695
0.6945	25.96	1220	0.6892	0.5495	0.3399	0.2096	0.3030	0.1476
0.6798	26.38	1240	0.6907	0.5440	0.3603	0.1837	0.3289	0.1272
0.7025	26.81	1260	0.6872	0.5495	0.2943	0.2551	0.2575	0.1931
0.6903	27.23	1280	0.6870	0.5424	0.2669	0.2755	0.2370	0.2206
0.6995	27.66	1300	0.6885	0.5487	0.3359	0.2127	0.2998	0.1515
0.6916	28.09	1320	0.6872	0.5495	0.3046	0.2449	0.2677	0.1829
0.695	28.51	1340	0.6866	0.5463	0.2559	0.2904	0.2221	0.2316
0.6864	28.94	1360	0.6875	0.5495	0.3226	0.2268	0.2857	0.1648
0.6932	29.36	1380	0.6870	0.5510	0.3100	0.2410	0.2716	0.1774
0.6876	29.79	1400	0.6866	0.5510	0.3022	0.2488	0.2637	0.1852
0.6923	30.21	1420	0.6878	0.5495	0.3312	0.2182	0.2943	0.1562
0.6954	30.64	1440	0.6906	0.5432	0.3681	0.1750	0.3375	0.1193
0.699	31.06	1460	0.6891	0.5502	0.3516	0.1986	0.3140	0.1358
0.6864	31.49	1480	0.6877	0.5542	0.3140	0.2402	0.2724	0.1735
0.6952	31.91	1500	0.6868	0.5518	0.2818	0.2700	0.2425	0.2057
0.6936	32.34	1520	0.6870	0.5510	0.3022	0.2488	0.2637	0.1852
0.6892	32.77	1540	0.6891	0.5463	0.3524	0.1939	0.3187	0.1350
0.6891	33.19	1560	0.6884	0.5463	0.3430	0.2033	0.3093	0.1444
0.6836	33.62	1580	0.6874	0.5534	0.3375	0.2159	0.2967	0.1499
0.6824	34.04	1600	0.6869	0.5526	0.3140	0.2386	0.2739	0.1735
0.6834	34.47	1620	0.6894	0.5440	0.3603	0.1837	0.3289	0.1272
0.6961	34.89	1640	0.6874	0.5526	0.3265	0.2261	0.2865	0.1609
0.6935	35.32	1660	0.6862	0.5479	0.2684	0.2794	0.2331	0.2190
0.6881	35.74	1680	0.6867	0.5479	0.2967	0.2512	0.2614	0.1907
0.6935	36.17	1700	0.6883	0.5502	0.3383	0.2119	0.3006	0.1491
0.6874	36.6	1720	0.6873	0.5565	0.3179	0.2386	0.2739	0.1695
0.683	37.02	1740	0.6872	0.5549	0.3163	0.2386	0.2739	0.1711
0.6931	37.45	1760	0.6871	0.5581	0.3234	0.2347	0.2779	0.1641
0.6859	37.87	1780	0.6877	0.5479	0.3367	0.2111	0.3014	0.1507
0.6877	38.3	1800	0.6882	0.5455	0.3438	0.2017	0.3108	0.1436
0.6938	38.72	1820	0.6883	0.5471	0.3462	0.2009	0.3116	0.1413
0.694	39.15	1840	0.6868	0.5565	0.3148	0.2418	0.2708	0.1727
0.6938	39.57	1860	0.6862	0.5542	0.2975	0.2567	0.2559	0.1900
0.6883	40.0	1880	0.6865	0.5526	0.3030	0.2496	0.2630	0.1845
0.6867	40.43	1900	0.6868	0.5526	0.3124	0.2402	0.2724	0.1750
0.6933	40.85	1920	0.6867	0.5542	0.3132	0.2410	0.2716	0.1743
0.6915	41.28	1940	0.6868	0.5557	0.3163	0.2394	0.2732	0.1711
0.6905	41.7	1960	0.6865	0.5542	0.3116	0.2425	0.2700	0.1758
0.7036	42.13	1980	0.6864	0.5510	0.3069	0.2441	0.2684	0.1805
0.6892	42.55	2000	0.6866	0.5534	0.3108	0.2425	0.2700	0.1766
0.6811	42.98	2020	0.6868	0.5581	0.3226	0.2355	0.2771	0.1648
0.6925	43.4	2040	0.6875	0.5526	0.3383	0.2143	0.2983	0.1491
0.6963	43.83	2060	0.6877	0.5502	0.3422	0.2080	0.3046	0.1452
0.6887	44.26	2080	0.6869	0.5597	0.3250	0.2347	0.2779	0.1625
0.6896	44.68	2100	0.6870	0.5589	0.3250	0.2339	0.2786	0.1625
0.6826	45.11	2120	0.6872	0.5597	0.3312	0.2284	0.2841	0.1562
0.6823	45.53	2140	0.6873	0.5565	0.3328	0.2237	0.2889	0.1546
0.6982	45.96	2160	0.6872	0.5557	0.3305	0.2253	0.2873	0.1570
0.6874	46.38	2180	0.6870	0.5597	0.3281	0.2316	0.2810	0.1593
0.6887	46.81	2200	0.6867	0.5573	0.3226	0.2347	0.2779	0.1648
0.6967	47.23	2220	0.6868	0.5589	0.3250	0.2339	0.2786	0.1625
0.6867	47.66	2240	0.6869	0.5581	0.3265	0.2316	0.2810	0.1609
0.678	48.09	2260	0.6868	0.5581	0.3257	0.2323	0.2802	0.1617
0.6847	48.51	2280	0.6867	0.5597	0.3250	0.2347	0.2779	0.1625
0.6933	48.94	2300	0.6867	0.5604	0.3242	0.2363	0.2763	0.1633
0.6847	49.36	2320	0.6866	0.5612	0.3234	0.2378	0.2747	0.1641
0.6906	49.79	2340	0.6867	0.5597	0.3234	0.2363	0.2763	0.1641

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1
• Datasets 2.10.1
• Tokenizers 0.13.2