multiberts-seed_0_stereoset_classifieronly

This model is a fine-tuned version of google/multiberts-seed_0 on the stereoset dataset. It achieves the following results on the evaluation set:

• Loss: 0.6824
• Accuracy: 0.5856
• Tp: 0.3414
• Tn: 0.2441
• Fp: 0.2316
• Fn: 0.1829

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Tp	Tn	Fp	Fn
0.7177	0.43	20	0.7071	0.4584	0.1028	0.3556	0.1201	0.4215
0.7096	0.85	40	0.6953	0.4867	0.3234	0.1633	0.3124	0.2009
0.7126	1.28	60	0.6988	0.4702	0.0573	0.4129	0.0628	0.4670
0.7012	1.7	80	0.6919	0.5141	0.2794	0.2347	0.2410	0.2449
0.7016	2.13	100	0.6881	0.5471	0.4466	0.1005	0.3752	0.0777
0.7027	2.55	120	0.6913	0.5204	0.2520	0.2684	0.2072	0.2724
0.6918	2.98	140	0.6894	0.5526	0.3564	0.1962	0.2794	0.1680
0.697	3.4	160	0.6886	0.5628	0.3807	0.1821	0.2936	0.1436
0.696	3.83	180	0.6876	0.5526	0.4066	0.1460	0.3297	0.1177
0.7047	4.26	200	0.6936	0.4984	0.1099	0.3885	0.0871	0.4144
0.6945	4.68	220	0.6884	0.5628	0.3713	0.1915	0.2841	0.1531
0.7051	5.11	240	0.6893	0.5518	0.3140	0.2378	0.2378	0.2104
0.6889	5.53	260	0.6869	0.5581	0.3901	0.1680	0.3077	0.1342
0.7033	5.96	280	0.6872	0.5612	0.3799	0.1813	0.2943	0.1444
0.7039	6.38	300	0.6904	0.5330	0.2096	0.3234	0.1523	0.3148
0.6945	6.81	320	0.6861	0.5573	0.4105	0.1468	0.3289	0.1138
0.6969	7.23	340	0.6899	0.5526	0.2575	0.2951	0.1805	0.2669
0.6951	7.66	360	0.6859	0.5573	0.4105	0.1468	0.3289	0.1138
0.6901	8.09	380	0.6903	0.5377	0.2057	0.3320	0.1436	0.3187
0.6839	8.51	400	0.6865	0.5644	0.3870	0.1774	0.2983	0.1374
0.6965	8.94	420	0.6875	0.5683	0.3391	0.2292	0.2465	0.1852
0.6887	9.36	440	0.6869	0.5667	0.3257	0.2410	0.2347	0.1986
0.6945	9.79	460	0.6852	0.5581	0.3846	0.1735	0.3022	0.1397
0.6864	10.21	480	0.6861	0.5659	0.3509	0.2151	0.2606	0.1735
0.6935	10.64	500	0.6876	0.5628	0.2794	0.2834	0.1923	0.2449
0.6981	11.06	520	0.6865	0.5699	0.3250	0.2449	0.2308	0.1994
0.7011	11.49	540	0.6874	0.5628	0.2755	0.2873	0.1884	0.2488
0.6833	11.91	560	0.6842	0.5573	0.4035	0.1538	0.3218	0.1209
0.692	12.34	580	0.6913	0.5220	0.1350	0.3870	0.0887	0.3893
0.6902	12.77	600	0.6855	0.5683	0.3713	0.1970	0.2786	0.1531
0.6905	13.19	620	0.6853	0.5699	0.3736	0.1962	0.2794	0.1507
0.6866	13.62	640	0.6872	0.5683	0.2841	0.2841	0.1915	0.2402
0.7	14.04	660	0.6853	0.5714	0.3587	0.2127	0.2630	0.1656
0.6927	14.47	680	0.6869	0.5683	0.2684	0.2998	0.1758	0.2559
0.6891	14.89	700	0.6854	0.5683	0.3344	0.2339	0.2418	0.1900
0.684	15.32	720	0.6867	0.5691	0.2708	0.2983	0.1774	0.2535
0.6969	15.74	740	0.6842	0.5691	0.3854	0.1837	0.2920	0.1389
0.6782	16.17	760	0.6841	0.5620	0.3972	0.1648	0.3108	0.1272
0.7023	16.6	780	0.6868	0.5777	0.3046	0.2732	0.2025	0.2198
0.6979	17.02	800	0.6841	0.5722	0.3823	0.1900	0.2857	0.1421
0.6875	17.45	820	0.6840	0.5691	0.3846	0.1845	0.2912	0.1397
0.6852	17.87	840	0.6867	0.5675	0.2598	0.3077	0.1680	0.2645
0.688	18.3	860	0.6850	0.5691	0.3195	0.2496	0.2261	0.2049
0.6941	18.72	880	0.6858	0.5754	0.2834	0.2920	0.1837	0.2410
0.6942	19.15	900	0.6828	0.5667	0.4215	0.1452	0.3305	0.1028
0.6883	19.57	920	0.6842	0.5699	0.3438	0.2261	0.2496	0.1805
0.6942	20.0	940	0.6858	0.5722	0.2677	0.3046	0.1711	0.2567
0.6908	20.43	960	0.6827	0.5699	0.4027	0.1672	0.3085	0.1217
0.6857	20.85	980	0.6849	0.5777	0.3014	0.2763	0.1994	0.2229
0.7046	21.28	1000	0.6836	0.5761	0.3587	0.2174	0.2582	0.1656
0.6856	21.7	1020	0.6832	0.5691	0.3807	0.1884	0.2873	0.1436
0.6969	22.13	1040	0.6878	0.5447	0.1978	0.3469	0.1287	0.3265
0.6957	22.55	1060	0.6854	0.5769	0.2991	0.2779	0.1978	0.2253
0.6903	22.98	1080	0.6842	0.5761	0.3375	0.2386	0.2370	0.1868
0.6923	23.4	1100	0.6869	0.5683	0.2347	0.3336	0.1421	0.2896
0.7005	23.83	1120	0.6852	0.5801	0.3061	0.2739	0.2017	0.2182
0.6918	24.26	1140	0.6828	0.5722	0.3807	0.1915	0.2841	0.1436
0.701	24.68	1160	0.6839	0.5801	0.3367	0.2433	0.2323	0.1876
0.6947	25.11	1180	0.6831	0.5722	0.3689	0.2033	0.2724	0.1554
0.6941	25.53	1200	0.6833	0.5754	0.3571	0.2182	0.2575	0.1672
0.6877	25.96	1220	0.6836	0.5808	0.3446	0.2363	0.2394	0.1797
0.6891	26.38	1240	0.6829	0.5706	0.3673	0.2033	0.2724	0.1570
0.6954	26.81	1260	0.6834	0.5769	0.3509	0.2261	0.2496	0.1735
0.6854	27.23	1280	0.6845	0.5769	0.3140	0.2630	0.2127	0.2104
0.6829	27.66	1300	0.6866	0.5581	0.2166	0.3414	0.1342	0.3077
0.6936	28.09	1320	0.6826	0.5746	0.3768	0.1978	0.2779	0.1476
0.6808	28.51	1340	0.6831	0.5777	0.3548	0.2229	0.2527	0.1695
0.6909	28.94	1360	0.6836	0.5832	0.3375	0.2457	0.2300	0.1868
0.6863	29.36	1380	0.6835	0.5793	0.3430	0.2363	0.2394	0.1813
0.6897	29.79	1400	0.6825	0.5746	0.3783	0.1962	0.2794	0.1460
0.6889	30.21	1420	0.6838	0.5785	0.3273	0.2512	0.2245	0.1970
0.6917	30.64	1440	0.6828	0.5746	0.3619	0.2127	0.2630	0.1625
0.6953	31.06	1460	0.6849	0.5769	0.2786	0.2983	0.1774	0.2457
0.6819	31.49	1480	0.6868	0.5526	0.1868	0.3658	0.1099	0.3375
0.6915	31.91	1500	0.6830	0.5808	0.3383	0.2425	0.2331	0.1860
0.6968	32.34	1520	0.6815	0.5793	0.3987	0.1805	0.2951	0.1256
0.6816	32.77	1540	0.6824	0.5808	0.3587	0.2221	0.2535	0.1656
0.695	33.19	1560	0.6839	0.5793	0.2991	0.2802	0.1954	0.2253
0.6784	33.62	1580	0.6847	0.5801	0.2684	0.3116	0.1641	0.2559
0.688	34.04	1600	0.6825	0.5793	0.3548	0.2245	0.2512	0.1695
0.6872	34.47	1620	0.6835	0.5808	0.3132	0.2677	0.2080	0.2111
0.6975	34.89	1640	0.6828	0.5808	0.3469	0.2339	0.2418	0.1774
0.6889	35.32	1660	0.6837	0.5824	0.3124	0.2700	0.2057	0.2119
0.6873	35.74	1680	0.6825	0.5785	0.3611	0.2174	0.2582	0.1633
0.6938	36.17	1700	0.6825	0.5777	0.3611	0.2166	0.2590	0.1633
0.7051	36.6	1720	0.6829	0.5816	0.3422	0.2394	0.2363	0.1821
0.6894	37.02	1740	0.6822	0.5824	0.3626	0.2198	0.2559	0.1617
0.6987	37.45	1760	0.6828	0.5856	0.3414	0.2441	0.2316	0.1829
0.6916	37.87	1780	0.6835	0.5777	0.3061	0.2716	0.2041	0.2182
0.6835	38.3	1800	0.6830	0.5816	0.3234	0.2582	0.2174	0.2009
0.6866	38.72	1820	0.6832	0.5863	0.3203	0.2661	0.2096	0.2041
0.6856	39.15	1840	0.6829	0.5848	0.3320	0.2527	0.2229	0.1923
0.6884	39.57	1860	0.6821	0.5816	0.3595	0.2221	0.2535	0.1648
0.6833	40.0	1880	0.6828	0.5863	0.3352	0.2512	0.2245	0.1892
0.6805	40.43	1900	0.6826	0.5840	0.3407	0.2433	0.2323	0.1837
0.6941	40.85	1920	0.6817	0.5754	0.3681	0.2072	0.2684	0.1562
0.6902	41.28	1940	0.6821	0.5816	0.3532	0.2284	0.2473	0.1711
0.692	41.7	1960	0.6826	0.5863	0.3383	0.2480	0.2276	0.1860
0.6927	42.13	1980	0.6824	0.5848	0.3454	0.2394	0.2363	0.1790
0.6849	42.55	2000	0.6822	0.5793	0.3501	0.2292	0.2465	0.1743
0.6836	42.98	2020	0.6821	0.5801	0.3540	0.2261	0.2496	0.1703
0.6916	43.4	2040	0.6822	0.5824	0.3477	0.2347	0.2410	0.1766
0.6825	43.83	2060	0.6824	0.5832	0.3446	0.2386	0.2370	0.1797
0.6939	44.26	2080	0.6825	0.5863	0.3383	0.2480	0.2276	0.1860
0.6899	44.68	2100	0.6820	0.5801	0.3509	0.2292	0.2465	0.1735
0.6873	45.11	2120	0.6819	0.5801	0.3587	0.2214	0.2543	0.1656
0.696	45.53	2140	0.6820	0.5801	0.3564	0.2237	0.2520	0.1680
0.697	45.96	2160	0.6824	0.5856	0.3485	0.2370	0.2386	0.1758
0.6891	46.38	2180	0.6825	0.5848	0.3430	0.2418	0.2339	0.1813
0.6828	46.81	2200	0.6822	0.5816	0.3501	0.2316	0.2441	0.1743
0.6904	47.23	2220	0.6823	0.5848	0.3477	0.2370	0.2386	0.1766
0.6891	47.66	2240	0.6825	0.5863	0.3391	0.2473	0.2284	0.1852
0.6867	48.09	2260	0.6826	0.5871	0.3383	0.2488	0.2268	0.1860
0.688	48.51	2280	0.6824	0.5832	0.3430	0.2402	0.2355	0.1813
0.6938	48.94	2300	0.6824	0.5856	0.3399	0.2457	0.2300	0.1845
0.6823	49.36	2320	0.6824	0.5863	0.3407	0.2457	0.2300	0.1837
0.6886	49.79	2340	0.6824	0.5856	0.3414	0.2441	0.2316	0.1829

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1
• Datasets 2.10.1
• Tokenizers 0.13.2