multiberts-seed_2-step_2000k_stereoset_classifieronly

This model is a fine-tuned version of google/multiberts-seed_2-step_2000k on the stereoset dataset. It achieves the following results on the evaluation set:

• Loss: 0.6815
• Accuracy: 0.5691
• Tp: 0.3077
• Tn: 0.2614
• Fp: 0.2410
• Fn: 0.1900

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Tp	Tn	Fp	Fn
0.7142	0.43	20	0.6867	0.5432	0.3407	0.2025	0.2998	0.1570
0.7173	0.85	40	0.6869	0.5338	0.2645	0.2692	0.2331	0.2331
0.7004	1.28	60	0.6867	0.5447	0.3085	0.2363	0.2661	0.1892
0.7047	1.7	80	0.6871	0.5432	0.2998	0.2433	0.2590	0.1978
0.6944	2.13	100	0.6907	0.5118	0.1350	0.3768	0.1256	0.3626
0.6885	2.55	120	0.6867	0.5392	0.2943	0.2449	0.2575	0.2033
0.7054	2.98	140	0.6875	0.5283	0.2496	0.2786	0.2237	0.2480
0.6907	3.4	160	0.6872	0.5298	0.2520	0.2779	0.2245	0.2457
0.6993	3.83	180	0.6866	0.5400	0.3179	0.2221	0.2802	0.1797
0.7032	4.26	200	0.6890	0.5298	0.2268	0.3030	0.1994	0.2708
0.7015	4.68	220	0.6879	0.5330	0.2590	0.2739	0.2284	0.2386
0.6969	5.11	240	0.6865	0.5479	0.3446	0.2033	0.2991	0.1531
0.695	5.53	260	0.6857	0.5408	0.3085	0.2323	0.2700	0.1892
0.6943	5.96	280	0.6867	0.5283	0.2559	0.2724	0.2300	0.2418
0.7008	6.38	300	0.6902	0.5173	0.1013	0.4160	0.0863	0.3964
0.7037	6.81	320	0.6859	0.5338	0.2849	0.2488	0.2535	0.2127
0.6967	7.23	340	0.6861	0.5557	0.3783	0.1774	0.3250	0.1193
0.6922	7.66	360	0.6856	0.5377	0.2818	0.2559	0.2465	0.2159
0.6951	8.09	380	0.6887	0.5188	0.1217	0.3972	0.1052	0.3760
0.6893	8.51	400	0.6860	0.5424	0.2441	0.2983	0.2041	0.2535
0.6992	8.94	420	0.6857	0.5385	0.2732	0.2653	0.2370	0.2245
0.6821	9.36	440	0.6854	0.5510	0.3265	0.2245	0.2779	0.1711
0.7006	9.79	460	0.6855	0.5361	0.2904	0.2457	0.2567	0.2072
0.6934	10.21	480	0.6864	0.5392	0.2582	0.2810	0.2214	0.2394
0.6935	10.64	500	0.6894	0.5204	0.1538	0.3666	0.1358	0.3438
0.6961	11.06	520	0.6865	0.5416	0.3359	0.2057	0.2967	0.1617
0.6925	11.49	540	0.6873	0.5392	0.2410	0.2983	0.2041	0.2567
0.6972	11.91	560	0.6875	0.5204	0.1939	0.3265	0.1758	0.3038
0.6935	12.34	580	0.6847	0.5518	0.3524	0.1994	0.3030	0.1452
0.6847	12.77	600	0.6884	0.5165	0.1075	0.4089	0.0934	0.3901
0.6912	13.19	620	0.6868	0.5432	0.2457	0.2975	0.2049	0.2520
0.6957	13.62	640	0.6872	0.5228	0.1884	0.3344	0.1680	0.3093
0.7036	14.04	660	0.6853	0.5549	0.3846	0.1703	0.3320	0.1130
0.6948	14.47	680	0.6852	0.5510	0.3603	0.1907	0.3116	0.1374
0.6981	14.89	700	0.6860	0.5385	0.2637	0.2747	0.2276	0.2339
0.695	15.32	720	0.6844	0.5581	0.3250	0.2331	0.2692	0.1727
0.688	15.74	740	0.6837	0.5612	0.3783	0.1829	0.3195	0.1193
0.7009	16.17	760	0.6869	0.5290	0.1350	0.3940	0.1083	0.3626
0.687	16.6	780	0.6868	0.5322	0.1397	0.3925	0.1099	0.3579
0.6876	17.02	800	0.6844	0.5534	0.3320	0.2214	0.2810	0.1656
0.6941	17.45	820	0.6846	0.5612	0.3006	0.2606	0.2418	0.1970
0.6972	17.87	840	0.6835	0.5636	0.3673	0.1962	0.3061	0.1303
0.6919	18.3	860	0.6836	0.5565	0.3336	0.2229	0.2794	0.1641
0.6861	18.72	880	0.6829	0.5636	0.3540	0.2096	0.2928	0.1436
0.701	19.15	900	0.6855	0.5330	0.1931	0.3399	0.1625	0.3046
0.6898	19.57	920	0.6860	0.5322	0.1970	0.3352	0.1672	0.3006
0.6905	20.0	940	0.6851	0.5581	0.2936	0.2645	0.2378	0.2041
0.6858	20.43	960	0.6848	0.5557	0.2896	0.2661	0.2363	0.2080
0.689	20.85	980	0.6849	0.5479	0.2119	0.3359	0.1664	0.2857
0.7016	21.28	1000	0.6830	0.5651	0.3407	0.2245	0.2779	0.1570
0.686	21.7	1020	0.6829	0.5675	0.3462	0.2214	0.2810	0.1515
0.6908	22.13	1040	0.6839	0.5440	0.2261	0.3179	0.1845	0.2716
0.6871	22.55	1060	0.6835	0.5628	0.2818	0.2810	0.2214	0.2159
0.7029	22.98	1080	0.6830	0.5683	0.3100	0.2582	0.2441	0.1876
0.6906	23.4	1100	0.6828	0.5667	0.3289	0.2378	0.2645	0.1688
0.6864	23.83	1120	0.6829	0.5612	0.3673	0.1939	0.3085	0.1303
0.6918	24.26	1140	0.6833	0.5659	0.3014	0.2645	0.2378	0.1962
0.6938	24.68	1160	0.6834	0.5628	0.3328	0.2300	0.2724	0.1648
0.6864	25.11	1180	0.6838	0.5565	0.2512	0.3053	0.1970	0.2465
0.698	25.53	1200	0.6829	0.5675	0.2998	0.2677	0.2347	0.1978
0.702	25.96	1220	0.6824	0.5604	0.3469	0.2135	0.2889	0.1507
0.6996	26.38	1240	0.6823	0.5597	0.3917	0.1680	0.3344	0.1060
0.6946	26.81	1260	0.6827	0.5659	0.2881	0.2779	0.2245	0.2096
0.6908	27.23	1280	0.6831	0.5636	0.2716	0.2920	0.2104	0.2261
0.7009	27.66	1300	0.6829	0.5659	0.3328	0.2331	0.2692	0.1648
0.6885	28.09	1320	0.6829	0.5699	0.3195	0.2504	0.2520	0.1782
0.6852	28.51	1340	0.6827	0.5691	0.3006	0.2684	0.2339	0.1970
0.6879	28.94	1360	0.6824	0.5706	0.2983	0.2724	0.2300	0.1994
0.6848	29.36	1380	0.6824	0.5675	0.2763	0.2912	0.2111	0.2214
0.6857	29.79	1400	0.6820	0.5651	0.3336	0.2316	0.2708	0.1641
0.6909	30.21	1420	0.6819	0.5628	0.3493	0.2135	0.2889	0.1484
0.6865	30.64	1440	0.6819	0.5597	0.3469	0.2127	0.2896	0.1507
0.6962	31.06	1460	0.6816	0.5644	0.3516	0.2127	0.2896	0.1460
0.6954	31.49	1480	0.6817	0.5699	0.3367	0.2331	0.2692	0.1609
0.6815	31.91	1500	0.6817	0.5683	0.3328	0.2355	0.2669	0.1648
0.692	32.34	1520	0.6818	0.5722	0.3187	0.2535	0.2488	0.1790
0.6907	32.77	1540	0.6813	0.5651	0.3422	0.2229	0.2794	0.1554
0.6936	33.19	1560	0.6818	0.5659	0.2943	0.2716	0.2308	0.2033
0.6965	33.62	1580	0.6825	0.5612	0.2567	0.3046	0.1978	0.2410
0.6811	34.04	1600	0.6822	0.5644	0.2810	0.2834	0.2190	0.2166
0.6926	34.47	1620	0.6820	0.5651	0.2936	0.2716	0.2308	0.2041
0.6843	34.89	1640	0.6817	0.5589	0.3352	0.2237	0.2786	0.1625
0.6902	35.32	1660	0.6818	0.5730	0.3297	0.2433	0.2590	0.1680
0.6868	35.74	1680	0.6822	0.5659	0.2959	0.2700	0.2323	0.2017
0.6825	36.17	1700	0.6827	0.5542	0.2504	0.3038	0.1986	0.2473
0.6888	36.6	1720	0.6828	0.5549	0.2527	0.3022	0.2002	0.2449
0.6835	37.02	1740	0.6824	0.5651	0.2975	0.2677	0.2347	0.2002
0.6917	37.45	1760	0.6820	0.5644	0.3399	0.2245	0.2779	0.1578
0.69	37.87	1780	0.6824	0.5699	0.3093	0.2606	0.2418	0.1884
0.684	38.3	1800	0.6822	0.5730	0.3187	0.2543	0.2480	0.1790
0.6819	38.72	1820	0.6820	0.5754	0.3320	0.2433	0.2590	0.1656
0.6924	39.15	1840	0.6829	0.5510	0.2394	0.3116	0.1907	0.2582
0.6868	39.57	1860	0.6834	0.5526	0.2111	0.3414	0.1609	0.2865
0.6842	40.0	1880	0.6836	0.5518	0.2009	0.3509	0.1515	0.2967
0.6883	40.43	1900	0.6826	0.5565	0.2622	0.2943	0.2080	0.2355
0.6789	40.85	1920	0.6825	0.5549	0.2590	0.2959	0.2064	0.2386
0.6992	41.28	1940	0.6821	0.5699	0.3116	0.2582	0.2441	0.1860
0.6827	41.7	1960	0.6822	0.5604	0.2975	0.2630	0.2394	0.2002
0.6884	42.13	1980	0.6817	0.5785	0.3407	0.2378	0.2645	0.1570
0.6902	42.55	2000	0.6818	0.5636	0.2998	0.2637	0.2386	0.1978
0.6854	42.98	2020	0.6817	0.5699	0.3061	0.2637	0.2386	0.1915
0.6845	43.4	2040	0.6815	0.5793	0.3305	0.2488	0.2535	0.1672
0.6912	43.83	2060	0.6813	0.5683	0.3407	0.2276	0.2747	0.1570
0.6823	44.26	2080	0.6814	0.5746	0.3163	0.2582	0.2441	0.1813
0.678	44.68	2100	0.6814	0.5706	0.3077	0.2630	0.2394	0.1900
0.6857	45.11	2120	0.6813	0.5738	0.3140	0.2598	0.2425	0.1837
0.6874	45.53	2140	0.6813	0.5769	0.3312	0.2457	0.2567	0.1664
0.6864	45.96	2160	0.6814	0.5761	0.3179	0.2582	0.2441	0.1797
0.6865	46.38	2180	0.6815	0.5722	0.3148	0.2575	0.2449	0.1829
0.6843	46.81	2200	0.6815	0.5683	0.3046	0.2637	0.2386	0.1931
0.6899	47.23	2220	0.6816	0.5644	0.3030	0.2614	0.2410	0.1947
0.6886	47.66	2240	0.6816	0.5651	0.2959	0.2692	0.2331	0.2017
0.6897	48.09	2260	0.6816	0.5651	0.2998	0.2653	0.2370	0.1978
0.6847	48.51	2280	0.6816	0.5651	0.3006	0.2645	0.2378	0.1970
0.6883	48.94	2300	0.6815	0.5699	0.3061	0.2637	0.2386	0.1915
0.6913	49.36	2320	0.6815	0.5706	0.3093	0.2614	0.2410	0.1884
0.6849	49.79	2340	0.6815	0.5691	0.3077	0.2614	0.2410	0.1900

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1
• Datasets 2.10.1
• Tokenizers 0.13.2