amazonPolarity_BERT_5E

This model is a fine-tuned version of bert-base-cased on the amazon_polarity dataset. It achieves the following results on the evaluation set:

• Loss: 0.4402
• Accuracy: 0.9067

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.7011	0.03	50	0.6199	0.7
0.6238	0.05	100	0.4710	0.8133
0.4478	0.08	150	0.3249	0.8733
0.3646	0.11	200	0.3044	0.86
0.3244	0.13	250	0.2548	0.86
0.2734	0.16	300	0.2666	0.88
0.2784	0.19	350	0.2416	0.88
0.2706	0.21	400	0.2660	0.88
0.2368	0.24	450	0.2522	0.8867
0.2449	0.27	500	0.3135	0.88
0.262	0.29	550	0.2718	0.8733
0.2111	0.32	600	0.2494	0.8933
0.2459	0.35	650	0.2468	0.8867
0.2264	0.37	700	0.3049	0.8667
0.2572	0.4	750	0.2054	0.8933
0.1749	0.43	800	0.3489	0.86
0.2423	0.45	850	0.2142	0.8933
0.1931	0.48	900	0.2096	0.9067
0.2444	0.51	950	0.3404	0.8733
0.2666	0.53	1000	0.2378	0.9067
0.2311	0.56	1050	0.2416	0.9067
0.2269	0.59	1100	0.3188	0.8733
0.2143	0.61	1150	0.2343	0.9
0.2181	0.64	1200	0.2606	0.8667
0.2151	0.67	1250	0.1888	0.9133
0.2694	0.69	1300	0.3982	0.8467
0.2408	0.72	1350	0.1978	0.9067
0.2043	0.75	1400	0.2125	0.9
0.2081	0.77	1450	0.2680	0.8933
0.2361	0.8	1500	0.3723	0.8467
0.2503	0.83	1550	0.3427	0.8733
0.1983	0.85	1600	0.2525	0.9067
0.1947	0.88	1650	0.2427	0.9133
0.2411	0.91	1700	0.2448	0.9
0.2381	0.93	1750	0.3354	0.88
0.1852	0.96	1800	0.3078	0.8667
0.2427	0.99	1850	0.2408	0.9
0.1582	1.01	1900	0.2698	0.9133
0.159	1.04	1950	0.3383	0.9
0.1833	1.07	2000	0.2849	0.9
0.1257	1.09	2050	0.5376	0.8667
0.1513	1.12	2100	0.4469	0.88
0.1869	1.15	2150	0.3415	0.8933
0.1342	1.17	2200	0.3021	0.8867
0.1404	1.2	2250	0.3619	0.88
0.1576	1.23	2300	0.2815	0.9
0.1419	1.25	2350	0.4351	0.8867
0.1491	1.28	2400	0.3025	0.9133
0.1914	1.31	2450	0.3011	0.9067
0.1265	1.33	2500	0.3953	0.88
0.128	1.36	2550	0.2557	0.9333
0.1631	1.39	2600	0.2226	0.9333
0.1019	1.41	2650	0.3638	0.9133
0.1551	1.44	2700	0.3591	0.9
0.1853	1.47	2750	0.5005	0.8733
0.1578	1.49	2800	0.2662	0.92
0.1522	1.52	2850	0.2545	0.9267
0.1188	1.55	2900	0.3874	0.88
0.1638	1.57	2950	0.3003	0.92
0.1583	1.6	3000	0.2702	0.92
0.1844	1.63	3050	0.2183	0.9333
0.1365	1.65	3100	0.3322	0.8933
0.1683	1.68	3150	0.2069	0.9467
0.168	1.71	3200	0.4046	0.8667
0.1907	1.73	3250	0.3411	0.8933
0.1695	1.76	3300	0.1992	0.9333
0.1851	1.79	3350	0.2370	0.92
0.1302	1.81	3400	0.3058	0.9133
0.1353	1.84	3450	0.3134	0.9067
0.1428	1.87	3500	0.3767	0.8667
0.1642	1.89	3550	0.3239	0.8867
0.1319	1.92	3600	0.4725	0.86
0.1714	1.95	3650	0.3115	0.8867
0.1265	1.97	3700	0.3621	0.8867
0.1222	2.0	3750	0.3665	0.8933
0.0821	2.03	3800	0.2482	0.9133
0.1136	2.05	3850	0.3244	0.9
0.0915	2.08	3900	0.4745	0.8733
0.0967	2.11	3950	0.2346	0.94
0.0962	2.13	4000	0.3139	0.92
0.1001	2.16	4050	0.2944	0.9267
0.086	2.19	4100	0.5542	0.86
0.0588	2.21	4150	0.4377	0.9
0.1056	2.24	4200	0.3540	0.9133
0.0899	2.27	4250	0.5661	0.8733
0.0737	2.29	4300	0.5683	0.8733
0.1152	2.32	4350	0.2997	0.9333
0.0852	2.35	4400	0.5055	0.8933
0.1114	2.37	4450	0.3099	0.92
0.0821	2.4	4500	0.3026	0.9267
0.0698	2.43	4550	0.3250	0.92
0.1123	2.45	4600	0.3674	0.9
0.1196	2.48	4650	0.4539	0.8733
0.0617	2.51	4700	0.3446	0.92
0.0939	2.53	4750	0.3302	0.92
0.1114	2.56	4800	0.5149	0.8733
0.1154	2.59	4850	0.4935	0.8867
0.1495	2.61	4900	0.4706	0.8933
0.0858	2.64	4950	0.4048	0.9
0.0767	2.67	5000	0.3849	0.9133
0.0569	2.69	5050	0.5491	0.8867
0.1058	2.72	5100	0.5872	0.8733
0.0899	2.75	5150	0.3159	0.92
0.0757	2.77	5200	0.5861	0.8733
0.1305	2.8	5250	0.3633	0.9133
0.1027	2.83	5300	0.3972	0.9133
0.1259	2.85	5350	0.4197	0.8933
0.1255	2.88	5400	0.4583	0.8867
0.0981	2.91	5450	0.4657	0.8933
0.0736	2.93	5500	0.4036	0.9133
0.116	2.96	5550	0.3026	0.9067
0.0692	2.99	5600	0.3409	0.9133
0.0721	3.01	5650	0.5598	0.8733
0.052	3.04	5700	0.4130	0.9133
0.0661	3.07	5750	0.2589	0.9333
0.0667	3.09	5800	0.4484	0.9067
0.0599	3.12	5850	0.4883	0.9
0.0406	3.15	5900	0.4516	0.9067
0.0837	3.17	5950	0.3394	0.9267
0.0636	3.2	6000	0.4649	0.8867
0.0861	3.23	6050	0.5046	0.8933
0.0667	3.25	6100	0.3252	0.92
0.0401	3.28	6150	0.2771	0.94
0.0998	3.31	6200	0.4509	0.9
0.0209	3.33	6250	0.4666	0.8933
0.0747	3.36	6300	0.5430	0.8867
0.0678	3.39	6350	0.4050	0.9067
0.0685	3.41	6400	0.3738	0.92
0.0654	3.44	6450	0.4486	0.9
0.0496	3.47	6500	0.4386	0.9067
0.0379	3.49	6550	0.4547	0.9067
0.0897	3.52	6600	0.4197	0.9133
0.0729	3.55	6650	0.2855	0.9333
0.0515	3.57	6700	0.4459	0.9067
0.0588	3.6	6750	0.3627	0.92
0.0724	3.63	6800	0.4060	0.9267
0.0607	3.65	6850	0.4505	0.9133
0.0252	3.68	6900	0.5465	0.8933
0.0594	3.71	6950	0.4786	0.9067
0.0743	3.73	7000	0.4163	0.9267
0.0506	3.76	7050	0.3801	0.92
0.0548	3.79	7100	0.3557	0.9267
0.0932	3.81	7150	0.4278	0.9133
0.0643	3.84	7200	0.4673	0.9
0.0631	3.87	7250	0.3611	0.92
0.0793	3.89	7300	0.3956	0.9067
0.0729	3.92	7350	0.6630	0.8733
0.0552	3.95	7400	0.4259	0.8867
0.0432	3.97	7450	0.3615	0.92
0.0697	4.0	7500	0.5116	0.88
0.0463	4.03	7550	0.3334	0.94
0.046	4.05	7600	0.4704	0.8867
0.0371	4.08	7650	0.3323	0.94
0.0809	4.11	7700	0.3503	0.92
0.0285	4.13	7750	0.3360	0.92
0.0469	4.16	7800	0.3365	0.9333
0.041	4.19	7850	0.5726	0.88
0.0447	4.21	7900	0.4564	0.9067
0.0144	4.24	7950	0.5521	0.8867
0.0511	4.27	8000	0.5661	0.88
0.0481	4.29	8050	0.3445	0.94
0.036	4.32	8100	0.3247	0.94
0.0662	4.35	8150	0.3647	0.9333
0.051	4.37	8200	0.5024	0.9
0.0546	4.4	8250	0.4737	0.8933
0.0526	4.43	8300	0.4067	0.92
0.0291	4.45	8350	0.3862	0.9267
0.0292	4.48	8400	0.5101	0.9
0.0426	4.51	8450	0.4207	0.92
0.0771	4.53	8500	0.5525	0.8867
0.0668	4.56	8550	0.4487	0.9067
0.0585	4.59	8600	0.3574	0.9267
0.0375	4.61	8650	0.3980	0.92
0.0508	4.64	8700	0.4064	0.92
0.0334	4.67	8750	0.3031	0.94
0.0257	4.69	8800	0.3340	0.9333
0.0165	4.72	8850	0.4011	0.92
0.0553	4.75	8900	0.4243	0.9133
0.0597	4.77	8950	0.3685	0.9267
0.0407	4.8	9000	0.4262	0.9133
0.032	4.83	9050	0.4080	0.9133
0.0573	4.85	9100	0.4416	0.9133
0.0308	4.88	9150	0.4397	0.9133
0.0494	4.91	9200	0.4476	0.9067
0.015	4.93	9250	0.4419	0.9067
0.0443	4.96	9300	0.4347	0.9133
0.0479	4.99	9350	0.4402	0.9067

Framework versions

• Transformers 4.24.0
• Pytorch 1.13.0
• Datasets 2.6.1
• Tokenizers 0.13.1