YELP_roBERTa_5E

This model is a fine-tuned version of roberta-base on the yelp_review_full dataset. It achieves the following results on the evaluation set:

• Loss: 0.0995
• Accuracy: 0.9867

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.5721	0.03	50	0.3248	0.88
0.2836	0.06	100	0.1190	0.9733
0.1793	0.1	150	0.1707	0.96
0.2196	0.13	200	0.0841	0.9733
0.2102	0.16	250	0.0634	0.9867
0.2197	0.19	300	0.0763	0.98
0.1866	0.22	350	0.0640	0.9867
0.1717	0.26	400	0.0612	0.9867
0.1443	0.29	450	0.0844	0.9733
0.1669	0.32	500	0.1297	0.9667
0.2005	0.35	550	0.0644	0.9867
0.1543	0.38	600	0.0874	0.9867
0.1345	0.42	650	0.1853	0.96
0.1664	0.45	700	0.1157	0.9667
0.1876	0.48	750	0.0474	0.9733
0.111	0.51	800	0.0645	0.98
0.1511	0.54	850	0.0432	0.9933
0.1846	0.58	900	0.0505	0.9867
0.151	0.61	950	0.0452	0.98
0.1338	0.64	1000	0.1007	0.98
0.1175	0.67	1050	0.0747	0.9867
0.1818	0.7	1100	0.0852	0.98
0.1557	0.74	1150	0.0255	0.9933
0.1487	0.77	1200	0.1266	0.9733
0.1315	0.8	1250	0.0593	0.9867
0.1059	0.83	1300	0.0697	0.9867
0.108	0.86	1350	0.0459	0.9933
0.1525	0.9	1400	0.0446	0.9933
0.1185	0.93	1450	0.0528	0.9867
0.1611	0.96	1500	0.0582	0.9867
0.1556	0.99	1550	0.0726	0.98
0.0902	1.02	1600	0.0466	0.9867
0.1535	1.06	1650	0.0850	0.9733
0.0787	1.09	1700	0.0869	0.9867
0.1019	1.12	1750	0.0984	0.98
0.1234	1.15	1800	0.0358	0.9933
0.0884	1.18	1850	0.0621	0.9867
0.0785	1.22	1900	0.0507	0.9867
0.1454	1.25	1950	0.0793	0.98
0.1035	1.28	2000	0.0501	0.9867
0.0579	1.31	2050	0.0935	0.9867
0.1215	1.34	2100	0.0079	1.0
0.0958	1.38	2150	0.0673	0.9867
0.106	1.41	2200	0.0875	0.9867
0.095	1.44	2250	0.0745	0.9867
0.0958	1.47	2300	0.0715	0.9867
0.085	1.5	2350	0.0742	0.9867
0.082	1.54	2400	0.1053	0.9733
0.1202	1.57	2450	0.0711	0.9867
0.1041	1.6	2500	0.0723	0.9867
0.1145	1.63	2550	0.0361	0.9867
0.0909	1.66	2600	0.0868	0.9867
0.1029	1.7	2650	0.0680	0.9867
0.1083	1.73	2700	0.0599	0.9867
0.0871	1.76	2750	0.0452	0.9867
0.1506	1.79	2800	0.0344	0.9933
0.0778	1.82	2850	0.0380	0.9933
0.0982	1.86	2900	0.0349	0.9933
0.1296	1.89	2950	0.0713	0.9867
0.0836	1.92	3000	0.0693	0.9867
0.0699	1.95	3050	0.1023	0.98
0.0631	1.98	3100	0.0852	0.98
0.0724	2.02	3150	0.0835	0.9867
0.0898	2.05	3200	0.0872	0.9867
0.0642	2.08	3250	0.0427	0.9933
0.0524	2.11	3300	0.0731	0.9867
0.0415	2.14	3350	0.0632	0.9867
0.0604	2.18	3400	0.0428	0.9867
0.0701	2.21	3450	0.0671	0.9867
0.0668	2.24	3500	0.0360	0.9933
0.0442	2.27	3550	0.0454	0.9933
0.0677	2.3	3600	0.0517	0.9867
0.0965	2.34	3650	0.0659	0.98
0.0781	2.37	3700	0.0732	0.9867
0.0421	2.4	3750	0.0855	0.9867
0.0674	2.43	3800	0.0813	0.9867
0.0613	2.46	3850	0.0859	0.98
0.0679	2.5	3900	0.0721	0.9867
0.0417	2.53	3950	0.0977	0.9867
0.0616	2.56	4000	0.0789	0.9867
0.0678	2.59	4050	0.0804	0.9867
0.0651	2.62	4100	0.0994	0.98
0.0714	2.66	4150	0.0744	0.98
0.034	2.69	4200	0.0679	0.9867
0.0356	2.72	4250	0.0432	0.9933
0.0813	2.75	4300	0.0483	0.9933
0.052	2.78	4350	0.0689	0.9867
0.0611	2.82	4400	0.0474	0.9867
0.0615	2.85	4450	0.0557	0.9867
0.0569	2.88	4500	0.1056	0.98
0.0352	2.91	4550	0.0443	0.9933
0.0312	2.94	4600	0.1026	0.98
0.0662	2.98	4650	0.0677	0.9867
0.0694	3.01	4700	0.0368	0.9933
0.0144	3.04	4750	0.0647	0.9867
0.0378	3.07	4800	0.0893	0.9867
0.0393	3.1	4850	0.0841	0.9867
0.0598	3.13	4900	0.0594	0.9867
0.0329	3.17	4950	0.0933	0.9867
0.036	3.2	5000	0.0974	0.9867
0.0166	3.23	5050	0.0962	0.9867
0.0189	3.26	5100	0.0827	0.9867
0.0482	3.29	5150	0.0955	0.9867
0.0105	3.33	5200	0.0745	0.9867
0.0447	3.36	5250	0.1038	0.9867
0.0495	3.39	5300	0.0684	0.9867
0.0445	3.42	5350	0.0815	0.9867
0.0006	3.45	5400	0.1012	0.9867
0.0214	3.49	5450	0.0707	0.9867
0.0289	3.52	5500	0.1000	0.9867
0.0304	3.55	5550	0.1069	0.9867
0.0339	3.58	5600	0.1079	0.9867
0.0227	3.61	5650	0.1032	0.9867
0.0626	3.65	5700	0.0978	0.9867
0.04	3.68	5750	0.0965	0.9867
0.0358	3.71	5800	0.1048	0.9867
0.0287	3.74	5850	0.0921	0.9867
0.049	3.77	5900	0.1108	0.98
0.0497	3.81	5950	0.0795	0.9867
0.0047	3.84	6000	0.0979	0.9867
0.0252	3.87	6050	0.1071	0.9867
0.0691	3.9	6100	0.0821	0.9867
0.0419	3.93	6150	0.0896	0.9867
0.0197	3.97	6200	0.0943	0.9867
0.0281	4.0	6250	0.0901	0.9867
0.0118	4.03	6300	0.0950	0.9867
0.0057	4.06	6350	0.1031	0.9867
0.0335	4.09	6400	0.0896	0.9867
0.0095	4.13	6450	0.0966	0.9867
0.05	4.16	6500	0.0977	0.9867
0.0142	4.19	6550	0.1174	0.98
0.018	4.22	6600	0.0963	0.9867
0.0274	4.25	6650	0.0953	0.9867
0.0199	4.29	6700	0.0968	0.9867
0.0171	4.32	6750	0.0963	0.9867
0.0195	4.35	6800	0.0916	0.9867
0.0091	4.38	6850	0.0954	0.9867
0.0115	4.41	6900	0.0974	0.9867
0.0299	4.45	6950	0.0971	0.9867
0.0338	4.48	7000	0.0922	0.9867
0.0107	4.51	7050	0.0964	0.9867
0.0063	4.54	7100	0.0921	0.9867
0.0099	4.57	7150	0.0923	0.9867
0.0101	4.61	7200	0.0971	0.9867
0.0262	4.64	7250	0.1008	0.9867
0.0097	4.67	7300	0.0999	0.9867
0.0302	4.7	7350	0.0980	0.9867
0.0225	4.73	7400	0.0976	0.9867
0.0235	4.77	7450	0.1016	0.9867
0.0106	4.8	7500	0.1034	0.9867
0.0495	4.83	7550	0.1135	0.98
0.0228	4.86	7600	0.1034	0.9867
0.0229	4.89	7650	0.0990	0.9867
0.0206	4.93	7700	0.0993	0.9867
0.0188	4.96	7750	0.0993	0.9867
0.0189	4.99	7800	0.0995	0.9867

Framework versions

• Transformers 4.24.0
• Pytorch 1.13.0
• Datasets 2.3.2
• Tokenizers 0.13.2