YELP_BERT_5E

This model is a fine-tuned version of bert-base-cased on the yelp_review_full dataset. It achieves the following results on the evaluation set:

• Loss: 0.1867
• Accuracy: 0.9733

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.5555	0.03	50	0.5569	0.74
0.2815	0.06	100	0.1400	0.9533
0.2736	0.1	150	0.1366	0.9533
0.2444	0.13	200	0.1144	0.9667
0.1778	0.16	250	0.1739	0.9533
0.1656	0.19	300	0.1073	0.96
0.1777	0.22	350	0.1001	0.9733
0.1915	0.26	400	0.1545	0.94
0.1983	0.29	450	0.1158	0.94
0.1858	0.32	500	0.0831	0.9667
0.2024	0.35	550	0.1088	0.96
0.1638	0.38	600	0.1047	0.9533
0.1333	0.42	650	0.1596	0.9467
0.245	0.45	700	0.1273	0.96
0.1786	0.48	750	0.1001	0.9667
0.1859	0.51	800	0.1125	0.9467
0.1764	0.54	850	0.0963	0.9533
0.2151	0.58	900	0.0904	0.9533
0.1152	0.61	950	0.1119	0.9667
0.1564	0.64	1000	0.0788	0.9667
0.1691	0.67	1050	0.0791	0.9733
0.1748	0.7	1100	0.0805	0.9667
0.1531	0.74	1150	0.0839	0.9667
0.1426	0.77	1200	0.0957	0.9467
0.1563	0.8	1250	0.1194	0.96
0.1666	0.83	1300	0.1029	0.96
0.1912	0.86	1350	0.0908	0.96
0.1822	0.9	1400	0.0788	0.9733
0.1339	0.93	1450	0.1134	0.96
0.1512	0.96	1500	0.0739	0.9733
0.1198	0.99	1550	0.0811	0.9733
0.1118	1.02	1600	0.0819	0.9733
0.1508	1.06	1650	0.1114	0.9667
0.0757	1.09	1700	0.1202	0.9667
0.0959	1.12	1750	0.1077	0.9667
0.0849	1.15	1800	0.1009	0.9733
0.0792	1.18	1850	0.0994	0.9733
0.0651	1.22	1900	0.1192	0.9733
0.0909	1.25	1950	0.1129	0.9667
0.0815	1.28	2000	0.1037	0.9733
0.0933	1.31	2050	0.0884	0.98
0.0998	1.34	2100	0.0860	0.9733
0.1099	1.38	2150	0.0793	0.98
0.0712	1.41	2200	0.0831	0.9867
0.1126	1.44	2250	0.0681	0.98
0.0731	1.47	2300	0.1019	0.9667
0.1021	1.5	2350	0.0659	0.9733
0.089	1.54	2400	0.0832	0.9733
0.0967	1.57	2450	0.0766	0.98
0.1015	1.6	2500	0.0803	0.9733
0.0956	1.63	2550	0.0781	0.9667
0.0896	1.66	2600	0.1033	0.9667
0.0925	1.7	2650	0.1036	0.9667
0.1326	1.73	2700	0.0892	0.9667
0.0884	1.76	2750	0.0913	0.9667
0.1061	1.79	2800	0.0821	0.9733
0.1031	1.82	2850	0.0935	0.9733
0.0873	1.86	2900	0.1058	0.9733
0.0957	1.89	2950	0.1025	0.9733
0.1149	1.92	3000	0.0675	0.98
0.0876	1.95	3050	0.1050	0.9667
0.0951	1.98	3100	0.0765	0.9733
0.0643	2.02	3150	0.0691	0.98
0.0551	2.05	3200	0.0765	0.98
0.0609	2.08	3250	0.0717	0.98
0.0268	2.11	3300	0.0780	0.98
0.0338	2.14	3350	0.0980	0.9733
0.0287	2.18	3400	0.1118	0.9733
0.0456	2.21	3450	0.1186	0.9733
0.0294	2.24	3500	0.1162	0.9733
0.0551	2.27	3550	0.1057	0.98
0.0445	2.3	3600	0.1042	0.9733
0.0233	2.34	3650	0.1164	0.9733
0.0695	2.37	3700	0.1189	0.9733
0.0524	2.4	3750	0.1198	0.9667
0.0457	2.43	3800	0.1479	0.9733
0.0289	2.46	3850	0.1214	0.9733
0.0432	2.5	3900	0.1740	0.9733
0.0425	2.53	3950	0.1167	0.9733
0.022	2.56	4000	0.1667	0.9733
0.063	2.59	4050	0.1392	0.9733
0.0388	2.62	4100	0.1376	0.9733
0.0759	2.66	4150	0.1400	0.9733
0.0526	2.69	4200	0.1232	0.9733
0.049	2.72	4250	0.1247	0.9667
0.0397	2.75	4300	0.1288	0.9667
0.0346	2.78	4350	0.1243	0.9733
0.0525	2.82	4400	0.1405	0.9733
0.0566	2.85	4450	0.1145	0.98
0.029	2.88	4500	0.1246	0.9733
0.043	2.91	4550	0.1308	0.9733
0.0613	2.94	4600	0.1125	0.9733
0.0704	2.98	4650	0.0872	0.98
0.0169	3.01	4700	0.1046	0.9733
0.0277	3.04	4750	0.1193	0.9733
0.0159	3.07	4800	0.1107	0.98
0.0013	3.1	4850	0.1342	0.9733
0.0063	3.13	4900	0.1425	0.9733
0.0131	3.17	4950	0.1261	0.98
0.0071	3.2	5000	0.1424	0.9733
0.0315	3.23	5050	0.1347	0.9733
0.0045	3.26	5100	0.1582	0.9733
0.0107	3.29	5150	0.1426	0.9733
0.014	3.33	5200	0.1298	0.98
0.0281	3.36	5250	0.1485	0.9733
0.0101	3.39	5300	0.1340	0.9733
0.0002	3.42	5350	0.1635	0.9733
0.0358	3.45	5400	0.1853	0.9733
0.0107	3.49	5450	0.1812	0.96
0.0157	3.52	5500	0.1828	0.9667
0.0336	3.55	5550	0.1839	0.9733
0.0095	3.58	5600	0.2067	0.9667
0.0216	3.61	5650	0.2004	0.9667
0.0136	3.65	5700	0.1892	0.9667
0.0041	3.68	5750	0.2082	0.9667
0.0411	3.71	5800	0.1835	0.9667
0.0233	3.74	5850	0.1713	0.9733
0.0078	3.77	5900	0.2228	0.9667
0.01	3.81	5950	0.2097	0.9667
0.0063	3.84	6000	0.2105	0.9667
0.0132	3.87	6050	0.2070	0.9667
0.0134	3.9	6100	0.1995	0.9667
0.0278	3.93	6150	0.1663	0.9733
0.0211	3.97	6200	0.1534	0.9667
0.0237	4.0	6250	0.1954	0.9667
0.0201	4.03	6300	0.1684	0.96
0.0013	4.06	6350	0.2022	0.9667
0.0002	4.09	6400	0.1783	0.9667
0.011	4.13	6450	0.2207	0.9667
0.0117	4.16	6500	0.1916	0.9667
0.0083	4.19	6550	0.1900	0.96
0.007	4.22	6600	0.1782	0.9733
0.0074	4.25	6650	0.2034	0.9667
0.0004	4.29	6700	0.1852	0.9667
0.0002	4.32	6750	0.2156	0.9667
0.0069	4.35	6800	0.2257	0.9667
0.0056	4.38	6850	0.2214	0.9667
0.016	4.41	6900	0.2035	0.9667
0.0055	4.45	6950	0.1800	0.9733
0.0	4.48	7000	0.1819	0.9733
0.0001	4.51	7050	0.1867	0.9733
0.0	4.54	7100	0.1880	0.9733
0.0006	4.57	7150	0.2108	0.9667
0.0024	4.61	7200	0.2087	0.9667
0.0003	4.64	7250	0.1992	0.9733
0.0	4.67	7300	0.2050	0.9667
0.0037	4.7	7350	0.1899	0.9733
0.0109	4.73	7400	0.1832	0.9733
0.0108	4.77	7450	0.1861	0.9733
0.0159	4.8	7500	0.1795	0.9733
0.004	4.83	7550	0.1767	0.9733
0.0012	4.86	7600	0.1888	0.9733
0.0076	4.89	7650	0.1894	0.9733
0.0113	4.93	7700	0.1870	0.9733
0.0007	4.96	7750	0.1869	0.9733
0.0099	4.99	7800	0.1867	0.9733

Framework versions

• Transformers 4.24.0
• Pytorch 1.13.0
• Datasets 2.3.2
• Tokenizers 0.13.2