YELP_DistilBERT_5E

This model is a fine-tuned version of distilbert-base-cased on the yelp_review_full dataset. It achieves the following results on the evaluation set:

• Loss: 0.1557
• Accuracy: 0.9667

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.6211	0.03	50	0.3873	0.8933
0.3252	0.06	100	0.2181	0.92
0.2241	0.1	150	0.1850	0.94
0.2645	0.13	200	0.1514	0.9467
0.2094	0.16	250	0.1850	0.92
0.2693	0.19	300	0.1504	0.9467
0.2524	0.22	350	0.1479	0.96
0.2538	0.26	400	0.1375	0.94
0.1937	0.29	450	0.1204	0.9467
0.1692	0.32	500	0.1396	0.9533
0.1987	0.35	550	0.1151	0.94
0.207	0.38	600	0.1705	0.94
0.2135	0.42	650	0.1189	0.9467
0.1847	0.45	700	0.1315	0.9533
0.169	0.48	750	0.1407	0.9533
0.1767	0.51	800	0.1675	0.9333
0.1899	0.54	850	0.0913	0.9467
0.1641	0.58	900	0.0954	0.96
0.1765	0.61	950	0.1237	0.9467
0.1663	0.64	1000	0.1029	0.9533
0.1238	0.67	1050	0.1267	0.96
0.2087	0.7	1100	0.1111	0.96
0.1354	0.74	1150	0.0916	0.9667
0.1937	0.77	1200	0.1059	0.96
0.2216	0.8	1250	0.1049	0.9467
0.1788	0.83	1300	0.1472	0.94
0.2138	0.86	1350	0.1234	0.9467
0.1555	0.9	1400	0.1386	0.94
0.1583	0.93	1450	0.1642	0.9467
0.1525	0.96	1500	0.1571	0.94
0.2049	0.99	1550	0.1257	0.9333
0.1266	1.02	1600	0.1677	0.94
0.1282	1.06	1650	0.1307	0.9533
0.1007	1.09	1700	0.1375	0.9533
0.0991	1.12	1750	0.1513	0.9533
0.1211	1.15	1800	0.1229	0.9667
0.1833	1.18	1850	0.1105	0.9733
0.1596	1.22	1900	0.1279	0.9533
0.1172	1.25	1950	0.1124	0.96
0.1137	1.28	2000	0.1407	0.9467
0.1135	1.31	2050	0.1377	0.96
0.096	1.34	2100	0.1022	0.9667
0.1203	1.38	2150	0.1719	0.9467
0.1289	1.41	2200	0.1254	0.9667
0.1392	1.44	2250	0.1086	0.9667
0.1319	1.47	2300	0.1511	0.9467
0.1161	1.5	2350	0.1758	0.9467
0.1402	1.54	2400	0.1369	0.96
0.1433	1.57	2450	0.1495	0.9667
0.1882	1.6	2500	0.1186	0.9467
0.1474	1.63	2550	0.1249	0.9533
0.0937	1.66	2600	0.1390	0.96
0.1231	1.7	2650	0.1467	0.96
0.1485	1.73	2700	0.1602	0.9533
0.1683	1.76	2750	0.1884	0.9533
0.1141	1.79	2800	0.1634	0.96
0.1351	1.82	2850	0.1212	0.9733
0.1298	1.86	2900	0.1224	0.96
0.1616	1.89	2950	0.1241	0.96
0.1159	1.92	3000	0.1532	0.9533
0.1101	1.95	3050	0.1105	0.96
0.0779	1.98	3100	0.1334	0.9533
0.1427	2.02	3150	0.1026	0.9733
0.0673	2.05	3200	0.1231	0.96
0.0901	2.08	3250	0.1077	0.9733
0.0532	2.11	3300	0.1385	0.9467
0.0984	2.14	3350	0.1432	0.9467
0.1006	2.18	3400	0.1183	0.9667
0.067	2.21	3450	0.1533	0.9533
0.0901	2.24	3500	0.1314	0.9733
0.0644	2.27	3550	0.1354	0.9667
0.076	2.3	3600	0.1548	0.96
0.0932	2.34	3650	0.1624	0.9667
0.0777	2.37	3700	0.1878	0.9533
0.106	2.4	3750	0.1721	0.96
0.0621	2.43	3800	0.1470	0.9667
0.0919	2.46	3850	0.1478	0.96
0.091	2.5	3900	0.1371	0.9667
0.0912	2.53	3950	0.1467	0.9667
0.0775	2.56	4000	0.1289	0.9733
0.1053	2.59	4050	0.1107	0.9733
0.063	2.62	4100	0.1031	0.9733
0.0859	2.66	4150	0.0953	0.98
0.084	2.69	4200	0.1216	0.9733
0.1215	2.72	4250	0.1025	0.9733
0.0675	2.75	4300	0.0992	0.9667
0.0608	2.78	4350	0.1288	0.96
0.0965	2.82	4400	0.1179	0.9667
0.061	2.85	4450	0.1178	0.9733
0.0821	2.88	4500	0.1188	0.9733
0.0802	2.91	4550	0.1423	0.9667
0.0901	2.94	4600	0.1367	0.96
0.1069	2.98	4650	0.1118	0.9733
0.0653	3.01	4700	0.1359	0.9533
0.0577	3.04	4750	0.1046	0.9667
0.0467	3.07	4800	0.1366	0.96
0.041	3.1	4850	0.1276	0.9667
0.0585	3.13	4900	0.1426	0.9667
0.0635	3.17	4950	0.1571	0.96
0.0395	3.2	5000	0.1527	0.96
0.034	3.23	5050	0.1323	0.9667
0.0405	3.26	5100	0.1377	0.96
0.0306	3.29	5150	0.1526	0.9667
0.0471	3.33	5200	0.1419	0.9667
0.0646	3.36	5250	0.1459	0.9667
0.0508	3.39	5300	0.1312	0.9667
0.0593	3.42	5350	0.1483	0.96
0.05	3.45	5400	0.1076	0.9733
0.0559	3.49	5450	0.1412	0.9667
0.0614	3.52	5500	0.1597	0.9667
0.0691	3.55	5550	0.1656	0.96
0.0472	3.58	5600	0.1556	0.9667
0.055	3.61	5650	0.1347	0.9667
0.0564	3.65	5700	0.1424	0.96
0.0567	3.68	5750	0.1448	0.9733
0.0645	3.71	5800	0.1290	0.9667
0.0361	3.74	5850	0.1367	0.9667
0.0546	3.77	5900	0.1406	0.9667
0.043	3.81	5950	0.1337	0.96
0.0148	3.84	6000	0.1475	0.9533
0.0922	3.87	6050	0.1318	0.9733
0.0671	3.9	6100	0.1446	0.9733
0.0295	3.93	6150	0.1217	0.9733
0.0503	3.97	6200	0.1133	0.9733
0.0457	4.0	6250	0.1145	0.9733
0.0487	4.03	6300	0.1119	0.9733
0.0491	4.06	6350	0.1274	0.9667
0.0417	4.09	6400	0.1377	0.9733
0.0595	4.13	6450	0.1271	0.9733
0.035	4.16	6500	0.1183	0.9733
0.0482	4.19	6550	0.1153	0.9733
0.0196	4.22	6600	0.1388	0.9733
0.028	4.25	6650	0.1310	0.9733
0.0193	4.29	6700	0.1460	0.9667
0.0233	4.32	6750	0.1233	0.9733
0.0316	4.35	6800	0.1220	0.9667
0.0132	4.38	6850	0.1350	0.9533
0.0415	4.41	6900	0.1547	0.9667
0.0157	4.45	6950	0.1562	0.9667
0.0186	4.48	7000	0.1424	0.9667
0.0012	4.51	7050	0.1421	0.9667
0.0223	4.54	7100	0.1475	0.9733
0.0455	4.57	7150	0.1457	0.96
0.0571	4.61	7200	0.1559	0.9667
0.0305	4.64	7250	0.1614	0.9667
0.0457	4.67	7300	0.1691	0.9667
0.022	4.7	7350	0.1622	0.9667
0.0338	4.73	7400	0.1560	0.9667
0.0365	4.77	7450	0.1553	0.9667
0.025	4.8	7500	0.1512	0.9667
0.0441	4.83	7550	0.1550	0.9667
0.0363	4.86	7600	0.1564	0.9667
0.0188	4.89	7650	0.1553	0.9667
0.0427	4.93	7700	0.1572	0.9733
0.0362	4.96	7750	0.1568	0.9667
0.0115	4.99	7800	0.1557	0.9667

Framework versions

• Transformers 4.24.0
• Pytorch 1.13.0
• Datasets 2.3.2
• Tokenizers 0.13.2