pig4431/IMDB_DistilBERT_5EEE

IMDB_DistilBERT_5E

This model is a fine-tuned version of distilbert-base-uncased on the imdb dataset. It achieves the following results on the evaluation set:

• Loss: 0.2309
• Accuracy: 0.9333

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.6706	0.03	50	0.5746	0.8533
0.4323	0.06	100	0.2900	0.9
0.314	0.1	150	0.2334	0.9067
0.3062	0.13	200	0.1884	0.94
0.2834	0.16	250	0.1880	0.9267
0.2751	0.19	300	0.1944	0.94
0.2258	0.22	350	0.2003	0.9267
0.2631	0.26	400	0.1507	0.9467
0.2661	0.29	450	0.1536	0.9467
0.2481	0.32	500	0.1533	0.94
0.2746	0.35	550	0.1402	0.9533
0.2539	0.38	600	0.1331	0.94
0.2673	0.42	650	0.1404	0.9467
0.2438	0.45	700	0.1213	0.96
0.2355	0.48	750	0.1181	0.9533
0.2059	0.51	800	0.1417	0.9333
0.2585	0.54	850	0.1257	0.9533
0.2331	0.58	900	0.1307	0.94
0.2602	0.61	950	0.1172	0.9467
0.24	0.64	1000	0.1141	0.9533
0.2169	0.67	1050	0.1198	0.94
0.2796	0.7	1100	0.1171	0.9533
0.2559	0.74	1150	0.1199	0.96
0.2377	0.77	1200	0.1359	0.9333
0.2268	0.8	1250	0.1235	0.9533
0.2422	0.83	1300	0.1439	0.9333
0.2101	0.86	1350	0.1333	0.9333
0.1875	0.9	1400	0.1206	0.9467
0.2279	0.93	1450	0.1136	0.96
0.2214	0.96	1500	0.1188	0.9467
0.2416	0.99	1550	0.1029	0.9467
0.219	1.02	1600	0.1113	0.94
0.1806	1.06	1650	0.1095	0.9533
0.1343	1.09	1700	0.1630	0.94
0.1699	1.12	1750	0.1221	0.96
0.1837	1.15	1800	0.1213	0.9467
0.1763	1.18	1850	0.1286	0.9533
0.1856	1.22	1900	0.1531	0.9267
0.1647	1.25	1950	0.1380	0.9533
0.2204	1.28	2000	0.1268	0.9333
0.1774	1.31	2050	0.1689	0.9267
0.2052	1.34	2100	0.1317	0.94
0.1728	1.38	2150	0.1286	0.9533
0.1816	1.41	2200	0.1280	0.9333
0.1574	1.44	2250	0.1363	0.94
0.1907	1.47	2300	0.1229	0.9533
0.2032	1.5	2350	0.1036	0.96
0.1636	1.54	2400	0.1061	0.9533
0.1795	1.57	2450	0.1414	0.9333
0.1497	1.6	2500	0.1401	0.94
0.2026	1.63	2550	0.1462	0.9333
0.1797	1.66	2600	0.1355	0.9467
0.1612	1.7	2650	0.1283	0.9533
0.1922	1.73	2700	0.1235	0.9467
0.1321	1.76	2750	0.1336	0.9467
0.1908	1.79	2800	0.1518	0.94
0.1684	1.82	2850	0.1394	0.9533
0.1746	1.86	2900	0.1489	0.94
0.141	1.89	2950	0.1063	0.9667
0.1906	1.92	3000	0.1213	0.9467
0.1613	1.95	3050	0.1364	0.9467
0.2177	1.98	3100	0.1263	0.9533
0.1458	2.02	3150	0.1208	0.9533
0.1435	2.05	3200	0.1195	0.96
0.0988	2.08	3250	0.1282	0.96
0.1428	2.11	3300	0.1619	0.9467
0.1058	2.14	3350	0.1586	0.9467
0.149	2.18	3400	0.1502	0.9533
0.1188	2.21	3450	0.1954	0.9267
0.1482	2.24	3500	0.1797	0.94
0.1593	2.27	3550	0.1643	0.94
0.1543	2.3	3600	0.1505	0.94
0.1417	2.34	3650	0.1393	0.9467
0.1074	2.37	3700	0.1479	0.94
0.0966	2.4	3750	0.1819	0.9267
0.1114	2.43	3800	0.1515	0.94
0.1172	2.46	3850	0.1713	0.9467
0.0834	2.5	3900	0.1616	0.94
0.0987	2.53	3950	0.1986	0.9333
0.1317	2.56	4000	0.1889	0.94
0.1734	2.59	4050	0.1846	0.9533
0.1134	2.62	4100	0.1554	0.9333
0.1135	2.66	4150	0.1387	0.9533
0.1143	2.69	4200	0.1496	0.9533
0.1742	2.72	4250	0.1759	0.9467
0.1408	2.75	4300	0.1724	0.9333
0.1401	2.78	4350	0.1664	0.9467
0.1116	2.82	4400	0.1975	0.9267
0.131	2.85	4450	0.1730	0.9467
0.1236	2.88	4500	0.1504	0.9533
0.1501	2.91	4550	0.1554	0.9533
0.1609	2.94	4600	0.1642	0.9467
0.1443	2.98	4650	0.2157	0.92
0.1233	3.01	4700	0.1900	0.9333
0.1171	3.04	4750	0.1507	0.9333
0.0639	3.07	4800	0.2017	0.9333
0.0935	3.1	4850	0.1952	0.94
0.088	3.13	4900	0.2251	0.9333
0.0957	3.17	4950	0.1842	0.9533
0.1002	3.2	5000	0.1668	0.9467
0.0882	3.23	5050	0.1685	0.94
0.0579	3.26	5100	0.1653	0.9467
0.0912	3.29	5150	0.1735	0.9467
0.0811	3.33	5200	0.1832	0.9467
0.1104	3.36	5250	0.1755	0.9533
0.0785	3.39	5300	0.2030	0.9467
0.083	3.42	5350	0.1944	0.94
0.0769	3.45	5400	0.2107	0.94
0.0877	3.49	5450	0.1847	0.9467
0.083	3.52	5500	0.1751	0.9467
0.1179	3.55	5550	0.1765	0.9467
0.0965	3.58	5600	0.1905	0.94
0.0648	3.61	5650	0.2025	0.9333
0.0735	3.65	5700	0.2003	0.94
0.0857	3.68	5750	0.2074	0.94
0.0782	3.71	5800	0.1889	0.9467
0.0851	3.74	5850	0.1929	0.9533
0.0979	3.77	5900	0.2160	0.9333
0.0727	3.81	5950	0.2180	0.9333
0.1098	3.84	6000	0.1844	0.9467
0.0828	3.87	6050	0.1925	0.94
0.0865	3.9	6100	0.1895	0.9467
0.07	3.93	6150	0.1910	0.9467
0.0984	3.97	6200	0.1954	0.9467
0.1123	4.0	6250	0.2012	0.94
0.0674	4.03	6300	0.1938	0.94
0.1234	4.06	6350	0.2086	0.94
0.0599	4.09	6400	0.2169	0.9333
0.0603	4.13	6450	0.2116	0.94
0.0411	4.16	6500	0.2072	0.94
0.0784	4.19	6550	0.1993	0.9533
0.0891	4.22	6600	0.2086	0.94
0.076	4.25	6650	0.2058	0.9333
0.0653	4.29	6700	0.2164	0.9333
0.062	4.32	6750	0.2278	0.9333
0.0687	4.35	6800	0.2284	0.9333
0.0575	4.38	6850	0.2424	0.9333
0.0651	4.41	6900	0.2340	0.9333
0.0633	4.45	6950	0.2346	0.9333
0.109	4.48	7000	0.2319	0.9333
0.1	4.51	7050	0.2254	0.9333
0.085	4.54	7100	0.2141	0.9333
0.068	4.57	7150	0.2154	0.94
0.0852	4.61	7200	0.2206	0.94
0.0821	4.64	7250	0.2186	0.9333
0.0712	4.67	7300	0.2263	0.9333
0.0419	4.7	7350	0.2256	0.9333
0.0601	4.73	7400	0.2271	0.9333
0.0597	4.77	7450	0.2276	0.9333
0.0689	4.8	7500	0.2260	0.94
0.0437	4.83	7550	0.2261	0.9333
0.0636	4.86	7600	0.2289	0.9333
0.0982	4.89	7650	0.2302	0.9333
0.0392	4.93	7700	0.2316	0.9333
0.0438	4.96	7750	0.2311	0.9333
0.0753	4.99	7800	0.2309	0.9333

Framework versions

• Transformers 4.23.1
• Pytorch 1.13.0
• Datasets 2.6.1
• Tokenizers 0.13.1