IMDB_BERT_5E

This model is a fine-tuned version of bert-base-cased on the imdb dataset. It achieves the following results on the evaluation set:

• Loss: 0.2316
• Accuracy: 0.9533

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.7094	0.03	50	0.6527	0.6467
0.5867	0.06	100	0.3681	0.8533
0.3441	0.1	150	0.2455	0.9
0.3052	0.13	200	0.3143	0.88
0.2991	0.16	250	0.1890	0.92
0.2954	0.19	300	0.2012	0.9267
0.2723	0.22	350	0.2178	0.9333
0.255	0.26	400	0.1740	0.9267
0.2675	0.29	450	0.1667	0.9467
0.3071	0.32	500	0.1766	0.9333
0.2498	0.35	550	0.1928	0.9267
0.2402	0.38	600	0.1334	0.94
0.2449	0.42	650	0.1332	0.9467
0.2298	0.45	700	0.1375	0.9333
0.2625	0.48	750	0.1529	0.9467
0.2459	0.51	800	0.1621	0.94
0.2499	0.54	850	0.1606	0.92
0.2405	0.58	900	0.1375	0.94
0.208	0.61	950	0.1697	0.94
0.2642	0.64	1000	0.1507	0.9467
0.2272	0.67	1050	0.1478	0.94
0.2769	0.7	1100	0.1423	0.9467
0.2293	0.74	1150	0.1434	0.9467
0.2212	0.77	1200	0.1371	0.9533
0.2176	0.8	1250	0.1380	0.9533
0.2269	0.83	1300	0.1453	0.9467
0.2422	0.86	1350	0.1450	0.9467
0.2141	0.9	1400	0.1775	0.9467
0.235	0.93	1450	0.1302	0.9467
0.2275	0.96	1500	0.1304	0.9467
0.2282	0.99	1550	0.1620	0.9533
0.1898	1.02	1600	0.1482	0.9333
0.1677	1.06	1650	0.1304	0.9533
0.1533	1.09	1700	0.1270	0.96
0.1915	1.12	1750	0.1601	0.9533
0.1687	1.15	1800	0.1515	0.9467
0.1605	1.18	1850	0.1729	0.9467
0.1731	1.22	1900	0.1529	0.94
0.1308	1.25	1950	0.1577	0.96
0.1792	1.28	2000	0.1668	0.9333
0.1987	1.31	2050	0.1613	0.9533
0.1782	1.34	2100	0.1542	0.96
0.199	1.38	2150	0.1437	0.9533
0.1224	1.41	2200	0.1674	0.96
0.1854	1.44	2250	0.1831	0.9533
0.1622	1.47	2300	0.1403	0.9533
0.1586	1.5	2350	0.1417	0.96
0.1375	1.54	2400	0.1409	0.9533
0.1401	1.57	2450	0.1759	0.96
0.1999	1.6	2500	0.1172	0.96
0.1746	1.63	2550	0.1479	0.96
0.1983	1.66	2600	0.1498	0.9467
0.1658	1.7	2650	0.1375	0.9533
0.1492	1.73	2700	0.1504	0.9667
0.1435	1.76	2750	0.1340	0.9667
0.1473	1.79	2800	0.1262	0.9667
0.1692	1.82	2850	0.1323	0.9533
0.1567	1.86	2900	0.1339	0.96
0.1615	1.89	2950	0.1204	0.9667
0.1677	1.92	3000	0.1202	0.9667
0.1426	1.95	3050	0.1310	0.96
0.1754	1.98	3100	0.1469	0.9533
0.1395	2.02	3150	0.1663	0.96
0.0702	2.05	3200	0.1399	0.9733
0.1351	2.08	3250	0.1520	0.9667
0.1194	2.11	3300	0.1410	0.9667
0.1087	2.14	3350	0.1361	0.9733
0.1245	2.18	3400	0.1490	0.9533
0.1285	2.21	3450	0.1799	0.96
0.0801	2.24	3500	0.1776	0.9533
0.117	2.27	3550	0.1756	0.9667
0.1105	2.3	3600	0.1749	0.9533
0.1359	2.34	3650	0.1750	0.96
0.1328	2.37	3700	0.1857	0.9533
0.1201	2.4	3750	0.1834	0.9533
0.1239	2.43	3800	0.1923	0.9533
0.0998	2.46	3850	0.1882	0.9533
0.0907	2.5	3900	0.1722	0.96
0.1214	2.53	3950	0.1787	0.96
0.0858	2.56	4000	0.1927	0.96
0.1384	2.59	4050	0.1312	0.96
0.0951	2.62	4100	0.1348	0.96
0.1325	2.66	4150	0.1652	0.9533
0.1429	2.69	4200	0.1603	0.9533
0.0923	2.72	4250	0.2141	0.94
0.1336	2.75	4300	0.1348	0.9733
0.0893	2.78	4350	0.1356	0.9667
0.1057	2.82	4400	0.1932	0.9533
0.0928	2.85	4450	0.1868	0.9533
0.0586	2.88	4500	0.1620	0.96
0.1426	2.91	4550	0.1944	0.9533
0.1394	2.94	4600	0.1630	0.96
0.0785	2.98	4650	0.1560	0.9667
0.0772	3.01	4700	0.2093	0.9467
0.0565	3.04	4750	0.1785	0.96
0.0771	3.07	4800	0.2361	0.9467
0.0634	3.1	4850	0.1809	0.96
0.0847	3.13	4900	0.1496	0.9733
0.0526	3.17	4950	0.1620	0.9667
0.0796	3.2	5000	0.1764	0.9667
0.0786	3.23	5050	0.1798	0.9667
0.0531	3.26	5100	0.1698	0.9667
0.0445	3.29	5150	0.2088	0.96
0.1212	3.33	5200	0.1842	0.9533
0.0825	3.36	5250	0.2016	0.9533
0.0782	3.39	5300	0.1775	0.9533
0.0627	3.42	5350	0.1656	0.96
0.0898	3.45	5400	0.2331	0.9533
0.0882	3.49	5450	0.2514	0.9467
0.0798	3.52	5500	0.2090	0.9533
0.0474	3.55	5550	0.2322	0.96
0.0773	3.58	5600	0.2023	0.96
0.0862	3.61	5650	0.2247	0.96
0.0723	3.65	5700	0.2001	0.96
0.0549	3.68	5750	0.2031	0.9533
0.044	3.71	5800	0.2133	0.96
0.0644	3.74	5850	0.1876	0.9667
0.0868	3.77	5900	0.2182	0.9533
0.072	3.81	5950	0.1856	0.9667
0.092	3.84	6000	0.2120	0.96
0.0806	3.87	6050	0.2006	0.9533
0.0627	3.9	6100	0.1900	0.9533
0.0738	3.93	6150	0.1869	0.96
0.0667	3.97	6200	0.2216	0.96
0.0551	4.0	6250	0.2147	0.9533
0.0271	4.03	6300	0.2038	0.96
0.0763	4.06	6350	0.2058	0.96
0.0612	4.09	6400	0.2037	0.9533
0.0351	4.13	6450	0.2081	0.96
0.0265	4.16	6500	0.2373	0.9533
0.0391	4.19	6550	0.2264	0.9533
0.0609	4.22	6600	0.2035	0.9533
0.0435	4.25	6650	0.1989	0.96
0.0309	4.29	6700	0.2096	0.9667
0.064	4.32	6750	0.2385	0.9533
0.0388	4.35	6800	0.2071	0.96
0.0267	4.38	6850	0.2336	0.96
0.0433	4.41	6900	0.2045	0.9667
0.0596	4.45	6950	0.2013	0.96
0.0273	4.48	7000	0.2122	0.96
0.0559	4.51	7050	0.2182	0.96
0.0504	4.54	7100	0.2172	0.96
0.0536	4.57	7150	0.2406	0.9533
0.0624	4.61	7200	0.2194	0.9533
0.0668	4.64	7250	0.2156	0.96
0.0208	4.67	7300	0.2150	0.96
0.0436	4.7	7350	0.2361	0.9533
0.0285	4.73	7400	0.2175	0.96
0.0604	4.77	7450	0.2241	0.9467
0.0502	4.8	7500	0.2201	0.96
0.0342	4.83	7550	0.2232	0.96
0.0467	4.86	7600	0.2247	0.9533
0.0615	4.89	7650	0.2235	0.96
0.0769	4.93	7700	0.2302	0.9533
0.0451	4.96	7750	0.2334	0.9467
0.0532	4.99	7800	0.2316	0.9533

Framework versions

• Transformers 4.24.0
• Pytorch 1.13.0
• Datasets 2.6.1
• Tokenizers 0.13.1