Public100_1L_BERT_20epoch_notweettokenizer

This model is a fine-tuned version of Youssef320/LSTM-finetuned-50label-15epoch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 3.5924
• Top 1 Macro F1 Score: 0.1416
• Top 1 Weighted F1score: 0.1916
• Top 3 Macro F1 Score: 0.2701
• Top3 3 Weighted F1 Score : 0.3431

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0002
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• gradient_accumulation_steps: 32
• total_train_batch_size: 2048
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: constant
• num_epochs: 20.0

Training results

Training Loss	Epoch	Step	Validation Loss	Top 1 Macro F1 Score	Top 1 Weighted F1score	Top 3 Macro F1 Score	Top3 3 Weighted F1 Score
3.9476	0.12	64	3.8956	0.0154	0.0435	0.0778	0.1518
3.7671	0.25	128	3.7204	0.0321	0.0730	0.1125	0.1998
3.6435	0.38	192	3.6285	0.0470	0.0933	0.1347	0.2295
3.6113	0.5	256	3.5790	0.0511	0.1013	0.1452	0.2450
3.5837	0.62	320	3.5457	0.0557	0.1080	0.1501	0.2515
3.5886	0.75	384	3.5189	0.0630	0.1166	0.1633	0.2631
3.5612	0.88	448	3.5018	0.0665	0.1207	0.1666	0.2677
3.5261	1.0	512	3.4790	0.0710	0.1259	0.1736	0.2763
3.4758	1.12	576	3.4725	0.0734	0.1287	0.1763	0.2780
3.4484	1.25	640	3.4608	0.0761	0.1318	0.1776	0.2808
3.4559	1.38	704	3.4483	0.0800	0.1357	0.1827	0.2846
3.4483	1.5	768	3.4403	0.0790	0.1340	0.1831	0.2839
3.4488	1.62	832	3.4306	0.0833	0.1394	0.1888	0.2917
3.4398	1.75	896	3.4241	0.0825	0.1383	0.1880	0.2908
3.4068	1.88	960	3.4159	0.0807	0.1364	0.1890	0.2898
3.4246	2.0	1024	3.4081	0.0864	0.1426	0.1965	0.2976
3.3525	2.12	1088	3.4119	0.0897	0.1473	0.1990	0.3016
3.3207	2.25	1152	3.4120	0.0882	0.1445	0.1986	0.2991
3.3495	2.38	1216	3.4062	0.0896	0.1460	0.1993	0.2999
3.3679	2.5	1280	3.3947	0.0922	0.1489	0.2028	0.3023
3.3537	2.62	1344	3.3908	0.0919	0.1484	0.2050	0.3043
3.3593	2.75	1408	3.3848	0.0938	0.1514	0.2056	0.3066
3.3545	2.88	1472	3.3797	0.0931	0.1506	0.2057	0.3042
3.3591	3.0	1536	3.3719	0.0960	0.1534	0.2087	0.3105
3.2401	3.12	1600	3.3882	0.0976	0.1548	0.2111	0.3093
3.2436	3.25	1664	3.3915	0.0966	0.1532	0.2081	0.3081
3.2566	3.38	1728	3.3859	0.0966	0.1529	0.2111	0.3076
3.284	3.5	1792	3.3851	0.0979	0.1543	0.2144	0.3104
3.2874	3.62	1856	3.3747	0.0997	0.1577	0.2164	0.3130
3.2583	3.75	1920	3.3705	0.0975	0.1543	0.2135	0.3101
3.2894	3.88	1984	3.3630	0.0993	0.1558	0.2168	0.3125
3.2938	4.0	2048	3.3581	0.1002	0.1579	0.2194	0.3163
3.1876	4.12	2112	3.3837	0.1020	0.1606	0.2183	0.3148
3.1862	4.25	2176	3.3821	0.1006	0.1578	0.2167	0.3124
3.2146	4.38	2240	3.3766	0.0999	0.1571	0.2203	0.3142
3.2184	4.5	2304	3.3691	0.1039	0.1603	0.2236	0.3181
3.1851	4.62	2368	3.3677	0.1007	0.1584	0.2207	0.3144
3.2276	4.75	2432	3.3640	0.1044	0.1631	0.2242	0.3185
3.2099	4.88	2496	3.3576	0.1057	0.1615	0.2293	0.3186
3.2162	5.0	2560	3.3523	0.1071	0.1635	0.2296	0.3223
3.1196	5.12	2624	3.3784	0.1082	0.1649	0.2268	0.3204
3.1171	5.25	2688	3.3842	0.1061	0.1629	0.2270	0.3189
3.1548	5.38	2752	3.3796	0.1066	0.1630	0.2293	0.3198
3.1555	5.5	2816	3.3660	0.1093	0.1659	0.2295	0.3223
3.151	5.62	2880	3.3707	0.1078	0.1646	0.2242	0.3195
3.1547	5.75	2944	3.3622	0.1079	0.1639	0.2310	0.3212
3.1672	5.88	3008	3.3592	0.1090	0.1658	0.2316	0.3224
3.1675	6.0	3072	3.3489	0.1110	0.1668	0.2320	0.3243
3.0247	6.12	3136	3.3832	0.1111	0.1656	0.2320	0.3214
3.0598	6.25	3200	3.3871	0.1089	0.1672	0.2330	0.3224
3.0756	6.38	3264	3.3814	0.1070	0.1648	0.2309	0.3214
3.0705	6.5	3328	3.3747	0.1123	0.1675	0.2343	0.3235
3.1081	6.62	3392	3.3693	0.1138	0.1686	0.2328	0.3239
3.1071	6.75	3456	3.3693	0.1144	0.1688	0.2373	0.3253
3.0873	6.88	3520	3.3653	0.1134	0.1686	0.2391	0.3255
3.0756	7.0	3584	3.3604	0.1135	0.1691	0.2368	0.3260
2.9902	7.12	3648	3.3951	0.1159	0.1685	0.2380	0.3237
2.9916	7.25	3712	3.3906	0.1171	0.1705	0.2385	0.3263
2.9935	7.38	3776	3.3849	0.1159	0.1700	0.2390	0.3258
3.0519	7.5	3840	3.3888	0.1149	0.1694	0.2372	0.3249
3.0453	7.62	3904	3.3777	0.1156	0.1697	0.2378	0.3256
3.0489	7.75	3968	3.3689	0.1180	0.1725	0.2381	0.3281
3.0915	7.88	4032	3.3688	0.1176	0.1710	0.2422	0.3284
3.068	8.0	4096	3.3630	0.1196	0.1737	0.2440	0.3311
2.936	8.12	4160	3.4107	0.1174	0.1718	0.2414	0.3276
2.9538	8.25	4224	3.4067	0.1194	0.1725	0.2418	0.3271
2.9462	8.38	4288	3.4039	0.1177	0.1736	0.2406	0.3275
2.9749	8.5	4352	3.3934	0.1187	0.1739	0.2426	0.3286
2.9765	8.62	4416	3.3843	0.1197	0.1739	0.2432	0.3296
3.0085	8.75	4480	3.3747	0.1191	0.1741	0.2425	0.3304
3.011	8.88	4544	3.3753	0.1197	0.1742	0.2421	0.3306
3.0206	9.0	4608	3.3720	0.1207	0.1744	0.2445	0.3307
2.8646	9.12	4672	3.4271	0.1209	0.1736	0.2459	0.3280
2.901	9.25	4736	3.4206	0.1208	0.1743	0.2458	0.3288
2.9068	9.38	4800	3.4083	0.1210	0.1756	0.2453	0.3305
2.9034	9.5	4864	3.4071	0.1226	0.1753	0.2471	0.3307
2.9234	9.62	4928	3.4125	0.1232	0.1754	0.2483	0.3307
2.9476	9.75	4992	3.3911	0.1232	0.1759	0.2499	0.3324
2.9721	9.88	5056	3.3894	0.1224	0.1750	0.2500	0.3323
2.9635	10.0	5120	3.3853	0.1232	0.1757	0.2473	0.3319
2.8175	10.12	5184	3.4355	0.1234	0.1752	0.2482	0.3302
2.8413	10.25	5248	3.4343	0.1252	0.1776	0.2516	0.3321
2.8334	10.38	5312	3.4430	0.1260	0.1769	0.2509	0.3312
2.8687	10.5	5376	3.4307	0.1240	0.1763	0.2467	0.3298
2.8712	10.62	5440	3.4227	0.1254	0.1777	0.2519	0.3330
2.932	10.75	5504	3.4023	0.1244	0.1791	0.2523	0.3353
2.9086	10.88	5568	3.4013	0.1260	0.1791	0.2505	0.3344
2.9175	11.0	5632	3.4031	0.1241	0.1773	0.2509	0.3337
2.7496	11.12	5696	3.4659	0.1259	0.1777	0.2528	0.3319
2.789	11.25	5760	3.4639	0.1271	0.1779	0.2540	0.3319
2.8063	11.38	5824	3.4506	0.1241	0.1773	0.2534	0.3320
2.8347	11.5	5888	3.4467	0.1257	0.1783	0.2548	0.3333
2.86	11.62	5952	3.4319	0.1261	0.1784	0.2533	0.3341
2.8587	11.75	6016	3.4353	0.1292	0.1805	0.2573	0.3355
2.8614	11.88	6080	3.4346	0.1271	0.1804	0.2548	0.3361
2.8685	12.0	6144	3.4163	0.1284	0.1810	0.2558	0.3361
2.7086	12.12	6208	3.4749	0.1299	0.1812	0.2554	0.3351
2.7243	12.25	6272	3.4758	0.1309	0.1802	0.2575	0.3341
2.7587	12.38	6336	3.4686	0.1269	0.1793	0.2553	0.3340
2.7425	12.5	6400	3.4612	0.1297	0.1800	0.2565	0.3341
2.8271	12.62	6464	3.4618	0.1310	0.1806	0.2578	0.3343
2.8029	12.75	6528	3.4484	0.1318	0.1821	0.2596	0.3362
2.7919	12.88	6592	3.4504	0.1277	0.1797	0.2540	0.3347
2.8563	13.0	6656	3.4359	0.1302	0.1827	0.2576	0.3373
2.64	13.12	6720	3.5101	0.1317	0.1816	0.2598	0.3350
2.6662	13.25	6784	3.5056	0.1319	0.1822	0.2585	0.3347
2.6846	13.38	6848	3.5022	0.1319	0.1824	0.2586	0.3355
2.7247	13.5	6912	3.4979	0.1308	0.1819	0.2575	0.3342
2.765	13.62	6976	3.4800	0.1308	0.1820	0.2592	0.3362
2.7755	13.75	7040	3.4690	0.1319	0.1835	0.2614	0.3385
2.7942	13.88	7104	3.4701	0.1307	0.1834	0.2596	0.3382
2.7924	14.0	7168	3.4530	0.1315	0.1833	0.2612	0.3384
2.629	14.12	7232	3.5201	0.1325	0.1843	0.2576	0.3369
2.6385	14.25	7296	3.5230	0.1319	0.1830	0.2605	0.3366
2.6686	14.38	7360	3.5289	0.1350	0.1833	0.2611	0.3360
2.6554	14.5	7424	3.5077	0.1330	0.1834	0.2615	0.3359
2.6983	14.62	7488	3.5098	0.1341	0.1838	0.2624	0.3372
2.7053	14.75	7552	3.4997	0.1337	0.1850	0.2643	0.3391
2.7072	14.88	7616	3.4865	0.1326	0.1831	0.2622	0.3385
2.7289	15.0	7680	3.4797	0.1315	0.1832	0.2607	0.3382
2.5489	15.12	7744	3.5449	0.1321	0.1831	0.2605	0.3354
2.5588	15.25	7808	3.5659	0.1327	0.1844	0.2621	0.3368
2.6278	15.38	7872	3.5455	0.1345	0.1856	0.2609	0.3372
2.6577	15.5	7936	3.5211	0.1356	0.1858	0.2627	0.3392
2.6756	15.62	8000	3.5211	0.1345	0.1849	0.2624	0.3386
2.6792	15.75	8064	3.5099	0.1349	0.1860	0.2636	0.3387
2.7076	15.88	8128	3.5140	0.1364	0.1864	0.2663	0.3394
2.6966	16.0	8192	3.5095	0.1363	0.1872	0.2660	0.3412
2.5254	16.12	8256	3.5661	0.1326	0.1850	0.2626	0.3374
2.5661	16.25	8320	3.5637	0.1341	0.1862	0.2618	0.3377
2.6016	16.38	8384	3.5735	0.1349	0.1860	0.2646	0.3384
2.599	16.5	8448	3.5743	0.1361	0.1870	0.2660	0.3396
2.5939	16.62	8512	3.5511	0.1354	0.1849	0.2665	0.3389
2.6532	16.75	8576	3.5462	0.1362	0.1868	0.2660	0.3401
2.6507	16.88	8640	3.5305	0.1354	0.1867	0.2661	0.3405
2.6816	17.0	8704	3.5186	0.1371	0.1883	0.2682	0.3427
2.5029	17.12	8768	3.5992	0.1370	0.1865	0.2662	0.3386
2.5321	17.25	8832	3.5813	0.1359	0.1873	0.2647	0.3390
2.5431	17.38	8896	3.6024	0.1378	0.1869	0.2675	0.3396
2.5516	17.5	8960	3.5993	0.1362	0.1863	0.2676	0.3386
2.5854	17.62	9024	3.5717	0.1359	0.1875	0.2644	0.3398
2.6053	17.75	9088	3.5717	0.1361	0.1875	0.2660	0.3402
2.5922	17.88	9152	3.5571	0.1374	0.1889	0.2671	0.3417
2.6054	18.0	9216	3.5500	0.1385	0.1893	0.2680	0.3419
2.4719	18.12	9280	3.6322	0.1388	0.1885	0.2681	0.3392
2.5108	18.25	9344	3.6259	0.1382	0.1876	0.2689	0.3384
2.5403	18.38	9408	3.6152	0.1387	0.1889	0.2684	0.3408
2.5282	18.5	9472	3.6076	0.1384	0.1905	0.2686	0.3425
2.5471	18.62	9536	3.5930	0.1388	0.1895	0.2693	0.3417
2.5404	18.75	9600	3.6039	0.1386	0.1905	0.2686	0.3426
2.5889	18.88	9664	3.5814	0.1393	0.1890	0.2681	0.3420
2.6072	19.0	9728	3.5757	0.1405	0.1915	0.2694	0.3436
2.4302	19.12	9792	3.6515	0.1404	0.1893	0.2675	0.3399
2.4458	19.25	9856	3.6381	0.1398	0.1892	0.2679	0.3407
2.4839	19.38	9920	3.6380	0.1407	0.1903	0.2698	0.3413
2.4615	19.5	9984	3.6431	0.1416	0.1909	0.2699	0.3422
2.5243	19.62	10048	3.6180	0.1400	0.1891	0.2709	0.3408
2.4949	19.75	10112	3.6116	0.1387	0.1899	0.2685	0.3421
2.5115	19.88	10176	3.6154	0.1404	0.1900	0.2711	0.3428
2.5604	20.0	10240	3.5924	0.1416	0.1916	0.2701	0.3431

Framework versions

• Transformers 4.20.1
• Pytorch 1.12.1+cu102
• Datasets 2.0.0
• Tokenizers 0.11.0