vit-small_rvl_cdip_100_examples_per_class_kd_CEKD_t1.5_a0.7

This model is a fine-tuned version of WinKawaks/vit-small-patch16-224 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 1.2544
• Accuracy: 0.6375
• Brier Loss: 0.4805
• Nll: 3.0517
• F1 Micro: 0.6375
• F1 Macro: 0.6394
• Ece: 0.1654
• Aurc: 0.1376

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	1.0	25	3.2176	0.1275	0.9297	15.5568	0.1275	0.1255	0.1544	0.8595
No log	2.0	50	2.4392	0.405	0.7503	9.6083	0.405	0.3723	0.1816	0.3640
No log	3.0	75	1.9211	0.5025	0.6287	5.6023	0.5025	0.4930	0.1991	0.2451
No log	4.0	100	1.7474	0.5375	0.5956	4.5712	0.5375	0.5387	0.1677	0.2244
No log	5.0	125	1.7107	0.535	0.6051	4.3431	0.535	0.5180	0.1796	0.2269
No log	6.0	150	1.7144	0.545	0.5988	3.6699	0.545	0.5455	0.1918	0.2253
No log	7.0	175	1.9096	0.5625	0.6262	4.6856	0.5625	0.5459	0.1966	0.2362
No log	8.0	200	1.6325	0.575	0.5815	3.9279	0.575	0.5705	0.1893	0.2026
No log	9.0	225	1.8268	0.56	0.6088	4.5140	0.56	0.5482	0.1976	0.2213
No log	10.0	250	1.9253	0.5575	0.6493	4.2860	0.5575	0.5427	0.2286	0.2445
No log	11.0	275	1.6941	0.5725	0.5940	3.9317	0.5725	0.5827	0.2019	0.2232
No log	12.0	300	1.8197	0.5575	0.6138	4.7928	0.5575	0.5476	0.2079	0.2240
No log	13.0	325	1.8958	0.54	0.6508	4.2978	0.54	0.5338	0.2379	0.2357
No log	14.0	350	1.8939	0.535	0.6522	4.5557	0.535	0.5143	0.2324	0.2350
No log	15.0	375	1.8018	0.585	0.6042	4.4728	0.585	0.5829	0.2205	0.2182
No log	16.0	400	1.7645	0.5975	0.5978	3.9939	0.5975	0.5992	0.2130	0.1927
No log	17.0	425	1.6392	0.5925	0.5842	3.6783	0.5925	0.6039	0.1986	0.2017
No log	18.0	450	1.6124	0.5875	0.5761	4.0535	0.5875	0.5721	0.2060	0.1792
No log	19.0	475	1.7517	0.585	0.6102	3.9076	0.585	0.5786	0.2082	0.2071
0.6436	20.0	500	1.7467	0.5575	0.6166	3.5052	0.5575	0.5476	0.2252	0.2247
0.6436	21.0	525	1.6719	0.5825	0.5745	4.1235	0.5825	0.5877	0.1831	0.1723
0.6436	22.0	550	1.4222	0.605	0.5237	3.2051	0.605	0.6083	0.1813	0.1559
0.6436	23.0	575	1.6436	0.595	0.5701	4.3949	0.595	0.5834	0.1921	0.1901
0.6436	24.0	600	1.4244	0.6075	0.5197	3.3207	0.6075	0.6100	0.1548	0.1616
0.6436	25.0	625	1.4567	0.6075	0.5356	3.5288	0.6075	0.6107	0.1768	0.1652
0.6436	26.0	650	1.5889	0.595	0.5587	4.1521	0.595	0.5907	0.1943	0.1768
0.6436	27.0	675	1.4828	0.5725	0.5532	3.4259	0.5725	0.5720	0.2125	0.1803
0.6436	28.0	700	1.4671	0.5975	0.5509	3.2612	0.5975	0.6006	0.1983	0.1797
0.6436	29.0	725	1.4049	0.6225	0.5273	3.3136	0.6225	0.6237	0.1995	0.1600
0.6436	30.0	750	1.4039	0.6175	0.5208	3.2588	0.6175	0.6063	0.1770	0.1534
0.6436	31.0	775	1.4333	0.6	0.5378	3.6417	0.6	0.5995	0.1899	0.1632
0.6436	32.0	800	1.3311	0.64	0.5032	3.0056	0.64	0.6394	0.1699	0.1476
0.6436	33.0	825	1.3361	0.61	0.5079	3.2304	0.61	0.6123	0.1536	0.1517
0.6436	34.0	850	1.2984	0.64	0.4982	3.1446	0.64	0.6444	0.1636	0.1424
0.6436	35.0	875	1.3153	0.6275	0.4995	3.0722	0.6275	0.6288	0.1634	0.1486
0.6436	36.0	900	1.2773	0.6375	0.4880	2.7136	0.6375	0.6422	0.1606	0.1411
0.6436	37.0	925	1.2881	0.64	0.4946	3.0452	0.64	0.6437	0.1732	0.1440
0.6436	38.0	950	1.2609	0.64	0.4824	2.7407	0.64	0.6430	0.1485	0.1424
0.6436	39.0	975	1.2685	0.645	0.4869	2.7203	0.645	0.6484	0.1680	0.1398
0.0861	40.0	1000	1.2546	0.635	0.4808	2.7042	0.635	0.6356	0.1669	0.1416
0.0861	41.0	1025	1.2599	0.6425	0.4858	2.6880	0.6425	0.6457	0.1539	0.1387
0.0861	42.0	1050	1.2413	0.635	0.4783	2.8343	0.635	0.6361	0.1679	0.1369
0.0861	43.0	1075	1.2670	0.6325	0.4901	2.8366	0.6325	0.6337	0.1501	0.1399
0.0861	44.0	1100	1.2793	0.63	0.4919	3.1711	0.63	0.6309	0.1672	0.1465
0.0861	45.0	1125	1.2555	0.635	0.4844	2.9284	0.635	0.6379	0.1791	0.1401
0.0861	46.0	1150	1.2491	0.635	0.4806	2.8475	0.635	0.6358	0.1611	0.1392
0.0861	47.0	1175	1.2533	0.6325	0.4837	2.8229	0.6325	0.6352	0.1623	0.1378
0.0861	48.0	1200	1.2602	0.635	0.4857	2.9963	0.635	0.6368	0.1535	0.1426
0.0861	49.0	1225	1.2598	0.635	0.4848	2.8569	0.635	0.6370	0.1718	0.1389
0.0861	50.0	1250	1.2577	0.6225	0.4839	2.8645	0.6225	0.6237	0.1678	0.1420
0.0861	51.0	1275	1.2547	0.63	0.4817	2.8344	0.63	0.6314	0.1721	0.1399
0.0861	52.0	1300	1.2525	0.64	0.4819	2.7720	0.64	0.6411	0.1567	0.1378
0.0861	53.0	1325	1.2627	0.6325	0.4854	2.9202	0.6325	0.6337	0.1688	0.1406
0.0861	54.0	1350	1.2565	0.63	0.4836	2.8392	0.63	0.6320	0.1612	0.1404
0.0861	55.0	1375	1.2514	0.6325	0.4813	2.9887	0.6325	0.6343	0.1652	0.1386
0.0861	56.0	1400	1.2541	0.6275	0.4822	2.9067	0.6275	0.6296	0.1649	0.1401
0.0861	57.0	1425	1.2529	0.64	0.4810	2.9166	0.64	0.6432	0.1765	0.1372
0.0861	58.0	1450	1.2464	0.6275	0.4799	2.9713	0.6275	0.6291	0.1653	0.1401
0.0861	59.0	1475	1.2576	0.63	0.4826	2.9124	0.63	0.6323	0.1557	0.1397
0.0496	60.0	1500	1.2494	0.63	0.4804	2.8355	0.63	0.6317	0.1672	0.1390
0.0496	61.0	1525	1.2496	0.6325	0.4803	2.9091	0.6325	0.6352	0.1510	0.1383
0.0496	62.0	1550	1.2592	0.6375	0.4838	2.8980	0.6375	0.6384	0.1758	0.1398
0.0496	63.0	1575	1.2504	0.63	0.4806	2.9843	0.63	0.6316	0.1691	0.1391
0.0496	64.0	1600	1.2528	0.6325	0.4810	2.9045	0.6325	0.6349	0.1737	0.1388
0.0496	65.0	1625	1.2589	0.6425	0.4833	2.9817	0.6425	0.6447	0.1719	0.1380
0.0496	66.0	1650	1.2531	0.63	0.4811	2.9027	0.63	0.6321	0.1751	0.1391
0.0496	67.0	1675	1.2520	0.635	0.4808	2.9794	0.635	0.6379	0.1715	0.1378
0.0496	68.0	1700	1.2543	0.64	0.4815	2.9771	0.64	0.6420	0.1562	0.1380
0.0496	69.0	1725	1.2538	0.6325	0.4808	2.9080	0.6325	0.6345	0.1681	0.1385
0.0496	70.0	1750	1.2543	0.6325	0.4813	2.9102	0.6325	0.6347	0.1725	0.1390
0.0496	71.0	1775	1.2534	0.6325	0.4809	2.9778	0.6325	0.6353	0.1495	0.1385
0.0496	72.0	1800	1.2539	0.6375	0.4809	2.9024	0.6375	0.6394	0.1588	0.1381
0.0496	73.0	1825	1.2531	0.635	0.4806	2.9812	0.635	0.6378	0.1552	0.1380
0.0496	74.0	1850	1.2531	0.635	0.4805	2.9783	0.635	0.6377	0.1700	0.1380
0.0496	75.0	1875	1.2533	0.6375	0.4809	2.9772	0.6375	0.6400	0.1645	0.1372
0.0496	76.0	1900	1.2539	0.6375	0.4808	2.9777	0.6375	0.6393	0.1675	0.1376
0.0496	77.0	1925	1.2537	0.635	0.4808	2.9832	0.635	0.6375	0.1648	0.1381
0.0496	78.0	1950	1.2539	0.6375	0.4807	2.9769	0.6375	0.6394	0.1636	0.1374
0.0496	79.0	1975	1.2534	0.6375	0.4805	2.9796	0.6375	0.6399	0.1599	0.1375
0.048	80.0	2000	1.2537	0.6375	0.4806	3.0539	0.6375	0.6399	0.1657	0.1375
0.048	81.0	2025	1.2535	0.6375	0.4805	3.0534	0.6375	0.6399	0.1728	0.1375
0.048	82.0	2050	1.2539	0.6375	0.4806	2.9831	0.6375	0.6393	0.1674	0.1375
0.048	83.0	2075	1.2542	0.6375	0.4807	3.0538	0.6375	0.6399	0.1674	0.1375
0.048	84.0	2100	1.2539	0.6375	0.4805	3.0531	0.6375	0.6394	0.1564	0.1375
0.048	85.0	2125	1.2542	0.6375	0.4806	3.0531	0.6375	0.6393	0.1676	0.1376
0.048	86.0	2150	1.2541	0.6375	0.4806	3.0527	0.6375	0.6399	0.1691	0.1375
0.048	87.0	2175	1.2542	0.6375	0.4805	3.0525	0.6375	0.6394	0.1677	0.1376
0.048	88.0	2200	1.2542	0.6375	0.4806	3.0525	0.6375	0.6393	0.1651	0.1375
0.048	89.0	2225	1.2543	0.6375	0.4805	3.0525	0.6375	0.6394	0.1601	0.1375
0.048	90.0	2250	1.2543	0.6375	0.4805	3.0521	0.6375	0.6394	0.1661	0.1375
0.048	91.0	2275	1.2541	0.6375	0.4805	3.0521	0.6375	0.6394	0.1665	0.1376
0.048	92.0	2300	1.2542	0.6375	0.4805	3.0521	0.6375	0.6394	0.1638	0.1375
0.048	93.0	2325	1.2544	0.6375	0.4805	3.0518	0.6375	0.6394	0.1671	0.1376
0.048	94.0	2350	1.2543	0.6375	0.4805	3.0519	0.6375	0.6394	0.1601	0.1376
0.048	95.0	2375	1.2544	0.6375	0.4805	3.0518	0.6375	0.6394	0.1638	0.1376
0.048	96.0	2400	1.2544	0.6375	0.4805	3.0518	0.6375	0.6394	0.1638	0.1376
0.048	97.0	2425	1.2544	0.6375	0.4805	3.0517	0.6375	0.6394	0.1655	0.1376
0.048	98.0	2450	1.2544	0.6375	0.4805	3.0517	0.6375	0.6394	0.1638	0.1376
0.048	99.0	2475	1.2544	0.6375	0.4805	3.0517	0.6375	0.6394	0.1654	0.1376
0.0478	100.0	2500	1.2544	0.6375	0.4805	3.0517	0.6375	0.6394	0.1654	0.1376

Framework versions

• Transformers 4.28.0.dev0
• Pytorch 1.12.1+cu113
• Datasets 2.12.0
• Tokenizers 0.12.1