swin-tiny-patch4-window7-224-finetuned-st-wsdmhar-160

This model is a fine-tuned version of microsoft/swin-tiny-patch4-window7-224 on the imagefolder dataset. It achieves the following results on the evaluation set:

• Loss: 0.1319
• Accuracy: 0.9735

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 128
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 160

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.6426	1.0	53	1.5279	0.4642
0.9084	2.0	106	0.7447	0.7028
0.6514	3.0	159	0.5340	0.7934
0.56	4.0	212	0.5470	0.7621
0.4578	5.0	265	0.3704	0.8547
0.4811	6.0	318	0.3317	0.8705
0.4211	7.0	371	0.3045	0.8764
0.3828	8.0	424	0.3240	0.8908
0.3505	9.0	477	0.2840	0.8836
0.3652	10.0	530	0.2430	0.9084
0.3385	11.0	583	0.2359	0.9153
0.3071	12.0	636	0.2899	0.8946
0.3319	13.0	689	0.2588	0.9108
0.2657	14.0	742	0.1920	0.9270
0.2423	15.0	795	0.1830	0.9370
0.2625	16.0	848	0.2116	0.9273
0.2394	17.0	901	0.1917	0.9353
0.2245	18.0	954	0.1894	0.9280
0.2123	19.0	1007	0.1768	0.9346
0.2158	20.0	1060	0.1902	0.9311
0.1943	21.0	1113	0.1704	0.9390
0.1712	22.0	1166	0.1442	0.9466
0.2073	23.0	1219	0.1279	0.9552
0.1676	24.0	1272	0.1548	0.9459
0.1775	25.0	1325	0.1371	0.9497
0.1644	26.0	1378	0.1247	0.9563
0.1652	27.0	1431	0.1547	0.9408
0.1383	28.0	1484	0.1301	0.9545
0.1268	29.0	1537	0.1484	0.9504
0.1252	30.0	1590	0.1385	0.9549
0.1288	31.0	1643	0.1368	0.9521
0.1353	32.0	1696	0.1184	0.9597
0.1585	33.0	1749	0.1218	0.9570
0.1445	34.0	1802	0.1173	0.9597
0.1381	35.0	1855	0.1160	0.9614
0.1398	36.0	1908	0.1292	0.9542
0.1138	37.0	1961	0.1135	0.9597
0.147	38.0	2014	0.0958	0.9690
0.0927	39.0	2067	0.1008	0.9663
0.1031	40.0	2120	0.1105	0.9659
0.1197	41.0	2173	0.1010	0.9656
0.1325	42.0	2226	0.1178	0.9621
0.0862	43.0	2279	0.1042	0.9659
0.1037	44.0	2332	0.1016	0.9680
0.0885	45.0	2385	0.1063	0.9649
0.1217	46.0	2438	0.1117	0.9673
0.0947	47.0	2491	0.1048	0.9673
0.0831	48.0	2544	0.1061	0.9666
0.1082	49.0	2597	0.0946	0.9680
0.0856	50.0	2650	0.1139	0.9694
0.0832	51.0	2703	0.1152	0.9618
0.0823	52.0	2756	0.0970	0.9721
0.0773	53.0	2809	0.1049	0.9683
0.0794	54.0	2862	0.1048	0.9731
0.0813	55.0	2915	0.1089	0.9669
0.079	56.0	2968	0.0982	0.9704
0.095	57.0	3021	0.1242	0.9680
0.0775	58.0	3074	0.1262	0.9676
0.0795	59.0	3127	0.1276	0.9649
0.0619	60.0	3180	0.0937	0.9704
0.0688	61.0	3233	0.1149	0.9707
0.0932	62.0	3286	0.1019	0.9700
0.0675	63.0	3339	0.1239	0.9687
0.0715	64.0	3392	0.1143	0.9669
0.0858	65.0	3445	0.1053	0.9680
0.0646	66.0	3498	0.1150	0.9694
0.0736	67.0	3551	0.1119	0.9700
0.0665	68.0	3604	0.1031	0.9721
0.0509	69.0	3657	0.1069	0.9731
0.0642	70.0	3710	0.1171	0.9704
0.0588	71.0	3763	0.1235	0.9718
0.0837	72.0	3816	0.1121	0.9700
0.0534	73.0	3869	0.1162	0.9704
0.0612	74.0	3922	0.1116	0.9697
0.0621	75.0	3975	0.1220	0.9700
0.063	76.0	4028	0.1084	0.9714
0.0604	77.0	4081	0.1180	0.9694
0.0511	78.0	4134	0.1325	0.9687
0.05	79.0	4187	0.1179	0.9680
0.072	80.0	4240	0.1516	0.9597
0.0746	81.0	4293	0.1159	0.9714
0.0544	82.0	4346	0.1201	0.9707
0.0527	83.0	4399	0.1232	0.9725
0.044	84.0	4452	0.1450	0.9700
0.0462	85.0	4505	0.1229	0.9690
0.0445	86.0	4558	0.1404	0.9669
0.0524	87.0	4611	0.1153	0.9711
0.0638	88.0	4664	0.1207	0.9707
0.0435	89.0	4717	0.1289	0.9718
0.0567	90.0	4770	0.1167	0.9700
0.0553	91.0	4823	0.1100	0.9742
0.0566	92.0	4876	0.1319	0.9721
0.0462	93.0	4929	0.1275	0.9707
0.0539	94.0	4982	0.1263	0.9711
0.0561	95.0	5035	0.1333	0.9725
0.0362	96.0	5088	0.1241	0.9704
0.0435	97.0	5141	0.1199	0.9714
0.0637	98.0	5194	0.1290	0.9707
0.0466	99.0	5247	0.1200	0.9666
0.0471	100.0	5300	0.1556	0.9656
0.0407	101.0	5353	0.1334	0.9707
0.0375	102.0	5406	0.1307	0.9707
0.0375	103.0	5459	0.1392	0.9687
0.0354	104.0	5512	0.1237	0.9714
0.0523	105.0	5565	0.1298	0.9711
0.0307	106.0	5618	0.1283	0.9687
0.0427	107.0	5671	0.1300	0.9683
0.0327	108.0	5724	0.1292	0.9711
0.0411	109.0	5777	0.1377	0.9683
0.0422	110.0	5830	0.1260	0.9697
0.044	111.0	5883	0.1183	0.9731
0.0332	112.0	5936	0.1347	0.9735
0.0302	113.0	5989	0.1251	0.9731
0.0273	114.0	6042	0.1100	0.9728
0.0442	115.0	6095	0.1368	0.9728
0.0337	116.0	6148	0.1308	0.9697
0.0395	117.0	6201	0.1198	0.9738
0.0398	118.0	6254	0.1344	0.9697
0.0362	119.0	6307	0.1243	0.9752
0.035	120.0	6360	0.1363	0.9735
0.0389	121.0	6413	0.1271	0.9756
0.0305	122.0	6466	0.1277	0.9759
0.0366	123.0	6519	0.1276	0.9704
0.0329	124.0	6572	0.1192	0.9780
0.0304	125.0	6625	0.1325	0.9728
0.0289	126.0	6678	0.1334	0.9728
0.0362	127.0	6731	0.1272	0.9707
0.0326	128.0	6784	0.1250	0.9735
0.0357	129.0	6837	0.1255	0.9749
0.0264	130.0	6890	0.1326	0.9769
0.0324	131.0	6943	0.1359	0.9752
0.0258	132.0	6996	0.1229	0.9766
0.033	133.0	7049	0.1184	0.9759
0.0259	134.0	7102	0.1416	0.9718
0.0362	135.0	7155	0.1310	0.9745
0.0263	136.0	7208	0.1434	0.9728
0.0406	137.0	7261	0.1271	0.9745
0.027	138.0	7314	0.1395	0.9728
0.0417	139.0	7367	0.1307	0.9735
0.0321	140.0	7420	0.1276	0.9742
0.0451	141.0	7473	0.1338	0.9759
0.029	142.0	7526	0.1337	0.9749
0.0337	143.0	7579	0.1315	0.9745
0.0212	144.0	7632	0.1331	0.9759
0.0301	145.0	7685	0.1291	0.9759
0.0306	146.0	7738	0.1276	0.9749
0.0283	147.0	7791	0.1275	0.9731
0.0291	148.0	7844	0.1293	0.9752
0.0265	149.0	7897	0.1381	0.9749
0.0326	150.0	7950	0.1308	0.9742
0.0301	151.0	8003	0.1279	0.9731
0.021	152.0	8056	0.1312	0.9735
0.0186	153.0	8109	0.1364	0.9735
0.0322	154.0	8162	0.1367	0.9725
0.0229	155.0	8215	0.1347	0.9745
0.0249	156.0	8268	0.1360	0.9728
0.0312	157.0	8321	0.1325	0.9731
0.0295	158.0	8374	0.1315	0.9735
0.0234	159.0	8427	0.1308	0.9738
0.0239	160.0	8480	0.1319	0.9735

Framework versions

• Transformers 4.43.2
• Pytorch 2.3.1+cu118
• Datasets 2.20.0
• Tokenizers 0.19.1