vit-pretraining-2024_03_25

This model is a fine-tuned version of facebook/vit-mae-base on the imagefolder dataset. It achieves the following results on the evaluation set:

• Loss: 0.1139

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 4.6875e-06
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.05
• num_epochs: 400.0

Training results

Training Loss	Epoch	Step	Validation Loss
0.2681	1.0	3583	0.2640
0.1979	2.0	7166	0.1934
0.1697	3.0	10749	0.1721
0.1511	4.0	14332	0.1592
0.1536	5.0	17915	0.1502
0.1519	6.0	21498	0.1459
0.1396	7.0	25081	0.1418
0.1393	8.0	28664	0.1392
0.1323	9.0	32247	0.1369
0.1409	10.0	35830	0.1351
0.1297	11.0	39413	0.1339
0.1314	12.0	42996	0.1322
0.1295	13.0	46579	0.1312
0.1337	14.0	50162	0.1305
0.1283	15.0	53745	0.1296
0.1323	16.0	57328	0.1289
0.1287	17.0	60911	0.1280
0.1278	18.0	64494	0.1279
0.1315	19.0	68077	0.1271
0.1293	20.0	71660	0.1266
0.1226	21.0	75243	0.1261
0.1227	22.0	78826	0.1259
0.1198	23.0	82409	0.1250
0.1214	24.0	85992	0.1245
0.1255	25.0	89575	0.1247
0.1235	26.0	93158	0.1238
0.1257	27.0	96741	0.1238
0.1291	28.0	100324	0.1239
0.1299	29.0	103907	0.1232
0.1219	30.0	107490	0.1233
0.1208	31.0	111073	0.1231
0.1277	32.0	114656	0.1232
0.1273	33.0	118239	0.1224
0.1219	34.0	121822	0.1225
0.1194	35.0	125405	0.1228
0.1237	36.0	128988	0.1224
0.129	37.0	132571	0.1220
0.1264	38.0	136154	0.1219
0.1213	39.0	139737	0.1215
0.1208	40.0	143320	0.1215
0.1233	41.0	146903	0.1213
0.1221	42.0	150486	0.1207
0.1139	43.0	154069	0.1213
0.1208	44.0	157652	0.1211
0.1169	45.0	161235	0.1212
0.1193	46.0	164818	0.1208
0.122	47.0	168401	0.1205
0.1251	48.0	171984	0.1212
0.114	49.0	175567	0.1202
0.1196	50.0	179150	0.1207
0.1209	51.0	182733	0.1203
0.1265	52.0	186316	0.1197
0.1165	53.0	189899	0.1204
0.112	54.0	193482	0.1202
0.1194	55.0	197065	0.1199
0.1194	56.0	200648	0.1200
0.1212	57.0	204231	0.1198
0.1168	58.0	207814	0.1203
0.1246	59.0	211397	0.1197
0.1147	60.0	214980	0.1201
0.1271	61.0	218563	0.1190
0.1241	62.0	222146	0.1198
0.1149	63.0	225729	0.1189
0.1246	64.0	229312	0.1193
0.1172	65.0	232895	0.1195
0.1205	66.0	236478	0.1192
0.1129	67.0	240061	0.1188
0.118	68.0	243644	0.1192
0.1095	69.0	247227	0.1189
0.128	70.0	250810	0.1190
0.1125	71.0	254393	0.1193
0.1148	72.0	257976	0.1186
0.1195	73.0	261559	0.1186
0.1249	74.0	265142	0.1187
0.1208	75.0	268725	0.1189
0.1157	76.0	272308	0.1186
0.1186	77.0	275891	0.1183
0.1155	78.0	279474	0.1185
0.1187	79.0	283057	0.1184
0.121	80.0	286640	0.1184
0.1195	81.0	290223	0.1185
0.1183	82.0	293806	0.1184
0.1176	83.0	297389	0.1183
0.1192	84.0	300972	0.1178
0.1124	85.0	304555	0.1184
0.1175	86.0	308138	0.1183
0.1193	87.0	311721	0.1182
0.1162	88.0	315304	0.1181
0.1161	89.0	318887	0.1179
0.1189	90.0	322470	0.1180
0.1218	91.0	326053	0.1180
0.1134	92.0	329636	0.1176
0.1132	93.0	333219	0.1175
0.1211	94.0	336802	0.1182
0.1166	95.0	340385	0.1180
0.124	96.0	343968	0.1176
0.1199	97.0	347551	0.1178
0.1138	98.0	351134	0.1172
0.1151	99.0	354717	0.1182
0.118	100.0	358300	0.1177
0.1159	101.0	361883	0.1172
0.1166	102.0	365466	0.1180
0.1193	103.0	369049	0.1176
0.1194	104.0	372632	0.1180
0.1172	105.0	376215	0.1175
0.118	106.0	379798	0.1170
0.1204	107.0	383381	0.1173
0.1152	108.0	386964	0.1177
0.1194	109.0	390547	0.1174
0.1246	110.0	394130	0.1177
0.1217	111.0	397713	0.1175
0.1147	112.0	401296	0.1174
0.1218	113.0	404879	0.1172
0.1172	114.0	408462	0.1171
0.1162	115.0	412045	0.1175
0.1178	116.0	415628	0.1165
0.1149	117.0	419211	0.1170
0.1163	118.0	422794	0.1175
0.114	119.0	426377	0.1172
0.118	120.0	429960	0.1172
0.1167	121.0	433543	0.1173
0.1143	122.0	437126	0.1172
0.1144	123.0	440709	0.1171
0.1155	124.0	444292	0.1164
0.1152	125.0	447875	0.1170
0.116	126.0	451458	0.1171
0.1171	127.0	455041	0.1170
0.1143	128.0	458624	0.1166
0.115	129.0	462207	0.1170
0.1182	130.0	465790	0.1171
0.1263	131.0	469373	0.1171
0.1146	132.0	472956	0.1171
0.1097	133.0	476539	0.1169
0.1154	134.0	480122	0.1165
0.1139	135.0	483705	0.1168
0.1169	136.0	487288	0.1166
0.1244	137.0	490871	0.1162
0.1139	138.0	494454	0.1167
0.1133	139.0	498037	0.1165
0.1169	140.0	501620	0.1164
0.1161	141.0	505203	0.1166
0.1163	142.0	508786	0.1164
0.1124	143.0	512369	0.1168
0.109	144.0	515952	0.1164
0.1143	145.0	519535	0.1164
0.1158	146.0	523118	0.1163
0.1194	147.0	526701	0.1160
0.1151	148.0	530284	0.1160
0.1204	149.0	533867	0.1165
0.1166	150.0	537450	0.1162
0.1169	151.0	541033	0.1165
0.122	152.0	544616	0.1164
0.1067	153.0	548199	0.1164
0.1237	154.0	551782	0.1165
0.1105	155.0	555365	0.1167
0.1072	156.0	558948	0.1162
0.1126	157.0	562531	0.1161
0.1117	158.0	566114	0.1163
0.1181	159.0	569697	0.1161
0.12	160.0	573280	0.1161
0.1147	161.0	576863	0.1163
0.1066	162.0	580446	0.1162
0.1137	163.0	584029	0.1159
0.1224	164.0	587612	0.1158
0.118	165.0	591195	0.1163
0.1143	166.0	594778	0.1161
0.1251	167.0	598361	0.1155
0.1164	168.0	601944	0.1158
0.1146	169.0	605527	0.1157
0.1145	170.0	609110	0.1159
0.1112	171.0	612693	0.1157
0.1222	172.0	616276	0.1165
0.1173	173.0	619859	0.1165
0.1124	174.0	623442	0.1161
0.1107	175.0	627025	0.1159
0.1164	176.0	630608	0.1156
0.1221	177.0	634191	0.1158
0.1231	178.0	637774	0.1159
0.1121	179.0	641357	0.1158
0.1079	180.0	644940	0.1154
0.1155	181.0	648523	0.1160
0.1139	182.0	652106	0.1159
0.1163	183.0	655689	0.1155
0.1149	184.0	659272	0.1154
0.1151	185.0	662855	0.1160
0.1146	186.0	666438	0.1160
0.1199	187.0	670021	0.1158
0.1184	188.0	673604	0.1159
0.1233	189.0	677187	0.1156
0.1093	190.0	680770	0.1156
0.1117	191.0	684353	0.1150
0.1102	192.0	687936	0.1156
0.1105	193.0	691519	0.1160
0.1151	194.0	695102	0.1159
0.119	195.0	698685	0.1153
0.1214	196.0	702268	0.1155
0.1133	197.0	705851	0.1158
0.1175	198.0	709434	0.1157
0.1148	199.0	713017	0.1154
0.114	200.0	716600	0.1154
0.1225	201.0	720183	0.1152
0.1146	202.0	723766	0.1153
0.1197	203.0	727349	0.1157
0.1167	204.0	730932	0.1158
0.1162	205.0	734515	0.1150
0.1154	206.0	738098	0.1158
0.1193	207.0	741681	0.1155
0.1168	208.0	745264	0.1153
0.1119	209.0	748847	0.1154
0.1163	210.0	752430	0.1153
0.1165	211.0	756013	0.1154
0.1135	212.0	759596	0.1155
0.1109	213.0	763179	0.1153
0.1194	214.0	766762	0.1159
0.1149	215.0	770345	0.1153
0.0999	216.0	773928	0.1154
0.1148	217.0	777511	0.1156
0.1149	218.0	781094	0.1154
0.1189	219.0	784677	0.1150
0.1166	220.0	788260	0.1155
0.1162	221.0	791843	0.1149
0.1152	222.0	795426	0.1152
0.1128	223.0	799009	0.1151
0.1072	224.0	802592	0.1151
0.1131	225.0	806175	0.1151
0.1131	226.0	809758	0.1155
0.1136	227.0	813341	0.1150
0.1165	228.0	816924	0.1147
0.1171	229.0	820507	0.1155
0.1132	230.0	824090	0.1151
0.1143	231.0	827673	0.1148
0.1112	232.0	831256	0.1148
0.1171	233.0	834839	0.1150
0.1176	234.0	838422	0.1151
0.1127	235.0	842005	0.1150
0.1174	236.0	845588	0.1148
0.1112	237.0	849171	0.1152
0.1153	238.0	852754	0.1146
0.1164	239.0	856337	0.1151
0.1195	240.0	859920	0.1150
0.1102	241.0	863503	0.1151
0.1097	242.0	867086	0.1150
0.1108	243.0	870669	0.1151
0.1125	244.0	874252	0.1149
0.1179	245.0	877835	0.1149
0.1159	246.0	881418	0.1150
0.115	247.0	885001	0.1147
0.1166	248.0	888584	0.1154
0.1113	249.0	892167	0.1147
0.1145	250.0	895750	0.1147
0.1135	251.0	899333	0.1146
0.1106	252.0	902916	0.1145
0.1115	253.0	906499	0.1150
0.1134	254.0	910082	0.1146
0.1207	255.0	913665	0.1147
0.1176	256.0	917248	0.1151
0.1159	257.0	920831	0.1152
0.1145	258.0	924414	0.1147
0.1123	259.0	927997	0.1147
0.1199	260.0	931580	0.1146
0.1132	261.0	935163	0.1143
0.1203	262.0	938746	0.1151
0.117	263.0	942329	0.1150
0.1096	264.0	945912	0.1147
0.1236	265.0	949495	0.1145
0.1203	266.0	953078	0.1145
0.1146	267.0	956661	0.1145
0.1153	268.0	960244	0.1143
0.1203	269.0	963827	0.1147
0.1096	270.0	967410	0.1151
0.1131	271.0	970993	0.1147
0.1161	272.0	974576	0.1144
0.1136	273.0	978159	0.1148
0.1106	274.0	981742	0.1146
0.1118	275.0	985325	0.1148
0.1168	276.0	988908	0.1145
0.1212	277.0	992491	0.1145
0.1183	278.0	996074	0.1147
0.1212	279.0	999657	0.1144
0.115	280.0	1003240	0.1144
0.1127	281.0	1006823	0.1147
0.1186	282.0	1010406	0.1146
0.1117	283.0	1013989	0.1145
0.1105	284.0	1017572	0.1143
0.1126	285.0	1021155	0.1142
0.1115	286.0	1024738	0.1145
0.1165	287.0	1028321	0.1144
0.1175	288.0	1031904	0.1143
0.1194	289.0	1035487	0.1140
0.1138	290.0	1039070	0.1144
0.1128	291.0	1042653	0.1148
0.1164	292.0	1046236	0.1144
0.116	293.0	1049819	0.1147
0.1112	294.0	1053402	0.1146
0.1121	295.0	1056985	0.1143
0.1203	296.0	1060568	0.1146
0.1117	297.0	1064151	0.1142
0.1139	298.0	1067734	0.1142
0.1149	299.0	1071317	0.1149
0.1149	300.0	1074900	0.1143
0.1136	301.0	1078483	0.1146
0.1113	302.0	1082066	0.1144
0.1133	303.0	1085649	0.1144
0.1112	304.0	1089232	0.1142
0.1159	305.0	1092815	0.1142
0.1167	306.0	1096398	0.1150
0.1109	307.0	1099981	0.1140
0.1201	308.0	1103564	0.1143
0.1088	309.0	1107147	0.1146
0.1148	310.0	1110730	0.1143
0.1185	311.0	1114313	0.1145
0.1176	312.0	1117896	0.1144
0.1209	313.0	1121479	0.1144
0.1092	314.0	1125062	0.1141
0.1158	315.0	1128645	0.1146
0.1122	316.0	1132228	0.1144
0.1155	317.0	1135811	0.1145
0.1119	318.0	1139394	0.1143
0.115	319.0	1142977	0.1138
0.1175	320.0	1146560	0.1143
0.1195	321.0	1150143	0.1144
0.1108	322.0	1153726	0.1145
0.1179	323.0	1157309	0.1142
0.1123	324.0	1160892	0.1141
0.1134	325.0	1164475	0.1142
0.1102	326.0	1168058	0.1144
0.114	327.0	1171641	0.1145
0.1168	328.0	1175224	0.1143
0.1152	329.0	1178807	0.1144
0.1188	330.0	1182390	0.1147
0.1201	331.0	1185973	0.1138
0.1099	332.0	1189556	0.1143
0.1141	333.0	1193139	0.1144
0.1114	334.0	1196722	0.1140
0.1117	335.0	1200305	0.1140
0.1109	336.0	1203888	0.1143
0.1161	337.0	1207471	0.1142
0.1147	338.0	1211054	0.1140
0.1189	339.0	1214637	0.1143
0.1171	340.0	1218220	0.1138
0.1127	341.0	1221803	0.1141
0.1173	342.0	1225386	0.1143
0.1159	343.0	1228969	0.1139
0.1123	344.0	1232552	0.1142
0.111	345.0	1236135	0.1142
0.1114	346.0	1239718	0.1141
0.1124	347.0	1243301	0.1141
0.1181	348.0	1246884	0.1142
0.1154	349.0	1250467	0.1144
0.1175	350.0	1254050	0.1146
0.1146	351.0	1257633	0.1146
0.1126	352.0	1261216	0.1141
0.1172	353.0	1264799	0.1141
0.1135	354.0	1268382	0.1145
0.1111	355.0	1271965	0.1140
0.1113	356.0	1275548	0.1144
0.1105	357.0	1279131	0.1144
0.1156	358.0	1282714	0.1140
0.1084	359.0	1286297	0.1142
0.1119	360.0	1289880	0.1141
0.1143	361.0	1293463	0.1141
0.1158	362.0	1297046	0.1141
0.1148	363.0	1300629	0.1143
0.1177	364.0	1304212	0.1141
0.1155	365.0	1307795	0.1143
0.109	366.0	1311378	0.1140
0.1143	367.0	1314961	0.1141
0.1135	368.0	1318544	0.1145
0.1147	369.0	1322127	0.1142
0.1164	370.0	1325710	0.1140
0.1171	371.0	1329293	0.1142
0.1158	372.0	1332876	0.1144
0.1168	373.0	1336459	0.1142
0.1159	374.0	1340042	0.1143
0.1193	375.0	1343625	0.1139
0.115	376.0	1347208	0.1139
0.1194	377.0	1350791	0.1141
0.1158	378.0	1354374	0.1143
0.1213	379.0	1357957	0.1142
0.1114	380.0	1361540	0.1139
0.1136	381.0	1365123	0.1144
0.1095	382.0	1368706	0.1144
0.1079	383.0	1372289	0.1141
0.1111	384.0	1375872	0.1142
0.1183	385.0	1379455	0.1140
0.1219	386.0	1383038	0.1144
0.109	387.0	1386621	0.1141
0.1118	388.0	1390204	0.1142
0.1139	389.0	1393787	0.1144
0.1148	390.0	1397370	0.1143
0.1127	391.0	1400953	0.1141
0.113	392.0	1404536	0.1141
0.1127	393.0	1408119	0.1140
0.1151	394.0	1411702	0.1143
0.1142	395.0	1415285	0.1147
0.1152	396.0	1418868	0.1142
0.1124	397.0	1422451	0.1137
0.1099	398.0	1426034	0.1141
0.1172	399.0	1429617	0.1145
0.1147	400.0	1433200	0.1142

Framework versions

• Transformers 4.39.0.dev0
• Pytorch 2.2.1+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2