2024-01-03_one_stage_subgraphs_weighted_entropyreg_vision_enc_all_ramp

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.8569
• Accuracy: 0.77
• Exit 0 Accuracy: 0.125
• Exit 1 Accuracy: 0.2425
• Exit 2 Accuracy: 0.0625
• Exit 3 Accuracy: 0.1925
• Exit 4 Accuracy: 0.21
• Exit 5 Accuracy: 0.4575
• Exit 6 Accuracy: 0.52
• Exit 7 Accuracy: 0.6425
• Exit 8 Accuracy: 0.2675
• Exit 9 Accuracy: 0.1225
• Exit 10 Accuracy: 0.1975
• Exit 11 Accuracy: 0.62
• Exit 12 Accuracy: 0.7725

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 24
• total_train_batch_size: 192
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy	Exit 5 Accuracy	Exit 6 Accuracy	Exit 7 Accuracy	Exit 8 Accuracy	Exit 9 Accuracy	Exit 10 Accuracy	Exit 11 Accuracy	Exit 12 Accuracy
No log	0.96	4	2.7502	0.1075	0.0675	0.0625	0.0625	0.0625	0.055	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0575
No log	1.96	8	2.6995	0.125	0.0775	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625
No log	2.96	12	2.6382	0.195	0.0725	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625
No log	3.96	16	2.5730	0.2225	0.0825	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.09
No log	4.96	20	2.4847	0.2575	0.0875	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.125
No log	5.96	24	2.3856	0.2875	0.085	0.065	0.0625	0.0625	0.0625	0.0625	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.145
No log	6.96	28	2.3006	0.3225	0.0875	0.0675	0.0625	0.0625	0.0625	0.0725	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.16
No log	7.96	32	2.1834	0.35	0.09	0.07	0.0625	0.0625	0.0625	0.0875	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.1725
No log	8.96	36	2.1047	0.3725	0.095	0.08	0.0625	0.0625	0.065	0.115	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.1975
No log	9.96	40	1.9996	0.41	0.1	0.09	0.0625	0.0625	0.065	0.1275	0.075	0.0625	0.0625	0.0625	0.0625	0.0625	0.245
No log	10.96	44	1.8974	0.455	0.1025	0.095	0.0625	0.0625	0.075	0.13	0.0775	0.0625	0.0625	0.0625	0.0625	0.0625	0.2925
No log	11.96	48	1.7907	0.525	0.105	0.095	0.0625	0.0625	0.07	0.165	0.0875	0.075	0.0625	0.0625	0.0625	0.0625	0.3425
No log	12.96	52	1.6902	0.5675	0.105	0.0925	0.0625	0.0625	0.07	0.185	0.0975	0.09	0.0625	0.0625	0.0625	0.0625	0.3425
No log	13.96	56	1.5688	0.6	0.1025	0.095	0.0625	0.0625	0.0825	0.195	0.135	0.115	0.0625	0.0625	0.0625	0.0625	0.4125
No log	14.96	60	1.4716	0.62	0.1025	0.0925	0.0625	0.0625	0.08	0.23	0.1525	0.155	0.0625	0.0625	0.0625	0.0625	0.4525
No log	15.96	64	1.3818	0.6575	0.105	0.1	0.0625	0.0625	0.0825	0.24	0.16	0.1825	0.0625	0.0625	0.0625	0.0625	0.48
No log	16.96	68	1.3021	0.6775	0.1075	0.0975	0.0625	0.0625	0.09	0.28	0.1725	0.205	0.0625	0.0625	0.0625	0.0625	0.5225
No log	17.96	72	1.2411	0.6875	0.1075	0.09	0.0625	0.0625	0.095	0.2975	0.1975	0.21	0.0625	0.0625	0.0625	0.0625	0.5625
No log	18.96	76	1.2023	0.685	0.1075	0.095	0.0625	0.0625	0.1025	0.31	0.2125	0.265	0.0625	0.0625	0.0725	0.0625	0.585
No log	19.96	80	1.1377	0.715	0.105	0.095	0.0625	0.065	0.105	0.3325	0.22	0.3375	0.0625	0.0625	0.085	0.0625	0.6
No log	20.96	84	1.0985	0.74	0.105	0.0975	0.0625	0.07	0.105	0.335	0.23	0.34	0.065	0.0625	0.0825	0.0625	0.6075
No log	21.96	88	1.0616	0.7325	0.1075	0.1025	0.0625	0.075	0.1075	0.35	0.25	0.375	0.065	0.0625	0.085	0.0625	0.6225
No log	22.96	92	1.0423	0.72	0.105	0.1	0.0625	0.0775	0.115	0.345	0.275	0.3825	0.065	0.0625	0.09	0.0625	0.64
No log	23.96	96	0.9987	0.745	0.1075	0.1025	0.0625	0.0775	0.115	0.34	0.2975	0.4075	0.065	0.0625	0.085	0.0625	0.6525
No log	24.96	100	0.9617	0.7575	0.1075	0.12	0.0625	0.085	0.1225	0.3275	0.345	0.43	0.0675	0.0625	0.0725	0.0625	0.68
No log	25.96	104	0.9811	0.7275	0.105	0.1175	0.0625	0.095	0.13	0.3425	0.36	0.44	0.07	0.0625	0.0675	0.0625	0.6625
No log	26.96	108	0.9387	0.7425	0.1125	0.1225	0.0625	0.0975	0.13	0.3525	0.37	0.4825	0.0725	0.0625	0.0725	0.0625	0.6875
No log	27.96	112	0.9197	0.7475	0.1125	0.1175	0.0625	0.1	0.1275	0.35	0.375	0.495	0.0725	0.07	0.0675	0.0625	0.7125
No log	28.96	116	0.9037	0.7675	0.11	0.12	0.0625	0.1	0.1325	0.35	0.3975	0.5025	0.08	0.0625	0.065	0.065	0.7225
No log	29.96	120	0.8910	0.7575	0.1075	0.1175	0.0625	0.105	0.14	0.3625	0.4075	0.535	0.0775	0.0725	0.0875	0.07	0.7225
No log	30.96	124	0.8866	0.76	0.1125	0.1225	0.0625	0.115	0.1475	0.36	0.4425	0.5425	0.0825	0.0725	0.085	0.0825	0.7325
No log	31.96	128	0.8825	0.75	0.1075	0.13	0.0625	0.12	0.1525	0.3675	0.4375	0.555	0.0825	0.0625	0.095	0.1	0.73
No log	32.96	132	0.8799	0.745	0.1075	0.1325	0.0625	0.1225	0.1575	0.3675	0.4475	0.555	0.0825	0.0625	0.095	0.115	0.74
No log	33.96	136	0.8526	0.755	0.1075	0.1375	0.0625	0.1225	0.16	0.385	0.44	0.5775	0.0875	0.0625	0.095	0.165	0.75
No log	34.96	140	0.8428	0.7675	0.11	0.135	0.0625	0.125	0.1675	0.3975	0.4375	0.585	0.0925	0.0625	0.0925	0.2525	0.7475
No log	35.96	144	0.8355	0.765	0.115	0.1425	0.0625	0.13	0.175	0.4075	0.4575	0.585	0.1	0.0625	0.0925	0.305	0.755
No log	36.96	148	0.8220	0.775	0.1175	0.1625	0.0625	0.13	0.1775	0.415	0.4725	0.59	0.095	0.0625	0.09	0.3525	0.7575
No log	37.96	152	0.8547	0.76	0.12	0.185	0.0625	0.1425	0.185	0.4275	0.475	0.585	0.095	0.0625	0.14	0.375	0.7525
No log	38.96	156	0.8421	0.77	0.125	0.1925	0.0625	0.145	0.18	0.43	0.4825	0.595	0.0975	0.0625	0.195	0.385	0.7575
No log	39.96	160	0.8317	0.7675	0.12	0.21	0.0625	0.15	0.1875	0.4375	0.4825	0.6	0.1125	0.0625	0.1925	0.4075	0.755
No log	40.96	164	0.8497	0.7625	0.1175	0.21	0.0625	0.15	0.19	0.4375	0.4875	0.61	0.1225	0.0625	0.1625	0.4275	0.76
No log	41.96	168	0.8372	0.7725	0.1175	0.215	0.0625	0.1525	0.1875	0.4425	0.495	0.615	0.1325	0.0625	0.1525	0.4925	0.7675
No log	42.96	172	0.8561	0.7725	0.12	0.215	0.0625	0.1525	0.195	0.455	0.495	0.6175	0.1375	0.0625	0.155	0.52	0.7675
No log	43.96	176	0.8352	0.7775	0.12	0.2175	0.0625	0.1575	0.1925	0.4425	0.495	0.615	0.1425	0.065	0.1375	0.53	0.775
No log	44.96	180	0.8401	0.7775	0.1225	0.23	0.0625	0.16	0.2	0.45	0.5	0.625	0.1625	0.065	0.1475	0.55	0.775
No log	45.96	184	0.8479	0.7725	0.1225	0.2275	0.0625	0.1675	0.205	0.4525	0.5025	0.635	0.185	0.0675	0.155	0.58	0.77
No log	46.96	188	0.8435	0.775	0.12	0.23	0.0625	0.17	0.19	0.445	0.505	0.64	0.19	0.065	0.1625	0.58	0.78
No log	47.96	192	0.8594	0.77	0.115	0.2325	0.0625	0.175	0.19	0.4525	0.51	0.64	0.215	0.085	0.1625	0.585	0.7675
No log	48.96	196	0.8651	0.7675	0.12	0.23	0.0625	0.1725	0.195	0.4575	0.5125	0.645	0.215	0.0875	0.1625	0.5875	0.7625
No log	49.96	200	0.8560	0.7675	0.125	0.2325	0.0625	0.175	0.195	0.4575	0.5125	0.6425	0.2075	0.105	0.16	0.5925	0.7725
No log	50.96	204	0.8514	0.7725	0.12	0.2375	0.0625	0.175	0.1975	0.4575	0.5175	0.6425	0.2225	0.1175	0.155	0.59	0.78
No log	51.96	208	0.8507	0.7725	0.125	0.2325	0.0625	0.175	0.2	0.455	0.52	0.64	0.2175	0.12	0.1675	0.6	0.775
No log	52.96	212	0.8547	0.7625	0.1225	0.2375	0.0625	0.185	0.2025	0.4575	0.5175	0.64	0.235	0.12	0.1775	0.6075	0.7725
No log	53.96	216	0.8589	0.77	0.125	0.2375	0.0625	0.185	0.2025	0.4625	0.52	0.645	0.2425	0.12	0.17	0.6075	0.7675
No log	54.96	220	0.8630	0.77	0.125	0.2375	0.0625	0.1925	0.205	0.46	0.5225	0.6425	0.2575	0.1225	0.18	0.61	0.765
No log	55.96	224	0.8626	0.77	0.125	0.24	0.0625	0.1925	0.2075	0.4575	0.5225	0.6425	0.25	0.1225	0.1975	0.615	0.775
No log	56.96	228	0.8599	0.78	0.1275	0.2375	0.0625	0.1925	0.21	0.46	0.52	0.6425	0.25	0.1225	0.1925	0.6175	0.775
No log	57.96	232	0.8584	0.775	0.1275	0.24	0.0625	0.19	0.21	0.4575	0.52	0.6425	0.26	0.1225	0.1925	0.62	0.775
No log	58.96	236	0.8571	0.7725	0.125	0.24	0.0625	0.1925	0.21	0.4575	0.52	0.645	0.2675	0.1225	0.1975	0.62	0.7725
No log	59.96	240	0.8569	0.77	0.125	0.2425	0.0625	0.1925	0.21	0.4575	0.52	0.6425	0.2675	0.1225	0.1975	0.62	0.7725

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1.post200
• Datasets 2.9.0
• Tokenizers 0.13.2