2024-01-11_one_stage_subgraphs_entropyreg_txt_vision_enc_all_ramp

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 1.7684
• Accuracy: 0.7425
• Exit 0 Accuracy: 0.0625
• Exit 1 Accuracy: 0.05
• Exit 2 Accuracy: 0.08
• Exit 3 Accuracy: 0.12
• Exit 4 Accuracy: 0.1075
• Exit 5 Accuracy: 0.38
• Exit 6 Accuracy: 0.6625
• Exit 7 Accuracy: 0.7225
• Exit 8 Accuracy: 0.7175
• Exit 9 Accuracy: 0.735
• Exit 10 Accuracy: 0.7425
• Exit 11 Accuracy: 0.7425
• Exit 12 Accuracy: 0.7425
• Exit 13 Accuracy: 0.7425

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 2
• eval_batch_size: 1
• seed: 42
• gradient_accumulation_steps: 24
• total_train_batch_size: 48
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy	Exit 5 Accuracy	Exit 6 Accuracy	Exit 7 Accuracy	Exit 8 Accuracy	Exit 9 Accuracy	Exit 10 Accuracy	Exit 11 Accuracy	Exit 12 Accuracy	Exit 13 Accuracy
No log	0.96	16	2.6864	0.1775	0.0525	0.05	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0725
No log	1.98	33	2.5149	0.255	0.065	0.05	0.0625	0.0625	0.0625	0.0625	0.0625	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.09
No log	3.0	50	2.3270	0.3325	0.0625	0.05	0.0625	0.0625	0.0625	0.0625	0.0625	0.085	0.0625	0.0625	0.0625	0.0625	0.0625	0.15
No log	3.96	66	2.1448	0.39	0.06	0.05	0.0625	0.08	0.0625	0.0625	0.08	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.13
No log	4.98	83	1.9464	0.4675	0.075	0.05	0.0625	0.07	0.0625	0.0625	0.075	0.0725	0.0625	0.0625	0.0625	0.0625	0.0625	0.215
No log	6.0	100	1.6533	0.565	0.0675	0.05	0.0625	0.065	0.0625	0.0625	0.105	0.09	0.0625	0.0625	0.0625	0.0625	0.0625	0.2575
No log	6.96	116	1.4101	0.6325	0.0675	0.05	0.0625	0.065	0.0625	0.0625	0.1025	0.1175	0.0625	0.0625	0.0625	0.0625	0.0625	0.39
No log	7.98	133	1.2738	0.6725	0.0675	0.05	0.0625	0.07	0.0625	0.0625	0.1125	0.135	0.0625	0.0625	0.0625	0.0625	0.0625	0.425
No log	9.0	150	1.1300	0.715	0.06	0.05	0.0625	0.07	0.0625	0.0625	0.11	0.1375	0.0625	0.0625	0.0625	0.0625	0.0625	0.525
No log	9.96	166	1.0187	0.7525	0.06	0.05	0.0625	0.065	0.0625	0.0625	0.12	0.1375	0.0625	0.0625	0.0625	0.0625	0.0625	0.535
No log	10.98	183	0.9542	0.74	0.06	0.05	0.0625	0.0675	0.0625	0.0625	0.1175	0.1525	0.0625	0.0625	0.0625	0.0625	0.0625	0.615
No log	12.0	200	0.9636	0.74	0.06	0.05	0.0625	0.07	0.0625	0.0625	0.12	0.1675	0.0625	0.0625	0.0625	0.0625	0.0625	0.6325
No log	12.96	216	0.9379	0.7425	0.06	0.05	0.0625	0.08	0.0625	0.0625	0.115	0.1825	0.0625	0.0625	0.0625	0.0625	0.0625	0.645
No log	13.98	233	0.9400	0.7575	0.06	0.05	0.0625	0.08	0.0625	0.0625	0.105	0.2075	0.0675	0.0625	0.0625	0.0625	0.0625	0.695
No log	15.0	250	0.9432	0.7425	0.06	0.05	0.0625	0.08	0.0625	0.0625	0.125	0.2325	0.0725	0.0625	0.0625	0.0625	0.08	0.75
No log	15.96	266	0.9819	0.7575	0.06	0.05	0.0625	0.08	0.0625	0.0625	0.1175	0.28	0.1475	0.0625	0.0625	0.0625	0.07	0.7475
No log	16.98	283	1.0413	0.7525	0.06	0.05	0.0625	0.085	0.0625	0.0625	0.1275	0.3125	0.2575	0.0625	0.0625	0.0625	0.09	0.7475
No log	18.0	300	0.9949	0.78	0.0625	0.05	0.0625	0.0875	0.0625	0.0625	0.1625	0.3475	0.38	0.0625	0.0625	0.0625	0.1025	0.76
No log	18.96	316	1.0809	0.7625	0.06	0.05	0.0625	0.0825	0.0625	0.0625	0.18	0.3725	0.5125	0.0625	0.0625	0.0625	0.14	0.75
No log	19.98	333	1.1297	0.755	0.06	0.05	0.0625	0.0825	0.0625	0.0625	0.21	0.425	0.61	0.1325	0.0625	0.0625	0.22	0.7575
No log	21.0	350	1.1168	0.78	0.0625	0.05	0.0625	0.0875	0.0625	0.0625	0.2325	0.475	0.63	0.215	0.0625	0.0625	0.28	0.7775
No log	21.96	366	1.1737	0.76	0.06	0.05	0.0625	0.0825	0.0625	0.0625	0.2675	0.53	0.6625	0.38	0.0625	0.0625	0.4025	0.7625
No log	22.98	383	1.1825	0.775	0.06	0.05	0.0625	0.0825	0.0625	0.0625	0.3375	0.5425	0.6925	0.505	0.1375	0.085	0.635	0.7675
No log	24.0	400	1.1897	0.77	0.06	0.05	0.0625	0.085	0.0625	0.0625	0.37	0.585	0.6975	0.55	0.2725	0.22	0.7525	0.7625
No log	24.96	416	1.2044	0.7625	0.07	0.05	0.0625	0.0875	0.0625	0.0625	0.4175	0.6225	0.7225	0.59	0.295	0.31	0.7625	0.765
No log	25.98	433	1.2994	0.7625	0.06	0.05	0.0625	0.09	0.0625	0.0625	0.4625	0.6325	0.7225	0.685	0.455	0.5025	0.7525	0.7625
No log	27.0	450	1.3615	0.75	0.065	0.05	0.0625	0.09	0.0625	0.0625	0.5	0.65	0.7175	0.695	0.5975	0.6025	0.75	0.7575
No log	27.96	466	1.3147	0.7625	0.065	0.05	0.0625	0.0925	0.0625	0.0625	0.515	0.6725	0.7275	0.72	0.6525	0.675	0.755	0.765
No log	28.98	483	1.3834	0.7625	0.0625	0.05	0.0625	0.095	0.0625	0.0625	0.53	0.6775	0.73	0.75	0.685	0.7075	0.755	0.7625
1.6198	30.0	500	1.3835	0.765	0.07	0.05	0.0625	0.095	0.0625	0.0625	0.56	0.69	0.735	0.7425	0.6975	0.7075	0.7625	0.7625
1.6198	30.96	516	1.3107	0.78	0.0625	0.05	0.0625	0.095	0.0625	0.07	0.5575	0.6875	0.7275	0.7475	0.7575	0.78	0.7775	0.78
1.6198	31.98	533	1.4250	0.7675	0.0625	0.05	0.0625	0.095	0.0625	0.0725	0.56	0.6875	0.73	0.7525	0.7425	0.7525	0.7625	0.765
1.6198	33.0	550	1.4812	0.7575	0.0625	0.05	0.0625	0.095	0.0625	0.0775	0.58	0.7	0.725	0.7375	0.74	0.755	0.7575	0.7575
1.6198	33.96	566	1.4561	0.76	0.0625	0.05	0.0625	0.095	0.0625	0.0775	0.5825	0.7	0.74	0.7575	0.7525	0.76	0.755	0.7575
1.6198	34.98	583	1.4261	0.765	0.0625	0.05	0.0625	0.095	0.0625	0.0875	0.5925	0.7025	0.735	0.75	0.755	0.7675	0.76	0.765
1.6198	36.0	600	1.5167	0.7625	0.065	0.05	0.0625	0.1	0.0625	0.095	0.6025	0.705	0.7375	0.7475	0.7575	0.755	0.75	0.7575
1.6198	36.96	616	1.5194	0.76	0.0625	0.05	0.0625	0.11	0.0625	0.105	0.61	0.7025	0.73	0.7475	0.7575	0.76	0.7525	0.7575
1.6198	37.98	633	1.5906	0.7525	0.0625	0.05	0.0625	0.1	0.0625	0.1375	0.62	0.7225	0.735	0.7475	0.7525	0.75	0.7525	0.755
1.6198	39.0	650	1.5770	0.7525	0.0625	0.05	0.0625	0.105	0.0625	0.1625	0.625	0.7225	0.73	0.7375	0.75	0.755	0.75	0.755
1.6198	39.96	666	1.6364	0.745	0.065	0.05	0.0625	0.1025	0.0625	0.1875	0.6225	0.715	0.735	0.7275	0.7425	0.74	0.74	0.745
1.6198	40.98	683	1.5944	0.755	0.0625	0.05	0.0625	0.1125	0.0625	0.2125	0.64	0.72	0.735	0.745	0.76	0.7525	0.76	0.7575
1.6198	42.0	700	1.6703	0.7475	0.0625	0.05	0.0625	0.12	0.07	0.245	0.64	0.715	0.725	0.7375	0.745	0.7475	0.7425	0.7475
1.6198	42.96	716	1.6740	0.745	0.0625	0.05	0.0625	0.12	0.07	0.25	0.6425	0.7	0.735	0.735	0.745	0.745	0.74	0.745
1.6198	43.98	733	1.7231	0.74	0.0625	0.05	0.0625	0.12	0.08	0.265	0.6525	0.7075	0.725	0.74	0.7475	0.745	0.7375	0.7375
1.6198	45.0	750	1.6939	0.7525	0.0625	0.05	0.0625	0.12	0.0825	0.2725	0.645	0.7125	0.725	0.7425	0.7475	0.7425	0.7425	0.755
1.6198	45.96	766	1.7421	0.745	0.0625	0.05	0.0625	0.12	0.0875	0.2825	0.655	0.7125	0.7325	0.7475	0.75	0.7425	0.7425	0.745
1.6198	46.98	783	1.7177	0.7425	0.06	0.05	0.065	0.12	0.0875	0.3	0.65	0.72	0.7325	0.7425	0.7475	0.75	0.745	0.745
1.6198	48.0	800	1.7315	0.75	0.0625	0.05	0.065	0.12	0.09	0.3225	0.645	0.7225	0.725	0.7375	0.7525	0.745	0.745	0.75
1.6198	48.96	816	1.7541	0.7475	0.0625	0.05	0.065	0.12	0.0925	0.32	0.6575	0.72	0.7325	0.7275	0.7375	0.745	0.745	0.7475
1.6198	49.98	833	1.7533	0.745	0.0625	0.05	0.07	0.12	0.0925	0.345	0.6675	0.72	0.725	0.745	0.7525	0.7375	0.7425	0.7425
1.6198	51.0	850	1.7161	0.745	0.0625	0.05	0.075	0.12	0.0925	0.36	0.655	0.7225	0.7275	0.7375	0.74	0.7375	0.745	0.75
1.6198	51.96	866	1.7707	0.7425	0.0625	0.05	0.0775	0.12	0.095	0.3675	0.6625	0.72	0.725	0.7475	0.74	0.7425	0.7375	0.7425
1.6198	52.98	883	1.7398	0.7475	0.0625	0.05	0.08	0.12	0.1025	0.365	0.665	0.7225	0.725	0.7325	0.74	0.7425	0.7475	0.7475
1.6198	54.0	900	1.7368	0.75	0.0625	0.05	0.08	0.12	0.105	0.375	0.6625	0.7225	0.7225	0.735	0.745	0.7425	0.745	0.7525
1.6198	54.96	916	1.7665	0.745	0.0625	0.05	0.08	0.12	0.105	0.3725	0.6625	0.7175	0.7225	0.735	0.745	0.74	0.7425	0.745
1.6198	55.98	933	1.7775	0.7475	0.0625	0.05	0.08	0.12	0.105	0.375	0.665	0.7225	0.7225	0.735	0.7375	0.74	0.74	0.7475
1.6198	57.0	950	1.7698	0.7425	0.0625	0.05	0.08	0.12	0.1075	0.3775	0.6625	0.72	0.7175	0.7325	0.7425	0.7425	0.7425	0.7425
1.6198	57.6	960	1.7684	0.7425	0.0625	0.05	0.08	0.12	0.1075	0.38	0.6625	0.7225	0.7175	0.735	0.7425	0.7425	0.7425	0.7425

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3