2024-01-07_one_stage_subgraphs_entropyreg_txt_vis_conc_2_5_9_11_gate

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.9973
• Accuracy: 0.7725
• Exit 0 Accuracy: 0.0625
• Exit 1 Accuracy: 0.0625
• Exit 2 Accuracy: 0.0925
• Exit 3 Accuracy: 0.14
• Exit 4 Accuracy: 0.695

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 2
• eval_batch_size: 1
• seed: 42
• gradient_accumulation_steps: 24
• total_train_batch_size: 48
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy
No log	0.96	16	2.6595	0.1775	0.0625	0.0625	0.0625	0.0625	0.0625
No log	1.98	33	2.4912	0.27	0.065	0.0625	0.0625	0.0625	0.0625
No log	3.0	50	2.2963	0.305	0.065	0.0625	0.0625	0.0625	0.0625
No log	3.96	66	2.1349	0.38	0.0675	0.0625	0.0625	0.0625	0.0625
No log	4.98	83	1.9142	0.5275	0.065	0.0625	0.0625	0.0625	0.0625
No log	6.0	100	1.6721	0.59	0.065	0.0625	0.0625	0.0625	0.0625
No log	6.96	116	1.4696	0.6425	0.065	0.0625	0.0625	0.0625	0.0625
No log	7.98	133	1.4285	0.665	0.0675	0.0625	0.0625	0.0625	0.0625
No log	9.0	150	1.2804	0.68	0.0675	0.0625	0.0625	0.0625	0.0675
No log	9.96	166	1.2030	0.7275	0.0675	0.0625	0.0625	0.0625	0.0875
No log	10.98	183	1.1252	0.73	0.065	0.0625	0.0625	0.0625	0.1175
No log	12.0	200	1.0535	0.7375	0.065	0.0625	0.0625	0.0625	0.1275
No log	12.96	216	1.0563	0.7375	0.065	0.0625	0.0625	0.0625	0.14
No log	13.98	233	1.0299	0.7525	0.065	0.0625	0.0625	0.0625	0.155
No log	15.0	250	0.9986	0.745	0.065	0.0625	0.0625	0.0625	0.17
No log	15.96	266	1.0189	0.7525	0.065	0.0625	0.0625	0.0625	0.18
No log	16.98	283	0.9661	0.7675	0.065	0.0625	0.0625	0.0625	0.19
No log	18.0	300	0.9849	0.7475	0.065	0.0625	0.065	0.0625	0.195
No log	18.96	316	0.9897	0.7325	0.0625	0.0625	0.065	0.0625	0.21
No log	19.98	333	0.9983	0.7375	0.0625	0.0625	0.065	0.0625	0.2075
No log	21.0	350	0.9799	0.7475	0.06	0.0625	0.0725	0.0625	0.21
No log	21.96	366	0.9946	0.755	0.06	0.0625	0.065	0.065	0.2425
No log	22.98	383	0.9856	0.75	0.0575	0.0625	0.07	0.0625	0.3125
No log	24.0	400	0.9641	0.75	0.0625	0.0625	0.0825	0.0625	0.3225
No log	24.96	416	0.9509	0.775	0.0575	0.0625	0.0825	0.0775	0.3625
No log	25.98	433	0.9626	0.7775	0.0575	0.0625	0.0775	0.0875	0.4075
No log	27.0	450	1.0076	0.7525	0.0575	0.0625	0.0825	0.0975	0.435
No log	27.96	466	0.9588	0.765	0.06	0.0625	0.08	0.0975	0.4725
No log	28.98	483	0.9423	0.765	0.06	0.0625	0.0775	0.1025	0.4725
0.6008	30.0	500	1.0173	0.7475	0.06	0.0625	0.08	0.1075	0.4675
0.6008	30.96	516	1.0115	0.7575	0.0625	0.0625	0.09	0.1175	0.505
0.6008	31.98	533	0.9999	0.765	0.0625	0.0625	0.1025	0.115	0.5575
0.6008	33.0	550	1.0163	0.77	0.06	0.0625	0.1025	0.135	0.6525
0.6008	33.96	566	0.9782	0.765	0.06	0.0625	0.1125	0.1225	0.62
0.6008	34.98	583	0.9811	0.7625	0.06	0.0625	0.1025	0.1425	0.6725
0.6008	36.0	600	0.9937	0.765	0.06	0.0625	0.1075	0.155	0.7
0.6008	36.96	616	1.0273	0.7575	0.06	0.0625	0.105	0.15	0.705
0.6008	37.98	633	1.0098	0.76	0.0625	0.0625	0.1075	0.1525	0.7
0.6008	39.0	650	0.9914	0.765	0.06	0.0625	0.1075	0.1325	0.6275
0.6008	39.96	666	1.0228	0.76	0.06	0.0625	0.1075	0.1175	0.605
0.6008	40.98	683	0.9701	0.7775	0.0575	0.0625	0.0925	0.1125	0.6175
0.6008	42.0	700	1.0100	0.7525	0.0575	0.0625	0.105	0.115	0.6225
0.6008	42.96	716	0.9989	0.77	0.06	0.0625	0.095	0.1325	0.6825
0.6008	43.98	733	0.9843	0.765	0.06	0.0625	0.1	0.1325	0.6825
0.6008	45.0	750	1.0016	0.7625	0.06	0.0625	0.0975	0.13	0.6525
0.6008	45.96	766	0.9942	0.765	0.06	0.0625	0.1	0.12	0.6775
0.6008	46.98	783	0.9977	0.7725	0.06	0.0625	0.0925	0.135	0.675
0.6008	48.0	800	1.0038	0.7725	0.0575	0.0625	0.09	0.135	0.6775
0.6008	48.96	816	1.0096	0.76	0.06	0.0625	0.0925	0.1225	0.6825
0.6008	49.98	833	0.9817	0.7725	0.06	0.0625	0.0925	0.135	0.7025
0.6008	51.0	850	0.9871	0.775	0.0625	0.0625	0.0925	0.145	0.705
0.6008	51.96	866	1.0015	0.765	0.0625	0.0625	0.0925	0.1425	0.685
0.6008	52.98	883	0.9924	0.77	0.0625	0.0625	0.0925	0.14	0.6975
0.6008	54.0	900	1.0002	0.765	0.0625	0.0625	0.0925	0.1375	0.6975
0.6008	54.96	916	0.9995	0.7775	0.0625	0.0625	0.0925	0.1375	0.7
0.6008	55.98	933	0.9971	0.77	0.0625	0.0625	0.0925	0.14	0.6975
0.6008	57.0	950	0.9973	0.7725	0.0625	0.0625	0.0925	0.14	0.6925
0.6008	57.6	960	0.9973	0.7725	0.0625	0.0625	0.0925	0.14	0.695

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3