2024-01-04_one_stage_subgraphs_weighted_txt_vision_enc_all_gate

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 1.2459
• Accuracy: 0.78
• Exit 0 Accuracy: 0.06
• Exit 1 Accuracy: 0.07
• Exit 2 Accuracy: 0.0625
• Exit 3 Accuracy: 0.0625
• Exit 4 Accuracy: 0.0625
• Exit 5 Accuracy: 0.0625
• Exit 6 Accuracy: 0.05
• Exit 7 Accuracy: 0.0425
• Exit 8 Accuracy: 0.06
• Exit 9 Accuracy: 0.0625
• Exit 10 Accuracy: 0.0625
• Exit 11 Accuracy: 0.0625
• Exit 12 Accuracy: 0.1125
• Exit 13 Accuracy: 0.78

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 2
• eval_batch_size: 1
• seed: 42
• gradient_accumulation_steps: 24
• total_train_batch_size: 48
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy	Exit 5 Accuracy	Exit 6 Accuracy	Exit 7 Accuracy	Exit 8 Accuracy	Exit 9 Accuracy	Exit 10 Accuracy	Exit 11 Accuracy	Exit 12 Accuracy	Exit 13 Accuracy
No log	0.96	16	2.6851	0.145	0.04	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.145
No log	1.98	33	2.5373	0.2375	0.0425	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.2375
No log	3.0	50	2.3649	0.29	0.045	0.07	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.29
No log	3.96	66	2.1518	0.3525	0.0475	0.07	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.3525
No log	4.98	83	2.0040	0.425	0.045	0.07	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.425
No log	6.0	100	1.8333	0.4475	0.0425	0.07	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4475
No log	6.96	116	1.6664	0.515	0.0475	0.07	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.515
No log	7.98	133	1.4248	0.61	0.0525	0.07	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.61
No log	9.0	150	1.2868	0.6225	0.0425	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.6225
No log	9.96	166	1.1599	0.6675	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.6675
No log	10.98	183	1.0790	0.7075	0.045	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7075
No log	12.0	200	1.0014	0.7125	0.0575	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7125
No log	12.96	216	0.9468	0.72	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.72
No log	13.98	233	0.9718	0.7375	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7375
No log	15.0	250	0.9015	0.7625	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7625
No log	15.96	266	0.9557	0.73	0.0575	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.73
No log	16.98	283	0.9545	0.7575	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7575
No log	18.0	300	0.9979	0.765	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.765
No log	18.96	316	0.9596	0.7575	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7575
No log	19.98	333	1.0056	0.77	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.77
No log	21.0	350	1.0870	0.7475	0.0675	0.0675	0.0625	0.0625	0.0625	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7475
No log	21.96	366	1.0650	0.7725	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0475	0.0525	0.0625	0.0625	0.0625	0.0625	0.0625	0.7725
No log	22.98	383	1.0799	0.745	0.06	0.0675	0.0625	0.0625	0.0625	0.0625	0.0425	0.0525	0.0625	0.0625	0.0625	0.0625	0.0625	0.745
No log	24.0	400	1.1208	0.7575	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0575	0.06	0.0625	0.0625	0.0625	0.0625	0.0625	0.7575
No log	24.96	416	1.0551	0.7825	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0275	0.0525	0.0625	0.0625	0.0625	0.0625	0.0625	0.7825
No log	25.98	433	1.1037	0.7725	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0275	0.05	0.0625	0.0625	0.0625	0.0625	0.0625	0.7725
No log	27.0	450	1.1324	0.77	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.045	0.05	0.0625	0.0625	0.0625	0.0625	0.0625	0.77
No log	27.96	466	1.1191	0.7775	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0325	0.05	0.0625	0.0625	0.0625	0.0625	0.0625	0.7775
No log	28.98	483	1.1116	0.7775	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.03	0.05	0.0625	0.0625	0.0625	0.0625	0.0625	0.7775
0.3877	30.0	500	1.1583	0.7725	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0325	0.05	0.0625	0.0625	0.0625	0.0625	0.065	0.7725
0.3877	30.96	516	1.1551	0.775	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.03	0.0475	0.0625	0.0625	0.0625	0.0625	0.065	0.775
0.3877	31.98	533	1.1548	0.7775	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.03	0.045	0.0625	0.0625	0.0625	0.0625	0.065	0.7775
0.3877	33.0	550	1.1548	0.7775	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.03	0.0475	0.0625	0.0625	0.0625	0.0625	0.0675	0.7775
0.3877	33.96	566	1.1517	0.7825	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0325	0.045	0.0625	0.0625	0.0625	0.0625	0.065	0.7825
0.3877	34.98	583	1.1633	0.78	0.065	0.07	0.0625	0.0625	0.0625	0.0625	0.0325	0.0425	0.0625	0.0625	0.0625	0.0625	0.065	0.78
0.3877	36.0	600	1.1747	0.78	0.065	0.07	0.0625	0.0625	0.0625	0.0625	0.035	0.0425	0.0625	0.0625	0.0625	0.0625	0.07	0.78
0.3877	36.96	616	1.1880	0.7775	0.065	0.07	0.0625	0.0625	0.0625	0.0625	0.0325	0.0425	0.0625	0.0625	0.0625	0.0625	0.0725	0.7775
0.3877	37.98	633	1.1981	0.78	0.065	0.07	0.0625	0.0625	0.0625	0.0625	0.035	0.045	0.0625	0.0625	0.0625	0.0625	0.075	0.78
0.3877	39.0	650	1.1997	0.7775	0.065	0.07	0.0625	0.0625	0.0625	0.0625	0.035	0.045	0.0625	0.0625	0.0625	0.0625	0.075	0.7775
0.3877	39.96	666	1.2021	0.78	0.065	0.07	0.0625	0.0625	0.0625	0.0625	0.035	0.045	0.0625	0.0625	0.0625	0.0625	0.0775	0.78
0.3877	40.98	683	1.2079	0.7825	0.0625	0.07	0.0625	0.0625	0.0625	0.0625	0.035	0.045	0.0625	0.0625	0.0625	0.0625	0.08	0.7825
0.3877	42.0	700	1.2170	0.78	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.0375	0.045	0.0625	0.0625	0.0625	0.0625	0.085	0.78
0.3877	42.96	716	1.2204	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.0375	0.0475	0.0625	0.0625	0.0625	0.0625	0.085	0.7775
0.3877	43.98	733	1.2252	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.0375	0.0475	0.0625	0.0625	0.0625	0.0625	0.0875	0.7775
0.3877	45.0	750	1.2250	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.04	0.05	0.0625	0.0625	0.0625	0.0625	0.09	0.7775
0.3877	45.96	766	1.2297	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.045	0.0475	0.0625	0.0625	0.0625	0.0625	0.09	0.7775
0.3877	46.98	783	1.2338	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.0475	0.045	0.0625	0.0625	0.0625	0.0625	0.0925	0.7775
0.3877	48.0	800	1.2344	0.78	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.0625	0.0625	0.0625	0.0625	0.0975	0.78
0.3877	48.96	816	1.2349	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.0625	0.0625	0.0625	0.0625	0.1	0.7775
0.3877	49.98	833	1.2382	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.0625	0.0625	0.0625	0.0625	0.1025	0.7775
0.3877	51.0	850	1.2407	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.0625	0.0625	0.0625	0.0625	0.1	0.7775
0.3877	51.96	866	1.2421	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.0625	0.0625	0.0625	0.0625	0.1	0.7775
0.3877	52.98	883	1.2429	0.7775	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.0625	0.0625	0.0625	0.0625	0.1	0.7775
0.3877	54.0	900	1.2442	0.78	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.06	0.0625	0.0625	0.0625	0.1075	0.78
0.3877	54.96	916	1.2445	0.7825	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.06	0.0625	0.0625	0.0625	0.11	0.7825
0.3877	55.98	933	1.2457	0.78	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.045	0.06	0.0625	0.0625	0.0625	0.1125	0.78
0.3877	57.0	950	1.2459	0.78	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.0425	0.06	0.0625	0.0625	0.0625	0.1125	0.78
0.3877	57.6	960	1.2459	0.78	0.06	0.07	0.0625	0.0625	0.0625	0.0625	0.05	0.0425	0.06	0.0625	0.0625	0.0625	0.1125	0.78

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3