2024-01-08_one_stage_subgraphs_weighted_entropyreg_txt_vision_enc_all_gate

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.9591
• Accuracy: 0.77
• Exit 0 Accuracy: 0.055
• Exit 1 Accuracy: 0.0675
• Exit 2 Accuracy: 0.0625
• Exit 3 Accuracy: 0.0625
• Exit 4 Accuracy: 0.0625
• Exit 5 Accuracy: 0.0625
• Exit 6 Accuracy: 0.0625
• Exit 7 Accuracy: 0.0625
• Exit 8 Accuracy: 0.0625
• Exit 9 Accuracy: 0.0625
• Exit 10 Accuracy: 0.0625
• Exit 11 Accuracy: 0.0625
• Exit 12 Accuracy: 0.5325
• Exit 13 Accuracy: 0.77

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 2
• eval_batch_size: 1
• seed: 42
• gradient_accumulation_steps: 24
• total_train_batch_size: 48
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy	Exit 5 Accuracy	Exit 6 Accuracy	Exit 7 Accuracy	Exit 8 Accuracy	Exit 9 Accuracy	Exit 10 Accuracy	Exit 11 Accuracy	Exit 12 Accuracy	Exit 13 Accuracy
No log	0.96	16	2.7132	0.1375	0.0425	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.1375
No log	1.98	33	2.5541	0.225	0.04	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.225
No log	3.0	50	2.3875	0.2925	0.06	0.0675	0.06	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.2925
No log	3.96	66	2.2225	0.355	0.055	0.0675	0.06	0.0625	0.0625	0.0625	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.355
No log	4.98	83	2.0628	0.4225	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4225
No log	6.0	100	1.8932	0.49	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.49
No log	6.96	116	1.6240	0.5725	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.5725
No log	7.98	133	1.4324	0.6575	0.0625	0.0675	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.6575
No log	9.0	150	1.2942	0.7	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7
No log	9.96	166	1.1669	0.75	0.0625	0.0675	0.065	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.75
No log	10.98	183	1.1042	0.7475	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7475
No log	12.0	200	1.0280	0.7425	0.06	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7425
No log	12.96	216	1.0155	0.7325	0.06	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.7325
No log	13.98	233	1.0058	0.745	0.06	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.065	0.745
No log	15.0	250	0.9816	0.74	0.06	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.74
No log	15.96	266	0.9253	0.765	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.065	0.765
No log	16.98	283	1.0265	0.715	0.06	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0775	0.715
No log	18.0	300	0.9361	0.7575	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.075	0.7575
No log	18.96	316	0.9585	0.7475	0.0575	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0825	0.7475
No log	19.98	333	0.9825	0.755	0.0575	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.1125	0.755
No log	21.0	350	0.9122	0.77	0.0675	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.13	0.77
No log	21.96	366	0.9313	0.7675	0.0575	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.1375	0.7675
No log	22.98	383	0.9270	0.7725	0.0475	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.1625	0.7725
No log	24.0	400	0.9181	0.7675	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.1675	0.7675
No log	24.96	416	0.9614	0.7625	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.18	0.7625
No log	25.98	433	0.9338	0.7775	0.06	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.205	0.7775
No log	27.0	450	0.9171	0.7775	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.26	0.7775
No log	27.96	466	0.9374	0.77	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.285	0.77
No log	28.98	483	0.9243	0.77	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.32	0.77
0.4492	30.0	500	0.9471	0.77	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.3175	0.77
0.4492	30.96	516	0.9419	0.7675	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.35	0.7675
0.4492	31.98	533	0.9573	0.7625	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.3675	0.7625
0.4492	33.0	550	0.9631	0.7625	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.37	0.7625
0.4492	33.96	566	0.9474	0.7675	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.3875	0.7675
0.4492	34.98	583	0.9661	0.765	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.39	0.765
0.4492	36.0	600	0.9507	0.77	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.395	0.77
0.4492	36.96	616	0.9496	0.77	0.065	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4075	0.77
0.4492	37.98	633	0.9516	0.765	0.0625	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4175	0.765
0.4492	39.0	650	0.9560	0.7675	0.0575	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.42	0.7675
0.4492	39.96	666	0.9453	0.775	0.0475	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4225	0.775
0.4492	40.98	683	0.9468	0.775	0.05	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4275	0.775
0.4492	42.0	700	0.9584	0.77	0.05	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4375	0.77
0.4492	42.96	716	0.9623	0.7625	0.0525	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.46	0.7625
0.4492	43.98	733	0.9505	0.7625	0.0525	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4725	0.7625
0.4492	45.0	750	0.9514	0.7725	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4825	0.7725
0.4492	45.96	766	0.9509	0.7725	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4925	0.7725
0.4492	46.98	783	0.9542	0.775	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4925	0.775
0.4492	48.0	800	0.9545	0.7675	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4975	0.7675
0.4492	48.96	816	0.9582	0.775	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.4975	0.775
0.4492	49.98	833	0.9563	0.765	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.5	0.765
0.4492	51.0	850	0.9580	0.7675	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.5125	0.7675
0.4492	51.96	866	0.9609	0.7625	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.515	0.7625
0.4492	52.98	883	0.9610	0.7625	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.51	0.7625
0.4492	54.0	900	0.9591	0.7625	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.52	0.7625
0.4492	54.96	916	0.9565	0.77	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.5275	0.77
0.4492	55.98	933	0.9591	0.77	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.5325	0.77
0.4492	57.0	950	0.9591	0.77	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.5325	0.77
0.4492	57.6	960	0.9591	0.77	0.055	0.0675	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.0625	0.5325	0.77

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3