EElayoutlmv3_jordyvl_rvl_cdip_100_examples_per_class_2023-09-22_subgraphs_gates

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 1.0995
• Accuracy: 0.705
• Exit 0 Accuracy: 0.065
• Exit 1 Accuracy: 0.0575
• Exit 2 Accuracy: 0.065
• Exit 3 Accuracy: 0.07
• Exit 4 Accuracy: 0.1575

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 20
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 12
• total_train_batch_size: 240
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy
No log	0.9	3	2.7455	0.0975	0.0625	0.0625	0.0875	0.0625	0.0625
No log	1.9	6	2.6867	0.1475	0.06	0.0625	0.0875	0.0625	0.0625
No log	2.9	9	2.6527	0.18	0.0475	0.0575	0.09	0.0625	0.0625
No log	3.9	12	2.6188	0.1975	0.035	0.0525	0.095	0.0625	0.0625
No log	4.9	15	2.5827	0.22	0.035	0.05	0.0875	0.0625	0.0625
No log	5.9	18	2.6265	0.1725	0.0475	0.0375	0.0775	0.0625	0.0825
No log	6.9	21	2.5771	0.23	0.0525	0.0375	0.0775	0.0625	0.0975
No log	7.9	24	2.4865	0.2675	0.055	0.0375	0.0675	0.0625	0.08
No log	8.9	27	2.4184	0.25	0.0475	0.04	0.0625	0.0625	0.0775
No log	9.9	30	2.3451	0.28	0.06	0.045	0.0625	0.0625	0.085
No log	10.9	33	2.3027	0.3175	0.0675	0.045	0.0625	0.0625	0.0775
No log	11.9	36	2.2168	0.3225	0.07	0.045	0.0625	0.0625	0.0775
No log	12.9	39	2.1698	0.365	0.07	0.045	0.0625	0.0625	0.085
No log	13.9	42	2.0647	0.4125	0.065	0.045	0.0625	0.0625	0.0875
No log	14.9	45	2.0370	0.4125	0.0675	0.0475	0.0625	0.06	0.09
No log	15.9	48	1.9523	0.4675	0.065	0.0475	0.0625	0.0575	0.0975
No log	16.9	51	1.8758	0.4925	0.0675	0.05	0.0625	0.055	0.1075
No log	17.9	54	1.7940	0.52	0.0675	0.05	0.0625	0.0525	0.0975
No log	18.9	57	1.7417	0.5125	0.0675	0.05	0.0625	0.0525	0.125
No log	19.9	60	1.6789	0.565	0.0675	0.05	0.0625	0.055	0.1325
No log	20.9	63	1.6016	0.5825	0.0675	0.05	0.0625	0.0575	0.1525
No log	21.9	66	1.5649	0.5775	0.065	0.05	0.0625	0.07	0.155
No log	22.9	69	1.5164	0.6075	0.065	0.05	0.0625	0.0775	0.155
No log	23.9	72	1.4614	0.6225	0.065	0.05	0.0625	0.085	0.1475
No log	24.9	75	1.4301	0.62	0.065	0.05	0.0625	0.085	0.16
No log	25.9	78	1.3935	0.645	0.065	0.0525	0.065	0.0775	0.1425
No log	26.9	81	1.3777	0.64	0.065	0.0525	0.065	0.08	0.1625
No log	27.9	84	1.3301	0.6525	0.065	0.0525	0.065	0.0825	0.16
No log	28.9	87	1.3064	0.6775	0.065	0.0525	0.065	0.0825	0.1625
No log	29.9	90	1.2689	0.675	0.065	0.0525	0.065	0.085	0.1625
No log	30.9	93	1.2549	0.6575	0.065	0.0525	0.065	0.075	0.175
No log	31.9	96	1.2440	0.66	0.065	0.055	0.065	0.08	0.1525
No log	32.9	99	1.2250	0.685	0.065	0.055	0.065	0.09	0.1675
No log	33.9	102	1.2243	0.665	0.065	0.055	0.065	0.0775	0.155
No log	34.9	105	1.1960	0.6625	0.065	0.055	0.065	0.0825	0.1675
No log	35.9	108	1.1879	0.685	0.065	0.055	0.065	0.08	0.155
No log	36.9	111	1.1710	0.6825	0.065	0.055	0.065	0.0825	0.155
No log	37.9	114	1.1739	0.6925	0.065	0.055	0.065	0.0675	0.1525
No log	38.9	117	1.1414	0.7	0.065	0.055	0.065	0.0725	0.1475
No log	39.9	120	1.1476	0.695	0.065	0.0575	0.065	0.0775	0.1525
No log	40.9	123	1.1435	0.6875	0.065	0.0575	0.065	0.0825	0.15
No log	41.9	126	1.1196	0.695	0.065	0.0575	0.065	0.075	0.165
No log	42.9	129	1.1454	0.7	0.065	0.0575	0.065	0.0775	0.155
No log	43.9	132	1.1133	0.7	0.065	0.0575	0.065	0.075	0.1575
No log	44.9	135	1.1205	0.7125	0.065	0.0575	0.065	0.08	0.1625
No log	45.9	138	1.1188	0.705	0.065	0.0575	0.065	0.0775	0.1525
No log	46.9	141	1.1076	0.7025	0.065	0.0575	0.065	0.0775	0.155
No log	47.9	144	1.1304	0.7075	0.065	0.0575	0.065	0.08	0.16
No log	48.9	147	1.1029	0.7125	0.065	0.0575	0.065	0.08	0.16
No log	49.9	150	1.0979	0.705	0.065	0.0575	0.065	0.08	0.16
No log	50.9	153	1.1081	0.71	0.065	0.0575	0.065	0.0775	0.155
No log	51.9	156	1.1023	0.71	0.065	0.0575	0.065	0.0725	0.16
No log	52.9	159	1.1029	0.705	0.065	0.0575	0.065	0.07	0.16
No log	53.9	162	1.1015	0.71	0.065	0.0575	0.065	0.07	0.155
No log	54.9	165	1.0968	0.7125	0.065	0.0575	0.065	0.0725	0.155
No log	55.9	168	1.0968	0.7125	0.065	0.0575	0.065	0.0725	0.16
No log	56.9	171	1.1006	0.7025	0.065	0.0575	0.065	0.075	0.155
No log	57.9	174	1.1024	0.7025	0.065	0.0575	0.065	0.07	0.1575
No log	58.9	177	1.1006	0.705	0.065	0.0575	0.065	0.07	0.1575
No log	59.9	180	1.0995	0.705	0.065	0.0575	0.065	0.07	0.1575

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1.post200
• Datasets 2.9.0
• Tokenizers 0.13.2