EElayoutlmv3_jordyvl_rvl_cdip_100_examples_per_class_2023-07-06_ent

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 1.3493
• Accuracy: 0.645
• Exit 0 Accuracy: 0.1125
• Exit 1 Accuracy: 0.155
• Exit 2 Accuracy: 0.3775
• Exit 3 Accuracy: 0.5225
• Exit 4 Accuracy: 0.5875

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 12
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 24
• total_train_batch_size: 288
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy
No log	0.72	2	2.7604	0.1075	0.09	0.0675	0.1075	0.0625	0.0625
No log	1.72	4	2.7329	0.1125	0.0725	0.065	0.13	0.0625	0.0625
No log	2.72	6	2.6989	0.1325	0.08	0.06	0.1375	0.0625	0.0625
No log	3.72	8	2.6608	0.17	0.08	0.0575	0.1375	0.0625	0.0625
No log	4.72	10	2.6201	0.19	0.09	0.0525	0.1175	0.0625	0.0625
No log	5.72	12	2.5813	0.2175	0.095	0.0825	0.1125	0.0675	0.0625
No log	6.72	14	2.5503	0.215	0.0925	0.08	0.12	0.0825	0.0625
No log	7.72	16	2.5289	0.23	0.09	0.0925	0.15	0.1025	0.0625
No log	8.72	18	2.5344	0.245	0.0975	0.1	0.165	0.105	0.0675
No log	9.72	20	2.5533	0.265	0.1	0.0975	0.185	0.09	0.1025
No log	10.72	22	2.4567	0.29	0.0975	0.13	0.2	0.1	0.095
No log	11.72	24	2.3982	0.3	0.1	0.12	0.205	0.1125	0.09
No log	12.72	26	2.3722	0.3075	0.1025	0.1175	0.195	0.13	0.0825
No log	13.72	28	2.3546	0.31	0.105	0.1225	0.1825	0.1425	0.085
No log	14.72	30	2.3287	0.315	0.11	0.125	0.195	0.1775	0.095
No log	15.72	32	2.2970	0.32	0.1075	0.13	0.2175	0.2275	0.1
No log	16.72	34	2.2763	0.325	0.1075	0.14	0.225	0.2375	0.1075
No log	17.72	36	2.3456	0.3075	0.105	0.14	0.2375	0.18	0.1275
No log	18.72	38	2.3160	0.325	0.115	0.14	0.24	0.175	0.16
No log	19.72	40	2.2257	0.33	0.1225	0.14	0.245	0.225	0.17
No log	20.72	42	2.1769	0.355	0.125	0.1425	0.26	0.2725	0.135
No log	21.72	44	2.1449	0.355	0.125	0.14	0.2725	0.3125	0.1175
No log	22.72	46	2.1200	0.3675	0.125	0.1425	0.27	0.3125	0.115
No log	23.72	48	2.0995	0.3725	0.1225	0.1425	0.2625	0.31	0.115
No log	24.72	50	2.0769	0.3825	0.12	0.1425	0.2725	0.3375	0.1125
No log	25.72	52	2.0473	0.3975	0.115	0.14	0.285	0.335	0.1325
No log	26.72	54	2.0094	0.4075	0.115	0.14	0.2925	0.3075	0.1525
No log	27.72	56	1.9660	0.435	0.1175	0.14	0.29	0.2725	0.21
No log	28.72	58	1.9271	0.46	0.11	0.1425	0.3025	0.27	0.235
No log	29.72	60	1.8910	0.4825	0.11	0.145	0.305	0.27	0.2525
No log	30.72	62	1.8619	0.475	0.11	0.1475	0.3	0.2875	0.27
No log	31.72	64	1.8215	0.5025	0.11	0.15	0.3025	0.305	0.325
No log	32.72	66	1.7845	0.52	0.1125	0.15	0.3175	0.3225	0.3625
No log	33.72	68	1.7509	0.5375	0.1125	0.15	0.325	0.3525	0.3975
No log	34.72	70	1.7237	0.545	0.1075	0.15	0.3325	0.365	0.4275
No log	35.72	72	1.6970	0.555	0.11	0.15	0.3275	0.4	0.4475
No log	36.72	74	1.6512	0.57	0.1075	0.15	0.3225	0.4125	0.465
No log	37.72	76	1.6212	0.5875	0.11	0.1525	0.3375	0.42	0.4775
No log	38.72	78	1.5995	0.595	0.1125	0.15	0.34	0.4275	0.4975
No log	39.72	80	1.5713	0.5925	0.115	0.15	0.35	0.4375	0.525
No log	40.72	82	1.5551	0.5875	0.115	0.15	0.3525	0.4375	0.5325
No log	41.72	84	1.5276	0.59	0.115	0.15	0.35	0.4575	0.5425
No log	42.72	86	1.5050	0.5925	0.115	0.15	0.355	0.46	0.5425
No log	43.72	88	1.4871	0.595	0.1125	0.1525	0.3625	0.47	0.5625
No log	44.72	90	1.4712	0.5975	0.1125	0.1525	0.3675	0.4775	0.5525
No log	45.72	92	1.4615	0.5975	0.1125	0.155	0.365	0.4825	0.555
No log	46.72	94	1.4449	0.6075	0.1125	0.155	0.3625	0.4875	0.5575
No log	47.72	96	1.4273	0.6175	0.1125	0.155	0.365	0.5025	0.565
No log	48.72	98	1.4127	0.6225	0.1125	0.155	0.365	0.505	0.5725
No log	49.72	100	1.4005	0.63	0.1125	0.155	0.3675	0.5125	0.575
No log	50.72	102	1.3925	0.625	0.1125	0.155	0.37	0.5125	0.5725
No log	51.72	104	1.3847	0.6325	0.1125	0.155	0.38	0.5175	0.57
No log	52.72	106	1.3772	0.64	0.1125	0.155	0.38	0.515	0.57
No log	53.72	108	1.3679	0.6425	0.1125	0.155	0.3775	0.52	0.5825
No log	54.72	110	1.3595	0.6475	0.1125	0.155	0.3775	0.525	0.5825
No log	55.72	112	1.3544	0.6425	0.1125	0.155	0.3775	0.5225	0.58
No log	56.72	114	1.3515	0.6425	0.1125	0.155	0.375	0.52	0.5875
No log	57.72	116	1.3500	0.6425	0.1125	0.155	0.3775	0.52	0.5925
No log	58.72	118	1.3495	0.6425	0.1125	0.155	0.3775	0.5225	0.59
No log	59.72	120	1.3493	0.645	0.1125	0.155	0.3775	0.5225	0.5875

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1.post200
• Datasets 2.9.0
• Tokenizers 0.13.2