EElayoutlmv3_jordyvl_rvl_cdip_100_examples_per_class_2023-07-06_g075

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 1.2759
• Accuracy: 0.6825
• Exit 0 Accuracy: 0.11
• Exit 1 Accuracy: 0.155
• Exit 2 Accuracy: 0.345
• Exit 3 Accuracy: 0.425
• Exit 4 Accuracy: 0.5225

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 12
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 24
• total_train_batch_size: 288
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy
No log	0.72	2	2.7601	0.1075	0.0825	0.0675	0.1025	0.0625	0.0625
No log	1.72	4	2.7328	0.1125	0.07	0.065	0.1225	0.0625	0.0625
No log	2.72	6	2.6968	0.13	0.075	0.06	0.1325	0.0625	0.0625
No log	3.72	8	2.6594	0.18	0.075	0.06	0.1175	0.0625	0.0625
No log	4.72	10	2.6206	0.1925	0.085	0.0575	0.11	0.0625	0.0625
No log	5.72	12	2.5710	0.2125	0.09	0.08	0.115	0.0625	0.0625
No log	6.72	14	2.5334	0.2275	0.095	0.08	0.12	0.0575	0.0625
No log	7.72	16	2.5094	0.245	0.095	0.095	0.135	0.0725	0.0625
No log	8.72	18	2.4631	0.2825	0.095	0.0975	0.17	0.0925	0.065
No log	9.72	20	2.4152	0.3025	0.1	0.1275	0.205	0.1075	0.0625
No log	10.72	22	2.3737	0.325	0.1075	0.1225	0.24	0.12	0.065
No log	11.72	24	2.3302	0.3175	0.1125	0.1175	0.2375	0.1475	0.0675
No log	12.72	26	2.2746	0.34	0.1125	0.125	0.255	0.155	0.095
No log	13.72	28	2.2527	0.35	0.1125	0.125	0.2625	0.175	0.095
No log	14.72	30	2.2101	0.3425	0.1075	0.13	0.27	0.2125	0.095
No log	15.72	32	2.1811	0.355	0.1075	0.14	0.29	0.24	0.095
No log	16.72	34	2.1368	0.38	0.105	0.145	0.305	0.245	0.0925
No log	17.72	36	2.0855	0.395	0.1075	0.145	0.3175	0.2475	0.095
No log	18.72	38	2.0559	0.4	0.1125	0.145	0.305	0.255	0.1025
No log	19.72	40	2.0277	0.41	0.115	0.145	0.295	0.28	0.105
No log	20.72	42	1.9746	0.445	0.12	0.145	0.28	0.2875	0.1025
No log	21.72	44	1.9346	0.4525	0.12	0.145	0.265	0.25	0.1025
No log	22.72	46	1.8926	0.4925	0.12	0.145	0.255	0.25	0.11
No log	23.72	48	1.8581	0.5025	0.115	0.1475	0.26	0.3	0.1075
No log	24.72	50	1.8403	0.4975	0.11	0.1475	0.2725	0.3325	0.11
No log	25.72	52	1.8162	0.5	0.1125	0.1475	0.2875	0.3575	0.1125
No log	26.72	54	1.7562	0.5475	0.115	0.1475	0.295	0.3575	0.115
No log	27.72	56	1.7205	0.5725	0.1175	0.15	0.295	0.37	0.115
No log	28.72	58	1.7041	0.555	0.1175	0.15	0.295	0.36	0.11
No log	29.72	60	1.7018	0.5525	0.12	0.15	0.305	0.36	0.1125
No log	30.72	62	1.6532	0.58	0.12	0.15	0.3025	0.3725	0.1125
No log	31.72	64	1.6218	0.58	0.12	0.15	0.3125	0.3725	0.1175
No log	32.72	66	1.5888	0.59	0.115	0.1475	0.32	0.38	0.1325
No log	33.72	68	1.5778	0.6	0.115	0.1475	0.315	0.3875	0.1425
No log	34.72	70	1.5500	0.59	0.1225	0.15	0.315	0.3875	0.155
No log	35.72	72	1.5216	0.61	0.13	0.15	0.31	0.3875	0.17
No log	36.72	74	1.5024	0.6175	0.1275	0.15	0.3075	0.4125	0.1675
No log	37.72	76	1.4787	0.615	0.12	0.1525	0.32	0.4025	0.165
No log	38.72	78	1.4635	0.6175	0.1175	0.1525	0.325	0.4125	0.1625
No log	39.72	80	1.4455	0.6225	0.12	0.155	0.3225	0.4225	0.165
No log	40.72	82	1.4304	0.625	0.12	0.155	0.33	0.425	0.1675
No log	41.72	84	1.4170	0.6425	0.1175	0.155	0.3325	0.425	0.21
No log	42.72	86	1.4052	0.64	0.1175	0.155	0.335	0.4275	0.245
No log	43.72	88	1.3965	0.6425	0.1125	0.155	0.34	0.4125	0.2775
No log	44.72	90	1.3766	0.645	0.1125	0.155	0.3425	0.4075	0.315
No log	45.72	92	1.3611	0.6575	0.11	0.155	0.345	0.41	0.33
No log	46.72	94	1.3513	0.6575	0.11	0.155	0.3425	0.4175	0.34
No log	47.72	96	1.3520	0.665	0.11	0.155	0.3425	0.4275	0.36
No log	48.72	98	1.3373	0.67	0.11	0.155	0.3425	0.425	0.3875
No log	49.72	100	1.3213	0.6775	0.11	0.155	0.3425	0.4175	0.405
No log	50.72	102	1.3124	0.6825	0.11	0.155	0.3425	0.41	0.445
No log	51.72	104	1.3080	0.68	0.1075	0.155	0.34	0.41	0.455
No log	52.72	106	1.3037	0.675	0.105	0.1575	0.3425	0.4175	0.4775
No log	53.72	108	1.2987	0.6825	0.11	0.1575	0.345	0.425	0.4875
No log	54.72	110	1.2943	0.6775	0.1075	0.1575	0.3475	0.425	0.5025
No log	55.72	112	1.2889	0.68	0.1075	0.1575	0.3475	0.425	0.51
No log	56.72	114	1.2829	0.68	0.1075	0.16	0.3475	0.4225	0.5175
No log	57.72	116	1.2793	0.68	0.1075	0.155	0.3475	0.4225	0.5225
No log	58.72	118	1.2769	0.68	0.11	0.155	0.345	0.4225	0.5225
No log	59.72	120	1.2759	0.6825	0.11	0.155	0.345	0.425	0.5225

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1.post200
• Datasets 2.9.0
• Tokenizers 0.13.2