EElayoutlmv3_jordyvl_rvl_cdip_100_examples_per_class_2023-07-05_g05

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 1.1631
• Accuracy: 0.72
• Exit 0 Accuracy: 0.1125
• Exit 1 Accuracy: 0.155
• Exit 2 Accuracy: 0.3325
• Exit 3 Accuracy: 0.3225
• Exit 4 Accuracy: 0.105

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 12
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 24
• total_train_batch_size: 288
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Exit 0 Accuracy	Exit 1 Accuracy	Exit 2 Accuracy	Exit 3 Accuracy	Exit 4 Accuracy
No log	0.72	2	2.7600	0.1075	0.075	0.0675	0.0925	0.0625	0.0625
No log	1.72	4	2.7312	0.1125	0.07	0.065	0.12	0.0625	0.0625
No log	2.72	6	2.6924	0.1325	0.075	0.06	0.1175	0.0625	0.0625
No log	3.72	8	2.6597	0.1675	0.0775	0.055	0.125	0.0625	0.0625
No log	4.72	10	2.6138	0.2025	0.0825	0.0575	0.12	0.0625	0.0625
No log	5.72	12	2.5640	0.215	0.0875	0.08	0.11	0.0625	0.0625
No log	6.72	14	2.5403	0.22	0.09	0.08	0.12	0.0625	0.0625
No log	7.72	16	2.5207	0.2275	0.09	0.0925	0.12	0.0625	0.0625
No log	8.72	18	2.4860	0.27	0.0975	0.0975	0.115	0.0625	0.0625
No log	9.72	20	2.4397	0.295	0.1	0.1075	0.13	0.0625	0.0625
No log	10.72	22	2.4044	0.3	0.095	0.12	0.1475	0.0625	0.0625
No log	11.72	24	2.3671	0.3075	0.1025	0.1175	0.1475	0.065	0.0625
No log	12.72	26	2.3178	0.3175	0.105	0.115	0.145	0.0775	0.0625
No log	13.72	28	2.2514	0.355	0.105	0.1225	0.155	0.11	0.0625
No log	14.72	30	2.2030	0.3775	0.1125	0.125	0.195	0.115	0.065
No log	15.72	32	2.1831	0.3725	0.1075	0.13	0.225	0.1075	0.065
No log	16.72	34	2.1417	0.3675	0.115	0.1375	0.2375	0.1075	0.065
No log	17.72	36	2.0688	0.3975	0.1075	0.1375	0.255	0.115	0.07
No log	18.72	38	2.0252	0.4075	0.115	0.14	0.26	0.1225	0.0825
No log	19.72	40	1.9896	0.4275	0.115	0.14	0.265	0.125	0.0925
No log	20.72	42	1.9344	0.4675	0.11	0.14	0.2675	0.11	0.095
No log	21.72	44	1.8826	0.48	0.11	0.1375	0.2625	0.1175	0.095
No log	22.72	46	1.8459	0.505	0.11	0.1375	0.2525	0.1125	0.095
No log	23.72	48	1.8152	0.5375	0.11	0.14	0.275	0.12	0.0975
No log	24.72	50	1.7909	0.535	0.11	0.1425	0.2975	0.135	0.1025
No log	25.72	52	1.7339	0.5575	0.1075	0.145	0.3	0.13	0.0975
No log	26.72	54	1.6912	0.56	0.1125	0.145	0.295	0.14	0.1025
No log	27.72	56	1.6601	0.575	0.115	0.1475	0.3025	0.1425	0.1025
No log	28.72	58	1.6302	0.585	0.115	0.1475	0.295	0.145	0.1
No log	29.72	60	1.5808	0.585	0.1125	0.1475	0.3	0.155	0.1025
No log	30.72	62	1.5408	0.6	0.115	0.1475	0.3025	0.175	0.1
No log	31.72	64	1.5289	0.605	0.115	0.145	0.3	0.18	0.0975
No log	32.72	66	1.5030	0.6125	0.115	0.145	0.2975	0.18	0.1
No log	33.72	68	1.4653	0.635	0.115	0.145	0.3	0.185	0.1
No log	34.72	70	1.4342	0.6325	0.1175	0.145	0.295	0.21	0.0975
No log	35.72	72	1.4088	0.64	0.115	0.1475	0.2975	0.2175	0.095
No log	36.72	74	1.3848	0.6375	0.1175	0.1475	0.3075	0.2175	0.095
No log	37.72	76	1.3533	0.6775	0.12	0.1475	0.315	0.2475	0.095
No log	38.72	78	1.3349	0.68	0.1175	0.1475	0.3125	0.2525	0.095
No log	39.72	80	1.3140	0.665	0.115	0.1475	0.325	0.255	0.0975
No log	40.72	82	1.3001	0.6825	0.115	0.1475	0.325	0.265	0.0975
No log	41.72	84	1.2824	0.695	0.115	0.1475	0.32	0.2625	0.1
No log	42.72	86	1.2740	0.7	0.115	0.1525	0.3275	0.265	0.1
No log	43.72	88	1.2538	0.7	0.115	0.1525	0.33	0.2675	0.1
No log	44.72	90	1.2348	0.6925	0.1125	0.1525	0.33	0.29	0.1025
No log	45.72	92	1.2253	0.705	0.1125	0.1525	0.3325	0.29	0.105
No log	46.72	94	1.2225	0.7025	0.1125	0.1525	0.335	0.2925	0.105
No log	47.72	96	1.2153	0.7075	0.1125	0.1525	0.3375	0.295	0.105
No log	48.72	98	1.1988	0.725	0.1125	0.1525	0.3325	0.3025	0.105
No log	49.72	100	1.1897	0.725	0.1125	0.1525	0.3325	0.31	0.105
No log	50.72	102	1.1835	0.7225	0.1125	0.1525	0.33	0.315	0.1025
No log	51.72	104	1.1834	0.72	0.1125	0.1525	0.335	0.3175	0.1025
No log	52.72	106	1.1767	0.7275	0.1125	0.1525	0.335	0.305	0.105
No log	53.72	108	1.1726	0.7225	0.1125	0.1525	0.335	0.31	0.105
No log	54.72	110	1.1696	0.7175	0.1125	0.1525	0.335	0.31	0.105
No log	55.72	112	1.1673	0.7125	0.1125	0.155	0.3325	0.3125	0.105
No log	56.72	114	1.1653	0.7175	0.1125	0.155	0.3325	0.32	0.105
No log	57.72	116	1.1638	0.72	0.1125	0.155	0.33	0.325	0.105
No log	58.72	118	1.1633	0.72	0.1125	0.155	0.33	0.3225	0.105
No log	59.72	120	1.1631	0.72	0.1125	0.155	0.3325	0.3225	0.105

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1.post200
• Datasets 2.9.0
• Tokenizers 0.13.2