layoutlm-funsd

This model is a fine-tuned version of microsoft/layoutlm-base-uncased on the layoutlm_resume_data dataset. It achieves the following results on the evaluation set:

• Loss: 0.0076
• Address: {'precision': 0.9166666666666666, 'recall': 0.9166666666666666, 'f1': 0.9166666666666666, 'number': 24}
• Email: {'precision': 0.8214285714285714, 'recall': 0.8518518518518519, 'f1': 0.8363636363636364, 'number': 27}
• Name: {'precision': 0.926829268292683, 'recall': 0.9743589743589743, 'f1': 0.9500000000000001, 'number': 39}
• Phone: {'precision': 0.8378378378378378, 'recall': 0.8611111111111112, 'f1': 0.8493150684931507, 'number': 36}
• Overall Precision: 0.8769
• Overall Recall: 0.9048
• Overall F1: 0.8906
• Overall Accuracy: 0.9989

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Address	Email	Name	Phone	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
1.9	1.0	15	0.2150	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 24}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 27}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 39}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 36}	0.0	0.0	0.0	0.9757
0.1382	2.0	30	0.0885	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 24}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 27}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 39}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 36}	0.0	0.0	0.0	0.9757
0.0714	3.0	45	0.0499	{'precision': 0.02040816326530612, 'recall': 0.041666666666666664, 'f1': 0.027397260273972598, 'number': 24}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 27}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.16666666666666666, 'f1': 0.26666666666666666, 'number': 36}	0.1207	0.0556	0.0761	0.9863
0.0469	4.0	60	0.0345	{'precision': 0.14285714285714285, 'recall': 0.25, 'f1': 0.18181818181818182, 'number': 24}	{'precision': 0.875, 'recall': 0.25925925925925924, 'f1': 0.39999999999999997, 'number': 27}	{'precision': 0.34146341463414637, 'recall': 0.358974358974359, 'f1': 0.35000000000000003, 'number': 39}	{'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 36}	0.3778	0.4048	0.3908	0.9910
0.0327	5.0	75	0.0232	{'precision': 0.07692307692307693, 'recall': 0.08333333333333333, 'f1': 0.08, 'number': 24}	{'precision': 0.7, 'recall': 0.7777777777777778, 'f1': 0.7368421052631577, 'number': 27}	{'precision': 0.8333333333333334, 'recall': 0.8974358974358975, 'f1': 0.8641975308641975, 'number': 39}	{'precision': 0.5, 'recall': 0.8055555555555556, 'f1': 0.6170212765957447, 'number': 36}	0.5577	0.6905	0.6170	0.9943
0.0224	6.0	90	0.0168	{'precision': 0.16, 'recall': 0.16666666666666666, 'f1': 0.16326530612244897, 'number': 24}	{'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 27}	{'precision': 0.875, 'recall': 0.8974358974358975, 'f1': 0.8860759493670887, 'number': 39}	{'precision': 0.5576923076923077, 'recall': 0.8055555555555556, 'f1': 0.6590909090909091, 'number': 36}	0.5933	0.7063	0.6449	0.9961
0.0163	7.0	105	0.0119	{'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}	{'precision': 0.7857142857142857, 'recall': 0.8148148148148148, 'f1': 0.7999999999999999, 'number': 27}	{'precision': 0.9024390243902439, 'recall': 0.9487179487179487, 'f1': 0.9249999999999999, 'number': 39}	{'precision': 0.7073170731707317, 'recall': 0.8055555555555556, 'f1': 0.7532467532467532, 'number': 36}	0.8074	0.8651	0.8352	0.9981
0.012	8.0	120	0.0100	{'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}	{'precision': 0.7931034482758621, 'recall': 0.8518518518518519, 'f1': 0.8214285714285715, 'number': 27}	{'precision': 0.8809523809523809, 'recall': 0.9487179487179487, 'f1': 0.9135802469135802, 'number': 39}	{'precision': 0.7948717948717948, 'recall': 0.8611111111111112, 'f1': 0.8266666666666667, 'number': 36}	0.8296	0.8889	0.8582	0.9981
0.0097	9.0	135	0.0093	{'precision': 0.8333333333333334, 'recall': 0.8333333333333334, 'f1': 0.8333333333333334, 'number': 24}	{'precision': 0.7931034482758621, 'recall': 0.8518518518518519, 'f1': 0.8214285714285715, 'number': 27}	{'precision': 0.9024390243902439, 'recall': 0.9487179487179487, 'f1': 0.9249999999999999, 'number': 39}	{'precision': 0.6904761904761905, 'recall': 0.8055555555555556, 'f1': 0.7435897435897436, 'number': 36}	0.8015	0.8651	0.8321	0.9984
0.0077	10.0	150	0.0079	{'precision': 0.88, 'recall': 0.9166666666666666, 'f1': 0.8979591836734694, 'number': 24}	{'precision': 0.8214285714285714, 'recall': 0.8518518518518519, 'f1': 0.8363636363636364, 'number': 27}	{'precision': 0.925, 'recall': 0.9487179487179487, 'f1': 0.9367088607594937, 'number': 39}	{'precision': 0.7948717948717948, 'recall': 0.8611111111111112, 'f1': 0.8266666666666667, 'number': 36}	0.8561	0.8968	0.8760	0.9987
0.0069	11.0	165	0.0084	{'precision': 0.7916666666666666, 'recall': 0.7916666666666666, 'f1': 0.7916666666666666, 'number': 24}	{'precision': 0.7931034482758621, 'recall': 0.8518518518518519, 'f1': 0.8214285714285715, 'number': 27}	{'precision': 0.926829268292683, 'recall': 0.9743589743589743, 'f1': 0.9500000000000001, 'number': 39}	{'precision': 0.7948717948717948, 'recall': 0.8611111111111112, 'f1': 0.8266666666666667, 'number': 36}	0.8346	0.8810	0.8571	0.9986
0.0066	12.0	180	0.0079	{'precision': 0.8333333333333334, 'recall': 0.8333333333333334, 'f1': 0.8333333333333334, 'number': 24}	{'precision': 0.8214285714285714, 'recall': 0.8518518518518519, 'f1': 0.8363636363636364, 'number': 27}	{'precision': 0.9047619047619048, 'recall': 0.9743589743589743, 'f1': 0.9382716049382716, 'number': 39}	{'precision': 0.8157894736842105, 'recall': 0.8611111111111112, 'f1': 0.8378378378378377, 'number': 36}	0.8485	0.8889	0.8682	0.9986
0.0058	13.0	195	0.0079	{'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}	{'precision': 0.8214285714285714, 'recall': 0.8518518518518519, 'f1': 0.8363636363636364, 'number': 27}	{'precision': 0.9047619047619048, 'recall': 0.9743589743589743, 'f1': 0.9382716049382716, 'number': 39}	{'precision': 0.8378378378378378, 'recall': 0.8611111111111112, 'f1': 0.8493150684931507, 'number': 36}	0.8561	0.8968	0.8760	0.9989
0.0054	14.0	210	0.0077	{'precision': 0.9166666666666666, 'recall': 0.9166666666666666, 'f1': 0.9166666666666666, 'number': 24}	{'precision': 0.8214285714285714, 'recall': 0.8518518518518519, 'f1': 0.8363636363636364, 'number': 27}	{'precision': 0.926829268292683, 'recall': 0.9743589743589743, 'f1': 0.9500000000000001, 'number': 39}	{'precision': 0.8378378378378378, 'recall': 0.8611111111111112, 'f1': 0.8493150684931507, 'number': 36}	0.8769	0.9048	0.8906	0.9989
0.0053	15.0	225	0.0076	{'precision': 0.9166666666666666, 'recall': 0.9166666666666666, 'f1': 0.9166666666666666, 'number': 24}	{'precision': 0.8214285714285714, 'recall': 0.8518518518518519, 'f1': 0.8363636363636364, 'number': 27}	{'precision': 0.926829268292683, 'recall': 0.9743589743589743, 'f1': 0.9500000000000001, 'number': 39}	{'precision': 0.8378378378378378, 'recall': 0.8611111111111112, 'f1': 0.8493150684931507, 'number': 36}	0.8769	0.9048	0.8906	0.9989

Framework versions

• Transformers 4.28.0
• Pytorch 2.0.1+cu118
• Datasets 2.14.5
• Tokenizers 0.13.3