roberta-large-ner-ghtk-cs-16-label-new-data-3090-9Sep-1

This model is a fine-tuned version of FacebookAI/xlm-roberta-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2708
• Tk: {'precision': 0.6346153846153846, 'recall': 0.5689655172413793, 'f1': 0.6, 'number': 116}
• A: {'precision': 0.9592326139088729, 'recall': 0.9569377990430622, 'f1': 0.9580838323353293, 'number': 418}
• Gày trừu tượng: {'precision': 0.8964059196617337, 'recall': 0.9079229122055674, 'f1': 0.902127659574468, 'number': 467}
• Gân hàng: {'precision': 0.7894736842105263, 'recall': 0.8571428571428571, 'f1': 0.8219178082191781, 'number': 35}
• Hương thức thanh toán: {'precision': 0.9310344827586207, 'recall': 0.9, 'f1': 0.9152542372881356, 'number': 30}
• Hối lượng: {'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}
• Iền: {'precision': 0.6875, 'recall': 0.8461538461538461, 'f1': 0.7586206896551724, 'number': 39}
• Mail: {'precision': 0.9657534246575342, 'recall': 0.9591836734693877, 'f1': 0.962457337883959, 'number': 294}
• Ã đơn: {'precision': 0.7804878048780488, 'recall': 0.8040201005025126, 'f1': 0.792079207920792, 'number': 199}
• Ên người: {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 30}
• Đt trừu tượng: {'precision': 0.8558558558558559, 'recall': 0.8878504672897196, 'f1': 0.8715596330275229, 'number': 214}
• Ơn vị đo: {'precision': 0.76, 'recall': 0.6785714285714286, 'f1': 0.7169811320754718, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.8085106382978723, 'recall': 0.6031746031746031, 'f1': 0.6909090909090909, 'number': 126}
• Ản phẩm trừu tượng: {'precision': 0.6470588235294118, 'recall': 0.5365853658536586, 'f1': 0.5866666666666668, 'number': 41}
• Ịa chỉ cụ thể: {'precision': 0.6101694915254238, 'recall': 0.48, 'f1': 0.5373134328358208, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.7796610169491526, 'recall': 0.6133333333333333, 'f1': 0.6865671641791045, 'number': 75}
• Overall Precision: 0.8585
• Overall Recall: 0.8358
• Overall F1: 0.8470
• Overall Accuracy: 0.9520

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Mail	à đơn	Ên người	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.0963	1.0	1821	0.2461	{'precision': 0.5, 'recall': 0.2672413793103448, 'f1': 0.34831460674157305, 'number': 116}	{'precision': 0.9046563192904656, 'recall': 0.9760765550239234, 'f1': 0.9390103567318757, 'number': 418}	{'precision': 0.7743119266055046, 'recall': 0.9036402569593148, 'f1': 0.8339920948616601, 'number': 467}	{'precision': 0.5526315789473685, 'recall': 0.6, 'f1': 0.5753424657534247, 'number': 35}	{'precision': 0.6666666666666666, 'recall': 0.6, 'f1': 0.631578947368421, 'number': 30}	{'precision': 0.4090909090909091, 'recall': 0.75, 'f1': 0.5294117647058824, 'number': 12}	{'precision': 0.5789473684210527, 'recall': 0.8461538461538461, 'f1': 0.6875, 'number': 39}	{'precision': 0.8439306358381503, 'recall': 0.9931972789115646, 'f1': 0.9125000000000001, 'number': 294}	{'precision': 0.6788617886178862, 'recall': 0.8391959798994975, 'f1': 0.7505617977528088, 'number': 199}	{'precision': 0.19230769230769232, 'recall': 0.5, 'f1': 0.2777777777777778, 'number': 30}	{'precision': 0.6773049645390071, 'recall': 0.8925233644859814, 'f1': 0.7701612903225807, 'number': 214}	{'precision': 0.3333333333333333, 'recall': 0.10714285714285714, 'f1': 0.16216216216216214, 'number': 28}	{'precision': 0.6770833333333334, 'recall': 0.5158730158730159, 'f1': 0.5855855855855856, 'number': 126}	{'precision': 0.5217391304347826, 'recall': 0.2926829268292683, 'f1': 0.375, 'number': 41}	{'precision': 0.17647058823529413, 'recall': 0.16, 'f1': 0.16783216783216784, 'number': 75}	{'precision': 0.8666666666666667, 'recall': 0.52, 'f1': 0.65, 'number': 75}	0.7257	0.7904	0.7566	0.9255
0.0609	2.0	3642	0.1741	{'precision': 0.6029411764705882, 'recall': 0.35344827586206895, 'f1': 0.44565217391304346, 'number': 116}	{'precision': 0.9628712871287128, 'recall': 0.930622009569378, 'f1': 0.9464720194647201, 'number': 418}	{'precision': 0.8615702479338843, 'recall': 0.892933618843683, 'f1': 0.8769716088328077, 'number': 467}	{'precision': 0.6739130434782609, 'recall': 0.8857142857142857, 'f1': 0.7654320987654321, 'number': 35}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 30}	{'precision': 0.35714285714285715, 'recall': 0.4166666666666667, 'f1': 0.3846153846153846, 'number': 12}	{'precision': 0.6190476190476191, 'recall': 0.6666666666666666, 'f1': 0.6419753086419754, 'number': 39}	{'precision': 0.8668639053254438, 'recall': 0.9965986394557823, 'f1': 0.9272151898734177, 'number': 294}	{'precision': 0.726457399103139, 'recall': 0.8140703517587939, 'f1': 0.767772511848341, 'number': 199}	{'precision': 0.3617021276595745, 'recall': 0.5666666666666667, 'f1': 0.4415584415584416, 'number': 30}	{'precision': 0.6877192982456141, 'recall': 0.9158878504672897, 'f1': 0.7855711422845691, 'number': 214}	{'precision': 0.6470588235294118, 'recall': 0.39285714285714285, 'f1': 0.4888888888888888, 'number': 28}	{'precision': 0.7647058823529411, 'recall': 0.5158730158730159, 'f1': 0.6161137440758295, 'number': 126}	{'precision': 0.5818181818181818, 'recall': 0.7804878048780488, 'f1': 0.6666666666666666, 'number': 41}	{'precision': 0.23076923076923078, 'recall': 0.2, 'f1': 0.21428571428571427, 'number': 75}	{'precision': 0.7, 'recall': 0.56, 'f1': 0.6222222222222222, 'number': 75}	0.7783	0.8031	0.7905	0.9347
0.0487	3.0	5463	0.1856	{'precision': 0.5, 'recall': 0.09482758620689655, 'f1': 0.15942028985507245, 'number': 116}	{'precision': 0.9026548672566371, 'recall': 0.9760765550239234, 'f1': 0.9379310344827587, 'number': 418}	{'precision': 0.8949771689497716, 'recall': 0.8394004282655246, 'f1': 0.8662983425414366, 'number': 467}	{'precision': 0.85, 'recall': 0.4857142857142857, 'f1': 0.6181818181818183, 'number': 35}	{'precision': 0.8214285714285714, 'recall': 0.7666666666666667, 'f1': 0.793103448275862, 'number': 30}	{'precision': 0.30434782608695654, 'recall': 0.5833333333333334, 'f1': 0.4, 'number': 12}	{'precision': 0.5882352941176471, 'recall': 0.5128205128205128, 'f1': 0.547945205479452, 'number': 39}	{'precision': 0.9831932773109243, 'recall': 0.7959183673469388, 'f1': 0.8796992481203008, 'number': 294}	{'precision': 0.7897435897435897, 'recall': 0.7738693467336684, 'f1': 0.7817258883248732, 'number': 199}	{'precision': 0.3939393939393939, 'recall': 0.43333333333333335, 'f1': 0.4126984126984127, 'number': 30}	{'precision': 0.8617021276595744, 'recall': 0.7570093457943925, 'f1': 0.8059701492537313, 'number': 214}	{'precision': 0.6176470588235294, 'recall': 0.75, 'f1': 0.6774193548387097, 'number': 28}	{'precision': 0.7866666666666666, 'recall': 0.46825396825396826, 'f1': 0.5870646766169153, 'number': 126}	{'precision': 0.8, 'recall': 0.2926829268292683, 'f1': 0.4285714285714285, 'number': 41}	{'precision': 0.5161290322580645, 'recall': 0.21333333333333335, 'f1': 0.3018867924528302, 'number': 75}	{'precision': 0.7192982456140351, 'recall': 0.5466666666666666, 'f1': 0.6212121212121212, 'number': 75}	0.8444	0.7231	0.7790	0.9343
0.0324	4.0	7284	0.1952	{'precision': 0.6185567010309279, 'recall': 0.5172413793103449, 'f1': 0.563380281690141, 'number': 116}	{'precision': 0.9473684210526315, 'recall': 0.9473684210526315, 'f1': 0.9473684210526315, 'number': 418}	{'precision': 0.9142857142857143, 'recall': 0.8907922912205567, 'f1': 0.9023861171366594, 'number': 467}	{'precision': 0.675, 'recall': 0.7714285714285715, 'f1': 0.72, 'number': 35}	{'precision': 0.8333333333333334, 'recall': 0.8333333333333334, 'f1': 0.8333333333333334, 'number': 30}	{'precision': 0.2777777777777778, 'recall': 0.4166666666666667, 'f1': 0.33333333333333337, 'number': 12}	{'precision': 0.6170212765957447, 'recall': 0.7435897435897436, 'f1': 0.6744186046511628, 'number': 39}	{'precision': 0.8976897689768977, 'recall': 0.9251700680272109, 'f1': 0.9112227805695143, 'number': 294}	{'precision': 0.8012048192771084, 'recall': 0.6683417085427136, 'f1': 0.7287671232876712, 'number': 199}	{'precision': 0.3333333333333333, 'recall': 0.5666666666666667, 'f1': 0.4197530864197531, 'number': 30}	{'precision': 0.7126436781609196, 'recall': 0.8691588785046729, 'f1': 0.783157894736842, 'number': 214}	{'precision': 0.8571428571428571, 'recall': 0.42857142857142855, 'f1': 0.5714285714285714, 'number': 28}	{'precision': 0.84, 'recall': 0.5, 'f1': 0.6268656716417911, 'number': 126}	{'precision': 0.625, 'recall': 0.36585365853658536, 'f1': 0.4615384615384615, 'number': 41}	{'precision': 0.3, 'recall': 0.2, 'f1': 0.24, 'number': 75}	{'precision': 0.7818181818181819, 'recall': 0.5733333333333334, 'f1': 0.6615384615384615, 'number': 75}	0.8146	0.7794	0.7967	0.9393
0.0219	5.0	9105	0.1879	{'precision': 0.6788990825688074, 'recall': 0.6379310344827587, 'f1': 0.6577777777777778, 'number': 116}	{'precision': 0.9308755760368663, 'recall': 0.9665071770334929, 'f1': 0.948356807511737, 'number': 418}	{'precision': 0.8924050632911392, 'recall': 0.9057815845824411, 'f1': 0.8990435706695005, 'number': 467}	{'precision': 0.7, 'recall': 0.8, 'f1': 0.7466666666666666, 'number': 35}	{'precision': 0.7941176470588235, 'recall': 0.9, 'f1': 0.84375, 'number': 30}	{'precision': 0.39285714285714285, 'recall': 0.9166666666666666, 'f1': 0.55, 'number': 12}	{'precision': 0.6415094339622641, 'recall': 0.8717948717948718, 'f1': 0.7391304347826088, 'number': 39}	{'precision': 0.9881889763779528, 'recall': 0.8537414965986394, 'f1': 0.916058394160584, 'number': 294}	{'precision': 0.6678966789667896, 'recall': 0.9095477386934674, 'f1': 0.7702127659574469, 'number': 199}	{'precision': 0.4594594594594595, 'recall': 0.5666666666666667, 'f1': 0.5074626865671642, 'number': 30}	{'precision': 0.7279693486590039, 'recall': 0.8878504672897196, 'f1': 0.8000000000000002, 'number': 214}	{'precision': 0.6333333333333333, 'recall': 0.6785714285714286, 'f1': 0.6551724137931035, 'number': 28}	{'precision': 0.7916666666666666, 'recall': 0.4523809523809524, 'f1': 0.5757575757575758, 'number': 126}	{'precision': 0.627906976744186, 'recall': 0.6585365853658537, 'f1': 0.6428571428571429, 'number': 41}	{'precision': 0.45614035087719296, 'recall': 0.3466666666666667, 'f1': 0.3939393939393939, 'number': 75}	{'precision': 0.7014925373134329, 'recall': 0.6266666666666667, 'f1': 0.6619718309859156, 'number': 75}	0.8021	0.8258	0.8138	0.9409
0.0154	6.0	10926	0.2096	{'precision': 0.5794392523364486, 'recall': 0.5344827586206896, 'f1': 0.5560538116591928, 'number': 116}	{'precision': 0.9769820971867008, 'recall': 0.9138755980861244, 'f1': 0.9443757725587146, 'number': 418}	{'precision': 0.9066666666666666, 'recall': 0.8736616702355461, 'f1': 0.8898582333696838, 'number': 467}	{'precision': 0.8108108108108109, 'recall': 0.8571428571428571, 'f1': 0.8333333333333334, 'number': 35}	{'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}	{'precision': 0.4, 'recall': 0.3333333333333333, 'f1': 0.3636363636363636, 'number': 12}	{'precision': 0.6888888888888889, 'recall': 0.7948717948717948, 'f1': 0.738095238095238, 'number': 39}	{'precision': 0.995850622406639, 'recall': 0.8163265306122449, 'f1': 0.897196261682243, 'number': 294}	{'precision': 0.8192090395480226, 'recall': 0.7286432160804021, 'f1': 0.7712765957446809, 'number': 199}	{'precision': 0.525, 'recall': 0.7, 'f1': 0.6, 'number': 30}	{'precision': 0.9259259259259259, 'recall': 0.8177570093457944, 'f1': 0.8684863523573202, 'number': 214}	{'precision': 0.7083333333333334, 'recall': 0.6071428571428571, 'f1': 0.6538461538461539, 'number': 28}	{'precision': 0.8367346938775511, 'recall': 0.3253968253968254, 'f1': 0.4685714285714286, 'number': 126}	{'precision': 0.7647058823529411, 'recall': 0.3170731707317073, 'f1': 0.4482758620689655, 'number': 41}	{'precision': 0.5, 'recall': 0.3466666666666667, 'f1': 0.4094488188976378, 'number': 75}	{'precision': 0.84, 'recall': 0.56, 'f1': 0.6720000000000002, 'number': 75}	0.8721	0.7563	0.8100	0.9459
0.0124	7.0	12747	0.2053	{'precision': 0.6071428571428571, 'recall': 0.5862068965517241, 'f1': 0.5964912280701754, 'number': 116}	{'precision': 0.9402298850574713, 'recall': 0.9784688995215312, 'f1': 0.958968347010551, 'number': 418}	{'precision': 0.9157427937915743, 'recall': 0.8843683083511777, 'f1': 0.8997821350762527, 'number': 467}	{'precision': 0.8857142857142857, 'recall': 0.8857142857142857, 'f1': 0.8857142857142857, 'number': 35}	{'precision': 0.896551724137931, 'recall': 0.8666666666666667, 'f1': 0.8813559322033899, 'number': 30}	{'precision': 0.3333333333333333, 'recall': 0.3333333333333333, 'f1': 0.3333333333333333, 'number': 12}	{'precision': 0.6875, 'recall': 0.8461538461538461, 'f1': 0.7586206896551724, 'number': 39}	{'precision': 0.9963369963369964, 'recall': 0.9251700680272109, 'f1': 0.9594356261022927, 'number': 294}	{'precision': 0.7864583333333334, 'recall': 0.7587939698492462, 'f1': 0.7723785166240409, 'number': 199}	{'precision': 0.5454545454545454, 'recall': 0.6, 'f1': 0.5714285714285713, 'number': 30}	{'precision': 0.8478260869565217, 'recall': 0.9112149532710281, 'f1': 0.8783783783783784, 'number': 214}	{'precision': 0.6551724137931034, 'recall': 0.6785714285714286, 'f1': 0.6666666666666666, 'number': 28}	{'precision': 0.7289719626168224, 'recall': 0.6190476190476191, 'f1': 0.6695278969957081, 'number': 126}	{'precision': 0.85, 'recall': 0.4146341463414634, 'f1': 0.5573770491803278, 'number': 41}	{'precision': 0.5714285714285714, 'recall': 0.48, 'f1': 0.5217391304347826, 'number': 75}	{'precision': 0.7205882352941176, 'recall': 0.6533333333333333, 'f1': 0.6853146853146852, 'number': 75}	0.8512	0.8272	0.8390	0.9485
0.0089	8.0	14568	0.2343	{'precision': 0.6454545454545455, 'recall': 0.6120689655172413, 'f1': 0.6283185840707964, 'number': 116}	{'precision': 0.9440559440559441, 'recall': 0.9688995215311005, 'f1': 0.9563164108618654, 'number': 418}	{'precision': 0.8811475409836066, 'recall': 0.9207708779443254, 'f1': 0.9005235602094241, 'number': 467}	{'precision': 0.8378378378378378, 'recall': 0.8857142857142857, 'f1': 0.8611111111111112, 'number': 35}	{'precision': 0.9333333333333333, 'recall': 0.9333333333333333, 'f1': 0.9333333333333333, 'number': 30}	{'precision': 0.5, 'recall': 0.5, 'f1': 0.5, 'number': 12}	{'precision': 0.6666666666666666, 'recall': 0.8717948717948718, 'f1': 0.7555555555555555, 'number': 39}	{'precision': 0.9368770764119602, 'recall': 0.9591836734693877, 'f1': 0.9478991596638655, 'number': 294}	{'precision': 0.7696078431372549, 'recall': 0.7889447236180904, 'f1': 0.7791563275434243, 'number': 199}	{'precision': 0.5333333333333333, 'recall': 0.5333333333333333, 'f1': 0.5333333333333333, 'number': 30}	{'precision': 0.8709677419354839, 'recall': 0.883177570093458, 'f1': 0.877030162412993, 'number': 214}	{'precision': 0.7307692307692307, 'recall': 0.6785714285714286, 'f1': 0.7037037037037038, 'number': 28}	{'precision': 0.7755102040816326, 'recall': 0.6031746031746031, 'f1': 0.6785714285714285, 'number': 126}	{'precision': 0.6764705882352942, 'recall': 0.5609756097560976, 'f1': 0.6133333333333334, 'number': 41}	{'precision': 0.5689655172413793, 'recall': 0.44, 'f1': 0.49624060150375937, 'number': 75}	{'precision': 0.7868852459016393, 'recall': 0.64, 'f1': 0.7058823529411764, 'number': 75}	0.8454	0.8404	0.8429	0.9514
0.0056	9.0	16389	0.2690	{'precision': 0.6039603960396039, 'recall': 0.5258620689655172, 'f1': 0.5622119815668203, 'number': 116}	{'precision': 0.9615384615384616, 'recall': 0.9569377990430622, 'f1': 0.9592326139088729, 'number': 418}	{'precision': 0.8867924528301887, 'recall': 0.9057815845824411, 'f1': 0.896186440677966, 'number': 467}	{'precision': 0.7631578947368421, 'recall': 0.8285714285714286, 'f1': 0.7945205479452055, 'number': 35}	{'precision': 0.9310344827586207, 'recall': 0.9, 'f1': 0.9152542372881356, 'number': 30}	{'precision': 0.5, 'recall': 0.4166666666666667, 'f1': 0.45454545454545453, 'number': 12}	{'precision': 0.6938775510204082, 'recall': 0.8717948717948718, 'f1': 0.7727272727272728, 'number': 39}	{'precision': 0.9963369963369964, 'recall': 0.9251700680272109, 'f1': 0.9594356261022927, 'number': 294}	{'precision': 0.7745098039215687, 'recall': 0.7939698492462312, 'f1': 0.7841191066997519, 'number': 199}	{'precision': 0.6785714285714286, 'recall': 0.6333333333333333, 'f1': 0.6551724137931035, 'number': 30}	{'precision': 0.8362068965517241, 'recall': 0.9065420560747663, 'f1': 0.8699551569506727, 'number': 214}	{'precision': 0.75, 'recall': 0.6428571428571429, 'f1': 0.6923076923076924, 'number': 28}	{'precision': 0.8275862068965517, 'recall': 0.5714285714285714, 'f1': 0.676056338028169, 'number': 126}	{'precision': 0.6666666666666666, 'recall': 0.5365853658536586, 'f1': 0.5945945945945946, 'number': 41}	{'precision': 0.5423728813559322, 'recall': 0.4266666666666667, 'f1': 0.4776119402985075, 'number': 75}	{'precision': 0.7833333333333333, 'recall': 0.6266666666666667, 'f1': 0.6962962962962963, 'number': 75}	0.8552	0.8245	0.8395	0.9509
0.0041	10.0	18210	0.2708	{'precision': 0.6346153846153846, 'recall': 0.5689655172413793, 'f1': 0.6, 'number': 116}	{'precision': 0.9592326139088729, 'recall': 0.9569377990430622, 'f1': 0.9580838323353293, 'number': 418}	{'precision': 0.8964059196617337, 'recall': 0.9079229122055674, 'f1': 0.902127659574468, 'number': 467}	{'precision': 0.7894736842105263, 'recall': 0.8571428571428571, 'f1': 0.8219178082191781, 'number': 35}	{'precision': 0.9310344827586207, 'recall': 0.9, 'f1': 0.9152542372881356, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.6875, 'recall': 0.8461538461538461, 'f1': 0.7586206896551724, 'number': 39}	{'precision': 0.9657534246575342, 'recall': 0.9591836734693877, 'f1': 0.962457337883959, 'number': 294}	{'precision': 0.7804878048780488, 'recall': 0.8040201005025126, 'f1': 0.792079207920792, 'number': 199}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 30}	{'precision': 0.8558558558558559, 'recall': 0.8878504672897196, 'f1': 0.8715596330275229, 'number': 214}	{'precision': 0.76, 'recall': 0.6785714285714286, 'f1': 0.7169811320754718, 'number': 28}	{'precision': 0.8085106382978723, 'recall': 0.6031746031746031, 'f1': 0.6909090909090909, 'number': 126}	{'precision': 0.6470588235294118, 'recall': 0.5365853658536586, 'f1': 0.5866666666666668, 'number': 41}	{'precision': 0.6101694915254238, 'recall': 0.48, 'f1': 0.5373134328358208, 'number': 75}	{'precision': 0.7796610169491526, 'recall': 0.6133333333333333, 'f1': 0.6865671641791045, 'number': 75}	0.8585	0.8358	0.8470	0.9520

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1