roberta-large-ner-ghtk-cs-new-data-3090-5Sep-1

This model is a fine-tuned version of FacebookAI/xlm-roberta-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3203
• cmt: {'precision': 0.9230769230769231, 'recall': 0.8571428571428571, 'f1': 0.888888888888889, 'number': 14}
• Tk: {'precision': 0.7659574468085106, 'recall': 0.6206896551724138, 'f1': 0.6857142857142856, 'number': 116}
• A: {'precision': 0.9544364508393285, 'recall': 0.9521531100478469, 'f1': 0.9532934131736527, 'number': 418}
• Gày: {'precision': 0.6, 'recall': 0.7272727272727273, 'f1': 0.6575342465753425, 'number': 33}
• Gày trừu tượng: {'precision': 0.9069767441860465, 'recall': 0.9186295503211992, 'f1': 0.9127659574468084, 'number': 467}
• Gân hàng: {'precision': 0.8857142857142857, 'recall': 0.8857142857142857, 'f1': 0.8857142857142857, 'number': 35}
• Hương thức thanh toán: {'precision': 0.896551724137931, 'recall': 0.8666666666666667, 'f1': 0.8813559322033899, 'number': 30}
• Hối lượng: {'precision': 0.38461538461538464, 'recall': 0.4166666666666667, 'f1': 0.4, 'number': 12}
• Iền: {'precision': 0.7674418604651163, 'recall': 0.8461538461538461, 'f1': 0.8048780487804877, 'number': 39}
• Iờ: {'precision': 0.6585365853658537, 'recall': 0.7105263157894737, 'f1': 0.6835443037974684, 'number': 38}
• Mail: {'precision': 0.9657534246575342, 'recall': 0.9591836734693877, 'f1': 0.962457337883959, 'number': 294}
• Ã đơn: {'precision': 0.783410138248848, 'recall': 0.8542713567839196, 'f1': 0.8173076923076924, 'number': 199}
• Ên người: {'precision': 0.65625, 'recall': 0.7, 'f1': 0.6774193548387096, 'number': 30}
• Đt: {'precision': 0.8796296296296297, 'recall': 0.9738041002277904, 'f1': 0.9243243243243242, 'number': 878}
• Đt trừu tượng: {'precision': 0.8185654008438819, 'recall': 0.9065420560747663, 'f1': 0.8603104212860311, 'number': 214}
• Ơn vị đo: {'precision': 0.75, 'recall': 0.6428571428571429, 'f1': 0.6923076923076924, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.8222222222222222, 'recall': 0.5873015873015873, 'f1': 0.6851851851851852, 'number': 126}
• Ản phẩm trừu tượng: {'precision': 0.7368421052631579, 'recall': 0.6829268292682927, 'f1': 0.7088607594936709, 'number': 41}
• Ịa chỉ cụ thể: {'precision': 0.4057971014492754, 'recall': 0.37333333333333335, 'f1': 0.38888888888888895, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.6923076923076923, 'recall': 0.6, 'f1': 0.6428571428571429, 'number': 75}
• Overall Precision: 0.8571
• Overall Recall: 0.8767
• Overall F1: 0.8668
• Overall Accuracy: 0.9407

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	Tk	A	Gày	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Iờ	Mail	à đơn	Ên người	Đt	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.1079	1.0	1934	0.3477	{'precision': 0.3333333333333333, 'recall': 0.07142857142857142, 'f1': 0.11764705882352941, 'number': 14}	{'precision': 0.5507246376811594, 'recall': 0.3275862068965517, 'f1': 0.41081081081081083, 'number': 116}	{'precision': 0.9064587973273942, 'recall': 0.9736842105263158, 'f1': 0.9388696655132641, 'number': 418}	{'precision': 0.4, 'recall': 0.06060606060606061, 'f1': 0.10526315789473685, 'number': 33}	{'precision': 0.9190600522193212, 'recall': 0.7537473233404711, 'f1': 0.8282352941176471, 'number': 467}	{'precision': 0.6756756756756757, 'recall': 0.7142857142857143, 'f1': 0.6944444444444444, 'number': 35}	{'precision': 0.5, 'recall': 0.13333333333333333, 'f1': 0.2105263157894737, 'number': 30}	{'precision': 0.375, 'recall': 0.75, 'f1': 0.5, 'number': 12}	{'precision': 0.6153846153846154, 'recall': 0.20512820512820512, 'f1': 0.3076923076923077, 'number': 39}	{'precision': 0.6571428571428571, 'recall': 0.6052631578947368, 'f1': 0.6301369863013698, 'number': 38}	{'precision': 0.9009287925696594, 'recall': 0.9897959183673469, 'f1': 0.9432739059967585, 'number': 294}	{'precision': 0.4959785522788204, 'recall': 0.9296482412060302, 'f1': 0.6468531468531469, 'number': 199}	{'precision': 0.3333333333333333, 'recall': 0.5666666666666667, 'f1': 0.4197530864197531, 'number': 30}	{'precision': 0.7903066271018794, 'recall': 0.9100227790432802, 'f1': 0.8459502382212811, 'number': 878}	{'precision': 0.5983606557377049, 'recall': 0.3411214953271028, 'f1': 0.43452380952380953, 'number': 214}	{'precision': 0.6666666666666666, 'recall': 0.2857142857142857, 'f1': 0.4, 'number': 28}	{'precision': 0.46396396396396394, 'recall': 0.8174603174603174, 'f1': 0.5919540229885057, 'number': 126}	{'precision': 0.55, 'recall': 0.2682926829268293, 'f1': 0.36065573770491804, 'number': 41}	{'precision': 0.16666666666666666, 'recall': 0.10666666666666667, 'f1': 0.13008130081300814, 'number': 75}	{'precision': 0.8478260869565217, 'recall': 0.52, 'f1': 0.6446280991735537, 'number': 75}	0.7385	0.7600	0.7491	0.8808
0.0655	2.0	3868	0.2522	{'precision': 0.7142857142857143, 'recall': 0.35714285714285715, 'f1': 0.4761904761904762, 'number': 14}	{'precision': 0.23529411764705882, 'recall': 0.034482758620689655, 'f1': 0.06015037593984962, 'number': 116}	{'precision': 0.9356435643564357, 'recall': 0.9043062200956937, 'f1': 0.9197080291970803, 'number': 418}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 33}	{'precision': 0.8383838383838383, 'recall': 0.8886509635974305, 'f1': 0.8627858627858629, 'number': 467}	{'precision': 0.7368421052631579, 'recall': 0.8, 'f1': 0.7671232876712328, 'number': 35}	{'precision': 0.7096774193548387, 'recall': 0.7333333333333333, 'f1': 0.7213114754098361, 'number': 30}	{'precision': 0.35, 'recall': 0.5833333333333334, 'f1': 0.4375, 'number': 12}	{'precision': 0.6, 'recall': 0.38461538461538464, 'f1': 0.46875, 'number': 39}	{'precision': 0.6756756756756757, 'recall': 0.6578947368421053, 'f1': 0.6666666666666667, 'number': 38}	{'precision': 0.8820960698689956, 'recall': 0.6870748299319728, 'f1': 0.7724665391969406, 'number': 294}	{'precision': 0.7658536585365854, 'recall': 0.7889447236180904, 'f1': 0.7772277227722771, 'number': 199}	{'precision': 0.6, 'recall': 0.2, 'f1': 0.3, 'number': 30}	{'precision': 0.8274209012464045, 'recall': 0.9829157175398633, 'f1': 0.8984903695991671, 'number': 878}	{'precision': 0.7819905213270142, 'recall': 0.7710280373831776, 'f1': 0.7764705882352941, 'number': 214}	{'precision': 0.7777777777777778, 'recall': 0.25, 'f1': 0.3783783783783784, 'number': 28}	{'precision': 0.8058252427184466, 'recall': 0.6587301587301587, 'f1': 0.7248908296943231, 'number': 126}	{'precision': 0.6842105263157895, 'recall': 0.3170731707317073, 'f1': 0.43333333333333335, 'number': 41}	{'precision': 0.20689655172413793, 'recall': 0.08, 'f1': 0.11538461538461539, 'number': 75}	{'precision': 0.6666666666666666, 'recall': 0.5066666666666667, 'f1': 0.5757575757575758, 'number': 75}	0.8144	0.7783	0.7959	0.9144
0.0509	3.0	5802	0.2963	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 14}	{'precision': 0.5, 'recall': 0.07758620689655173, 'f1': 0.13432835820895522, 'number': 116}	{'precision': 0.9474940334128878, 'recall': 0.9497607655502392, 'f1': 0.948626045400239, 'number': 418}	{'precision': 0.5106382978723404, 'recall': 0.7272727272727273, 'f1': 0.5999999999999999, 'number': 33}	{'precision': 0.8940397350993378, 'recall': 0.867237687366167, 'f1': 0.8804347826086957, 'number': 467}	{'precision': 0.7105263157894737, 'recall': 0.7714285714285715, 'f1': 0.7397260273972601, 'number': 35}	{'precision': 0.8518518518518519, 'recall': 0.7666666666666667, 'f1': 0.8070175438596491, 'number': 30}	{'precision': 0.2857142857142857, 'recall': 0.5, 'f1': 0.36363636363636365, 'number': 12}	{'precision': 0.5714285714285714, 'recall': 0.41025641025641024, 'f1': 0.47761194029850745, 'number': 39}	{'precision': 0.6111111111111112, 'recall': 0.868421052631579, 'f1': 0.7173913043478262, 'number': 38}	{'precision': 0.9861111111111112, 'recall': 0.7244897959183674, 'f1': 0.8352941176470589, 'number': 294}	{'precision': 0.5522388059701493, 'recall': 0.9296482412060302, 'f1': 0.6928838951310863, 'number': 199}	{'precision': 0.5294117647058824, 'recall': 0.3, 'f1': 0.3829787234042553, 'number': 30}	{'precision': 0.7878513145965549, 'recall': 0.989749430523918, 'f1': 0.8773346794548207, 'number': 878}	{'precision': 0.8125, 'recall': 0.9112149532710281, 'f1': 0.8590308370044053, 'number': 214}	{'precision': 0.8181818181818182, 'recall': 0.32142857142857145, 'f1': 0.46153846153846156, 'number': 28}	{'precision': 0.7647058823529411, 'recall': 0.7222222222222222, 'f1': 0.7428571428571428, 'number': 126}	{'precision': 0.6, 'recall': 0.14634146341463414, 'f1': 0.23529411764705882, 'number': 41}	{'precision': 0.2558139534883721, 'recall': 0.14666666666666667, 'f1': 0.18644067796610173, 'number': 75}	{'precision': 0.8222222222222222, 'recall': 0.49333333333333335, 'f1': 0.6166666666666666, 'number': 75}	0.7907	0.8137	0.8021	0.9082
0.0396	4.0	7736	0.2381	{'precision': 0.8571428571428571, 'recall': 0.42857142857142855, 'f1': 0.5714285714285714, 'number': 14}	{'precision': 0.53125, 'recall': 0.4396551724137931, 'f1': 0.48113207547169806, 'number': 116}	{'precision': 0.975, 'recall': 0.9330143540669856, 'f1': 0.9535452322738386, 'number': 418}	{'precision': 0.6052631578947368, 'recall': 0.696969696969697, 'f1': 0.6478873239436619, 'number': 33}	{'precision': 0.8952991452991453, 'recall': 0.8972162740899358, 'f1': 0.8962566844919787, 'number': 467}	{'precision': 0.7692307692307693, 'recall': 0.8571428571428571, 'f1': 0.8108108108108107, 'number': 35}	{'precision': 0.9166666666666666, 'recall': 0.7333333333333333, 'f1': 0.8148148148148148, 'number': 30}	{'precision': 0.4166666666666667, 'recall': 0.8333333333333334, 'f1': 0.5555555555555556, 'number': 12}	{'precision': 0.6222222222222222, 'recall': 0.717948717948718, 'f1': 0.6666666666666666, 'number': 39}	{'precision': 0.6086956521739131, 'recall': 0.7368421052631579, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.9879518072289156, 'recall': 0.8367346938775511, 'f1': 0.9060773480662982, 'number': 294}	{'precision': 0.8951048951048951, 'recall': 0.6432160804020101, 'f1': 0.7485380116959065, 'number': 199}	{'precision': 0.5769230769230769, 'recall': 0.5, 'f1': 0.5357142857142857, 'number': 30}	{'precision': 0.8717683557394003, 'recall': 0.9601366742596811, 'f1': 0.9138211382113821, 'number': 878}	{'precision': 0.8190045248868778, 'recall': 0.8457943925233645, 'f1': 0.832183908045977, 'number': 214}	{'precision': 0.72, 'recall': 0.6428571428571429, 'f1': 0.6792452830188679, 'number': 28}	{'precision': 0.8160919540229885, 'recall': 0.5634920634920635, 'f1': 0.6666666666666666, 'number': 126}	{'precision': 0.6388888888888888, 'recall': 0.5609756097560976, 'f1': 0.5974025974025975, 'number': 41}	{'precision': 0.5, 'recall': 0.24, 'f1': 0.32432432432432434, 'number': 75}	{'precision': 0.7213114754098361, 'recall': 0.5866666666666667, 'f1': 0.6470588235294118, 'number': 75}	0.8539	0.8204	0.8368	0.9282
0.0256	5.0	9670	0.2614	{'precision': 0.875, 'recall': 0.5, 'f1': 0.6363636363636364, 'number': 14}	{'precision': 0.7796610169491526, 'recall': 0.39655172413793105, 'f1': 0.5257142857142857, 'number': 116}	{'precision': 0.9522673031026253, 'recall': 0.9545454545454546, 'f1': 0.9534050179211471, 'number': 418}	{'precision': 0.6190476190476191, 'recall': 0.7878787878787878, 'f1': 0.6933333333333334, 'number': 33}	{'precision': 0.8940677966101694, 'recall': 0.9036402569593148, 'f1': 0.898828541001065, 'number': 467}	{'precision': 0.7941176470588235, 'recall': 0.7714285714285715, 'f1': 0.782608695652174, 'number': 35}	{'precision': 0.7096774193548387, 'recall': 0.7333333333333333, 'f1': 0.7213114754098361, 'number': 30}	{'precision': 0.35294117647058826, 'recall': 0.5, 'f1': 0.41379310344827586, 'number': 12}	{'precision': 0.6666666666666666, 'recall': 0.8717948717948718, 'f1': 0.7555555555555555, 'number': 39}	{'precision': 0.625, 'recall': 0.6578947368421053, 'f1': 0.6410256410256411, 'number': 38}	{'precision': 0.959731543624161, 'recall': 0.9727891156462585, 'f1': 0.9662162162162162, 'number': 294}	{'precision': 0.812807881773399, 'recall': 0.8291457286432161, 'f1': 0.8208955223880597, 'number': 199}	{'precision': 0.5, 'recall': 0.5333333333333333, 'f1': 0.5161290322580646, 'number': 30}	{'precision': 0.8060941828254847, 'recall': 0.9943052391799544, 'f1': 0.8903620601733809, 'number': 878}	{'precision': 0.8287037037037037, 'recall': 0.8364485981308412, 'f1': 0.8325581395348838, 'number': 214}	{'precision': 0.76, 'recall': 0.6785714285714286, 'f1': 0.7169811320754718, 'number': 28}	{'precision': 0.8202247191011236, 'recall': 0.5793650793650794, 'f1': 0.6790697674418604, 'number': 126}	{'precision': 0.6363636363636364, 'recall': 0.5121951219512195, 'f1': 0.5675675675675675, 'number': 41}	{'precision': 0.3404255319148936, 'recall': 0.21333333333333335, 'f1': 0.26229508196721313, 'number': 75}	{'precision': 0.7547169811320755, 'recall': 0.5333333333333333, 'f1': 0.625, 'number': 75}	0.8309	0.8545	0.8425	0.9302
0.0211	6.0	11604	0.2606	{'precision': 0.8461538461538461, 'recall': 0.7857142857142857, 'f1': 0.8148148148148148, 'number': 14}	{'precision': 0.7454545454545455, 'recall': 0.35344827586206895, 'f1': 0.47953216374269, 'number': 116}	{'precision': 0.9359267734553776, 'recall': 0.9784688995215312, 'f1': 0.9567251461988304, 'number': 418}	{'precision': 0.55, 'recall': 0.6666666666666666, 'f1': 0.6027397260273972, 'number': 33}	{'precision': 0.8926315789473684, 'recall': 0.9079229122055674, 'f1': 0.9002123142250531, 'number': 467}	{'precision': 0.8333333333333334, 'recall': 0.8571428571428571, 'f1': 0.8450704225352113, 'number': 35}	{'precision': 1.0, 'recall': 0.8333333333333334, 'f1': 0.9090909090909091, 'number': 30}	{'precision': 0.5, 'recall': 0.5, 'f1': 0.5, 'number': 12}	{'precision': 0.6744186046511628, 'recall': 0.7435897435897436, 'f1': 0.7073170731707318, 'number': 39}	{'precision': 0.58, 'recall': 0.7631578947368421, 'f1': 0.6590909090909091, 'number': 38}	{'precision': 0.9071207430340558, 'recall': 0.9965986394557823, 'f1': 0.9497568881685575, 'number': 294}	{'precision': 0.7467811158798283, 'recall': 0.8743718592964824, 'f1': 0.8055555555555556, 'number': 199}	{'precision': 0.5517241379310345, 'recall': 0.5333333333333333, 'f1': 0.5423728813559322, 'number': 30}	{'precision': 0.8295019157088123, 'recall': 0.9863325740318907, 'f1': 0.9011446409989595, 'number': 878}	{'precision': 0.8127853881278538, 'recall': 0.8317757009345794, 'f1': 0.8221709006928405, 'number': 214}	{'precision': 0.8095238095238095, 'recall': 0.6071428571428571, 'f1': 0.6938775510204083, 'number': 28}	{'precision': 0.8412698412698413, 'recall': 0.42063492063492064, 'f1': 0.5608465608465608, 'number': 126}	{'precision': 0.696969696969697, 'recall': 0.5609756097560976, 'f1': 0.6216216216216217, 'number': 41}	{'precision': 0.4897959183673469, 'recall': 0.32, 'f1': 0.3870967741935484, 'number': 75}	{'precision': 0.581081081081081, 'recall': 0.5733333333333334, 'f1': 0.5771812080536912, 'number': 75}	0.8286	0.8580	0.8431	0.9327
0.013	7.0	13538	0.2808	{'precision': 0.8333333333333334, 'recall': 0.7142857142857143, 'f1': 0.7692307692307692, 'number': 14}	{'precision': 0.652542372881356, 'recall': 0.6637931034482759, 'f1': 0.6581196581196582, 'number': 116}	{'precision': 0.9413145539906104, 'recall': 0.9593301435406698, 'f1': 0.9502369668246446, 'number': 418}	{'precision': 0.625, 'recall': 0.7575757575757576, 'f1': 0.6849315068493151, 'number': 33}	{'precision': 0.9046610169491526, 'recall': 0.9143468950749465, 'f1': 0.9094781682641108, 'number': 467}	{'precision': 0.7804878048780488, 'recall': 0.9142857142857143, 'f1': 0.8421052631578947, 'number': 35}	{'precision': 0.8928571428571429, 'recall': 0.8333333333333334, 'f1': 0.8620689655172413, 'number': 30}	{'precision': 0.4, 'recall': 0.3333333333333333, 'f1': 0.3636363636363636, 'number': 12}	{'precision': 0.7333333333333333, 'recall': 0.8461538461538461, 'f1': 0.7857142857142856, 'number': 39}	{'precision': 0.625, 'recall': 0.7894736842105263, 'f1': 0.6976744186046512, 'number': 38}	{'precision': 0.9605263157894737, 'recall': 0.9931972789115646, 'f1': 0.9765886287625417, 'number': 294}	{'precision': 0.8048780487804879, 'recall': 0.8291457286432161, 'f1': 0.8168316831683168, 'number': 199}	{'precision': 0.6206896551724138, 'recall': 0.6, 'f1': 0.6101694915254238, 'number': 30}	{'precision': 0.8597014925373134, 'recall': 0.9840546697038725, 'f1': 0.9176845459373341, 'number': 878}	{'precision': 0.820627802690583, 'recall': 0.8551401869158879, 'f1': 0.8375286041189932, 'number': 214}	{'precision': 0.8, 'recall': 0.7142857142857143, 'f1': 0.7547169811320756, 'number': 28}	{'precision': 0.7727272727272727, 'recall': 0.5396825396825397, 'f1': 0.6355140186915886, 'number': 126}	{'precision': 0.7037037037037037, 'recall': 0.4634146341463415, 'f1': 0.5588235294117647, 'number': 41}	{'precision': 0.43103448275862066, 'recall': 0.3333333333333333, 'f1': 0.37593984962406013, 'number': 75}	{'precision': 0.71875, 'recall': 0.6133333333333333, 'f1': 0.6618705035971223, 'number': 75}	0.8458	0.8741	0.8597	0.9380
0.01	8.0	15472	0.2996	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 14}	{'precision': 0.696969696969697, 'recall': 0.5948275862068966, 'f1': 0.641860465116279, 'number': 116}	{'precision': 0.950354609929078, 'recall': 0.9617224880382775, 'f1': 0.9560047562425684, 'number': 418}	{'precision': 0.6486486486486487, 'recall': 0.7272727272727273, 'f1': 0.6857142857142857, 'number': 33}	{'precision': 0.8997867803837953, 'recall': 0.9036402569593148, 'f1': 0.9017094017094017, 'number': 467}	{'precision': 0.8857142857142857, 'recall': 0.8857142857142857, 'f1': 0.8857142857142857, 'number': 35}	{'precision': 0.9285714285714286, 'recall': 0.8666666666666667, 'f1': 0.896551724137931, 'number': 30}	{'precision': 0.5, 'recall': 0.4166666666666667, 'f1': 0.45454545454545453, 'number': 12}	{'precision': 0.782608695652174, 'recall': 0.9230769230769231, 'f1': 0.8470588235294118, 'number': 39}	{'precision': 0.6857142857142857, 'recall': 0.631578947368421, 'f1': 0.6575342465753424, 'number': 38}	{'precision': 0.9276315789473685, 'recall': 0.9591836734693877, 'f1': 0.94314381270903, 'number': 294}	{'precision': 0.757847533632287, 'recall': 0.8492462311557789, 'f1': 0.8009478672985781, 'number': 199}	{'precision': 0.6129032258064516, 'recall': 0.6333333333333333, 'f1': 0.6229508196721313, 'number': 30}	{'precision': 0.8788501026694046, 'recall': 0.9749430523917996, 'f1': 0.9244060475161987, 'number': 878}	{'precision': 0.8158995815899581, 'recall': 0.9112149532710281, 'f1': 0.8609271523178808, 'number': 214}	{'precision': 0.75, 'recall': 0.6428571428571429, 'f1': 0.6923076923076924, 'number': 28}	{'precision': 0.8372093023255814, 'recall': 0.5714285714285714, 'f1': 0.679245283018868, 'number': 126}	{'precision': 0.6923076923076923, 'recall': 0.6585365853658537, 'f1': 0.675, 'number': 41}	{'precision': 0.453125, 'recall': 0.38666666666666666, 'f1': 0.41726618705035967, 'number': 75}	{'precision': 0.6666666666666666, 'recall': 0.64, 'f1': 0.6530612244897959, 'number': 75}	0.8506	0.8748	0.8625	0.9370
0.0062	9.0	17406	0.3196	{'precision': 0.9230769230769231, 'recall': 0.8571428571428571, 'f1': 0.888888888888889, 'number': 14}	{'precision': 0.7415730337078652, 'recall': 0.5689655172413793, 'f1': 0.6439024390243901, 'number': 116}	{'precision': 0.9587378640776699, 'recall': 0.9449760765550239, 'f1': 0.9518072289156627, 'number': 418}	{'precision': 0.5853658536585366, 'recall': 0.7272727272727273, 'f1': 0.6486486486486487, 'number': 33}	{'precision': 0.897489539748954, 'recall': 0.9186295503211992, 'f1': 0.9079365079365079, 'number': 467}	{'precision': 0.8857142857142857, 'recall': 0.8857142857142857, 'f1': 0.8857142857142857, 'number': 35}	{'precision': 0.896551724137931, 'recall': 0.8666666666666667, 'f1': 0.8813559322033899, 'number': 30}	{'precision': 0.42857142857142855, 'recall': 0.5, 'f1': 0.4615384615384615, 'number': 12}	{'precision': 0.75, 'recall': 0.8461538461538461, 'f1': 0.7951807228915662, 'number': 39}	{'precision': 0.6756756756756757, 'recall': 0.6578947368421053, 'f1': 0.6666666666666667, 'number': 38}	{'precision': 0.989010989010989, 'recall': 0.9183673469387755, 'f1': 0.9523809523809524, 'number': 294}	{'precision': 0.7935779816513762, 'recall': 0.8693467336683417, 'f1': 0.829736211031175, 'number': 199}	{'precision': 0.5806451612903226, 'recall': 0.6, 'f1': 0.5901639344262295, 'number': 30}	{'precision': 0.857, 'recall': 0.9760820045558086, 'f1': 0.9126730564430244, 'number': 878}	{'precision': 0.8260869565217391, 'recall': 0.8878504672897196, 'f1': 0.8558558558558558, 'number': 214}	{'precision': 0.75, 'recall': 0.6428571428571429, 'f1': 0.6923076923076924, 'number': 28}	{'precision': 0.8089887640449438, 'recall': 0.5714285714285714, 'f1': 0.6697674418604651, 'number': 126}	{'precision': 0.75, 'recall': 0.6585365853658537, 'f1': 0.7012987012987012, 'number': 41}	{'precision': 0.4057971014492754, 'recall': 0.37333333333333335, 'f1': 0.38888888888888895, 'number': 75}	{'precision': 0.703125, 'recall': 0.6, 'f1': 0.6474820143884892, 'number': 75}	0.8509	0.8681	0.8594	0.9390
0.0045	10.0	19340	0.3203	{'precision': 0.9230769230769231, 'recall': 0.8571428571428571, 'f1': 0.888888888888889, 'number': 14}	{'precision': 0.7659574468085106, 'recall': 0.6206896551724138, 'f1': 0.6857142857142856, 'number': 116}	{'precision': 0.9544364508393285, 'recall': 0.9521531100478469, 'f1': 0.9532934131736527, 'number': 418}	{'precision': 0.6, 'recall': 0.7272727272727273, 'f1': 0.6575342465753425, 'number': 33}	{'precision': 0.9069767441860465, 'recall': 0.9186295503211992, 'f1': 0.9127659574468084, 'number': 467}	{'precision': 0.8857142857142857, 'recall': 0.8857142857142857, 'f1': 0.8857142857142857, 'number': 35}	{'precision': 0.896551724137931, 'recall': 0.8666666666666667, 'f1': 0.8813559322033899, 'number': 30}	{'precision': 0.38461538461538464, 'recall': 0.4166666666666667, 'f1': 0.4, 'number': 12}	{'precision': 0.7674418604651163, 'recall': 0.8461538461538461, 'f1': 0.8048780487804877, 'number': 39}	{'precision': 0.6585365853658537, 'recall': 0.7105263157894737, 'f1': 0.6835443037974684, 'number': 38}	{'precision': 0.9657534246575342, 'recall': 0.9591836734693877, 'f1': 0.962457337883959, 'number': 294}	{'precision': 0.783410138248848, 'recall': 0.8542713567839196, 'f1': 0.8173076923076924, 'number': 199}	{'precision': 0.65625, 'recall': 0.7, 'f1': 0.6774193548387096, 'number': 30}	{'precision': 0.8796296296296297, 'recall': 0.9738041002277904, 'f1': 0.9243243243243242, 'number': 878}	{'precision': 0.8185654008438819, 'recall': 0.9065420560747663, 'f1': 0.8603104212860311, 'number': 214}	{'precision': 0.75, 'recall': 0.6428571428571429, 'f1': 0.6923076923076924, 'number': 28}	{'precision': 0.8222222222222222, 'recall': 0.5873015873015873, 'f1': 0.6851851851851852, 'number': 126}	{'precision': 0.7368421052631579, 'recall': 0.6829268292682927, 'f1': 0.7088607594936709, 'number': 41}	{'precision': 0.4057971014492754, 'recall': 0.37333333333333335, 'f1': 0.38888888888888895, 'number': 75}	{'precision': 0.6923076923076923, 'recall': 0.6, 'f1': 0.6428571428571429, 'number': 75}	0.8571	0.8767	0.8668	0.9407

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1