roberta-large-ner-ghtk-cs-new-data-seg-3090-29Aug-1

This model is a fine-tuned version of FacebookAI/xlm-roberta-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4290
• cmt: {'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}
• Tk: {'precision': 0.6941176470588235, 'recall': 0.5086206896551724, 'f1': 0.5870646766169154, 'number': 116}
• A: {'precision': 0.9514563106796117, 'recall': 0.937799043062201, 'f1': 0.9445783132530121, 'number': 418}
• Gày: {'precision': 0.7, 'recall': 0.8484848484848485, 'f1': 0.7671232876712328, 'number': 33}
• Gày trừu tượng: {'precision': 0.8731501057082452, 'recall': 0.8843683083511777, 'f1': 0.8787234042553193, 'number': 467}
• Gân hàng: {'precision': 0.8378378378378378, 'recall': 0.8857142857142857, 'f1': 0.8611111111111112, 'number': 35}
• Hương thức thanh toán: {'precision': 0.9310344827586207, 'recall': 0.9, 'f1': 0.9152542372881356, 'number': 30}
• Hối lượng: {'precision': 0.5454545454545454, 'recall': 0.5, 'f1': 0.5217391304347826, 'number': 12}
• Iền: {'precision': 0.7727272727272727, 'recall': 0.8717948717948718, 'f1': 0.8192771084337349, 'number': 39}
• Iờ: {'precision': 0.6842105263157895, 'recall': 0.6842105263157895, 'f1': 0.6842105263157895, 'number': 38}
• Mail: {'precision': 0.958041958041958, 'recall': 0.9319727891156463, 'f1': 0.9448275862068966, 'number': 294}
• Ã đơn: {'precision': 0.8284313725490197, 'recall': 0.8492462311557789, 'f1': 0.8387096774193549, 'number': 199}
• Ên người: {'precision': 0.76, 'recall': 0.6333333333333333, 'f1': 0.6909090909090909, 'number': 30}
• Đt: {'precision': 0.8625877632898696, 'recall': 0.979498861047836, 'f1': 0.9173333333333333, 'number': 878}
• Đt trừu tượng: {'precision': 0.8296943231441049, 'recall': 0.8878504672897196, 'f1': 0.8577878103837472, 'number': 214}
• Ơn vị đo: {'precision': 0.64, 'recall': 0.5714285714285714, 'f1': 0.6037735849056605, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.8163265306122449, 'recall': 0.6349206349206349, 'f1': 0.7142857142857143, 'number': 126}
• Ản phẩm trừu tượng: {'precision': 0.7027027027027027, 'recall': 0.6341463414634146, 'f1': 0.6666666666666667, 'number': 41}
• Ịa chỉ cụ thể: {'precision': 0.5370370370370371, 'recall': 0.38666666666666666, 'f1': 0.44961240310077527, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.864406779661017, 'recall': 0.68, 'f1': 0.7611940298507464, 'number': 75}
• Overall Precision: 0.8571
• Overall Recall: 0.8672
• Overall F1: 0.8621
• Overall Accuracy: 0.9406

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	Tk	A	Gày	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Iờ	Mail	à đơn	Ên người	Đt	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.6315	1.0	735	0.3393	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 14}	{'precision': 0.5555555555555556, 'recall': 0.04310344827586207, 'f1': 0.08, 'number': 116}	{'precision': 0.9049881235154394, 'recall': 0.9114832535885168, 'f1': 0.9082240762812872, 'number': 418}	{'precision': 0.6551724137931034, 'recall': 0.5757575757575758, 'f1': 0.6129032258064515, 'number': 33}	{'precision': 0.7967806841046278, 'recall': 0.8479657387580299, 'f1': 0.8215767634854771, 'number': 467}	{'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 35}	{'precision': 0.6451612903225806, 'recall': 0.6666666666666666, 'f1': 0.6557377049180327, 'number': 30}	{'precision': 0.45454545454545453, 'recall': 0.4166666666666667, 'f1': 0.43478260869565216, 'number': 12}	{'precision': 0.6792452830188679, 'recall': 0.9230769230769231, 'f1': 0.7826086956521738, 'number': 39}	{'precision': 0.6037735849056604, 'recall': 0.8421052631578947, 'f1': 0.7032967032967034, 'number': 38}	{'precision': 0.830028328611898, 'recall': 0.9965986394557823, 'f1': 0.9057187017001546, 'number': 294}	{'precision': 0.696969696969697, 'recall': 0.8090452261306532, 'f1': 0.7488372093023256, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.7515099223468508, 'recall': 0.9920273348519362, 'f1': 0.8551791850760921, 'number': 878}	{'precision': 0.7012448132780082, 'recall': 0.7897196261682243, 'f1': 0.7428571428571429, 'number': 214}	{'precision': 0.6, 'recall': 0.10714285714285714, 'f1': 0.18181818181818182, 'number': 28}	{'precision': 0.6956521739130435, 'recall': 0.12698412698412698, 'f1': 0.2147651006711409, 'number': 126}	{'precision': 0.5714285714285714, 'recall': 0.2926829268292683, 'f1': 0.3870967741935484, 'number': 41}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 75}	{'precision': 0.8260869565217391, 'recall': 0.5066666666666667, 'f1': 0.628099173553719, 'number': 75}	0.7724	0.7812	0.7767	0.8990
0.2567	2.0	1470	0.2770	{'precision': 0.5555555555555556, 'recall': 0.7142857142857143, 'f1': 0.6250000000000001, 'number': 14}	{'precision': 0.47058823529411764, 'recall': 0.06896551724137931, 'f1': 0.12030075187969924, 'number': 116}	{'precision': 0.8857758620689655, 'recall': 0.9832535885167464, 'f1': 0.9319727891156462, 'number': 418}	{'precision': 0.7352941176470589, 'recall': 0.7575757575757576, 'f1': 0.746268656716418, 'number': 33}	{'precision': 0.8592750533049041, 'recall': 0.8629550321199143, 'f1': 0.861111111111111, 'number': 467}	{'precision': 0.6756756756756757, 'recall': 0.7142857142857143, 'f1': 0.6944444444444444, 'number': 35}	{'precision': 0.84, 'recall': 0.7, 'f1': 0.7636363636363636, 'number': 30}	{'precision': 0.3, 'recall': 0.25, 'f1': 0.2727272727272727, 'number': 12}	{'precision': 0.6129032258064516, 'recall': 0.48717948717948717, 'f1': 0.5428571428571428, 'number': 39}	{'precision': 0.5666666666666667, 'recall': 0.8947368421052632, 'f1': 0.6938775510204083, 'number': 38}	{'precision': 0.983739837398374, 'recall': 0.8231292517006803, 'f1': 0.8962962962962964, 'number': 294}	{'precision': 0.5745341614906833, 'recall': 0.9296482412060302, 'f1': 0.7101727447216891, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.8257874015748031, 'recall': 0.9555808656036446, 'f1': 0.8859556494192184, 'number': 878}	{'precision': 0.6275862068965518, 'recall': 0.8504672897196262, 'f1': 0.7222222222222221, 'number': 214}	{'precision': 0.8, 'recall': 0.14285714285714285, 'f1': 0.24242424242424243, 'number': 28}	{'precision': 0.9230769230769231, 'recall': 0.19047619047619047, 'f1': 0.31578947368421056, 'number': 126}	{'precision': 0.7368421052631579, 'recall': 0.34146341463414637, 'f1': 0.46666666666666673, 'number': 41}	{'precision': 0.2727272727272727, 'recall': 0.12, 'f1': 0.16666666666666666, 'number': 75}	{'precision': 0.8181818181818182, 'recall': 0.48, 'f1': 0.6050420168067226, 'number': 75}	0.7875	0.7887	0.7881	0.9026
0.1471	3.0	2205	0.2392	{'precision': 0.5882352941176471, 'recall': 0.7142857142857143, 'f1': 0.6451612903225806, 'number': 14}	{'precision': 0.7647058823529411, 'recall': 0.22413793103448276, 'f1': 0.3466666666666667, 'number': 116}	{'precision': 0.923963133640553, 'recall': 0.9593301435406698, 'f1': 0.9413145539906103, 'number': 418}	{'precision': 0.7222222222222222, 'recall': 0.7878787878787878, 'f1': 0.7536231884057971, 'number': 33}	{'precision': 0.8697478991596639, 'recall': 0.8865096359743041, 'f1': 0.8780487804878049, 'number': 467}	{'precision': 0.7419354838709677, 'recall': 0.6571428571428571, 'f1': 0.6969696969696969, 'number': 35}	{'precision': 0.65625, 'recall': 0.7, 'f1': 0.6774193548387096, 'number': 30}	{'precision': 0.5555555555555556, 'recall': 0.4166666666666667, 'f1': 0.4761904761904762, 'number': 12}	{'precision': 0.5, 'recall': 0.15384615384615385, 'f1': 0.23529411764705882, 'number': 39}	{'precision': 0.75, 'recall': 0.47368421052631576, 'f1': 0.5806451612903226, 'number': 38}	{'precision': 0.8765060240963856, 'recall': 0.9897959183673469, 'f1': 0.9297124600638978, 'number': 294}	{'precision': 0.7431192660550459, 'recall': 0.8140703517587939, 'f1': 0.776978417266187, 'number': 199}	{'precision': 0.45454545454545453, 'recall': 0.3333333333333333, 'f1': 0.3846153846153846, 'number': 30}	{'precision': 0.8314065510597303, 'recall': 0.9829157175398633, 'f1': 0.9008350730688937, 'number': 878}	{'precision': 0.8070175438596491, 'recall': 0.8598130841121495, 'f1': 0.832579185520362, 'number': 214}	{'precision': 0.6, 'recall': 0.5357142857142857, 'f1': 0.5660377358490566, 'number': 28}	{'precision': 0.8227848101265823, 'recall': 0.5158730158730159, 'f1': 0.6341463414634148, 'number': 126}	{'precision': 0.5625, 'recall': 0.21951219512195122, 'f1': 0.3157894736842105, 'number': 41}	{'precision': 0.23529411764705882, 'recall': 0.16, 'f1': 0.19047619047619052, 'number': 75}	{'precision': 0.8936170212765957, 'recall': 0.56, 'f1': 0.6885245901639345, 'number': 75}	0.8235	0.8232	0.8233	0.9208
0.1309	4.0	2940	0.2235	{'precision': 0.75, 'recall': 0.6428571428571429, 'f1': 0.6923076923076924, 'number': 14}	{'precision': 0.6190476190476191, 'recall': 0.11206896551724138, 'f1': 0.18978102189781024, 'number': 116}	{'precision': 0.9736842105263158, 'recall': 0.8851674641148325, 'f1': 0.9273182957393484, 'number': 418}	{'precision': 0.6046511627906976, 'recall': 0.7878787878787878, 'f1': 0.6842105263157895, 'number': 33}	{'precision': 0.9149425287356322, 'recall': 0.8522483940042827, 'f1': 0.8824833702882483, 'number': 467}	{'precision': 0.8235294117647058, 'recall': 0.8, 'f1': 0.8115942028985507, 'number': 35}	{'precision': 0.9230769230769231, 'recall': 0.8, 'f1': 0.8571428571428571, 'number': 30}	{'precision': 0.36363636363636365, 'recall': 0.3333333333333333, 'f1': 0.34782608695652173, 'number': 12}	{'precision': 0.7857142857142857, 'recall': 0.8461538461538461, 'f1': 0.8148148148148148, 'number': 39}	{'precision': 0.65, 'recall': 0.34210526315789475, 'f1': 0.4482758620689655, 'number': 38}	{'precision': 0.8776119402985074, 'recall': 1.0, 'f1': 0.9348171701112877, 'number': 294}	{'precision': 0.8402061855670103, 'recall': 0.8190954773869347, 'f1': 0.8295165394402036, 'number': 199}	{'precision': 0.5588235294117647, 'recall': 0.6333333333333333, 'f1': 0.59375, 'number': 30}	{'precision': 0.8901795142555439, 'recall': 0.9601366742596811, 'f1': 0.9238356164383561, 'number': 878}	{'precision': 0.7813765182186235, 'recall': 0.9018691588785047, 'f1': 0.8373101952277658, 'number': 214}	{'precision': 0.7058823529411765, 'recall': 0.42857142857142855, 'f1': 0.5333333333333333, 'number': 28}	{'precision': 0.82, 'recall': 0.3253968253968254, 'f1': 0.4659090909090909, 'number': 126}	{'precision': 0.4666666666666667, 'recall': 0.17073170731707318, 'f1': 0.25, 'number': 41}	{'precision': 0.28, 'recall': 0.09333333333333334, 'f1': 0.14, 'number': 75}	{'precision': 0.8269230769230769, 'recall': 0.5733333333333334, 'f1': 0.6771653543307086, 'number': 75}	0.8639	0.8033	0.8325	0.9276
0.0911	5.0	3675	0.2688	{'precision': 0.7647058823529411, 'recall': 0.9285714285714286, 'f1': 0.8387096774193549, 'number': 14}	{'precision': 0.6532258064516129, 'recall': 0.6982758620689655, 'f1': 0.675, 'number': 116}	{'precision': 0.9370629370629371, 'recall': 0.9617224880382775, 'f1': 0.9492325855962219, 'number': 418}	{'precision': 0.6428571428571429, 'recall': 0.8181818181818182, 'f1': 0.7200000000000001, 'number': 33}	{'precision': 0.8819875776397516, 'recall': 0.9122055674518201, 'f1': 0.896842105263158, 'number': 467}	{'precision': 0.8333333333333334, 'recall': 0.8571428571428571, 'f1': 0.8450704225352113, 'number': 35}	{'precision': 0.7878787878787878, 'recall': 0.8666666666666667, 'f1': 0.8253968253968254, 'number': 30}	{'precision': 0.36363636363636365, 'recall': 0.3333333333333333, 'f1': 0.34782608695652173, 'number': 12}	{'precision': 0.6938775510204082, 'recall': 0.8717948717948718, 'f1': 0.7727272727272728, 'number': 39}	{'precision': 0.6, 'recall': 0.868421052631579, 'f1': 0.7096774193548387, 'number': 38}	{'precision': 0.8772455089820359, 'recall': 0.9965986394557823, 'f1': 0.9331210191082804, 'number': 294}	{'precision': 0.7942583732057417, 'recall': 0.8341708542713567, 'f1': 0.8137254901960784, 'number': 199}	{'precision': 0.4375, 'recall': 0.4666666666666667, 'f1': 0.45161290322580644, 'number': 30}	{'precision': 0.8533201189296333, 'recall': 0.9806378132118451, 'f1': 0.9125596184419713, 'number': 878}	{'precision': 0.7788018433179723, 'recall': 0.7897196261682243, 'f1': 0.7842227378190255, 'number': 214}	{'precision': 0.5641025641025641, 'recall': 0.7857142857142857, 'f1': 0.6567164179104477, 'number': 28}	{'precision': 0.7604166666666666, 'recall': 0.5793650793650794, 'f1': 0.6576576576576577, 'number': 126}	{'precision': 0.6976744186046512, 'recall': 0.7317073170731707, 'f1': 0.7142857142857143, 'number': 41}	{'precision': 0.2571428571428571, 'recall': 0.12, 'f1': 0.16363636363636364, 'number': 75}	{'precision': 0.8103448275862069, 'recall': 0.6266666666666667, 'f1': 0.706766917293233, 'number': 75}	0.8236	0.8729	0.8475	0.9298
0.0749	6.0	4410	0.2565	{'precision': 0.6470588235294118, 'recall': 0.7857142857142857, 'f1': 0.7096774193548386, 'number': 14}	{'precision': 0.7142857142857143, 'recall': 0.646551724137931, 'f1': 0.6787330316742081, 'number': 116}	{'precision': 0.9604938271604938, 'recall': 0.930622009569378, 'f1': 0.9453219927095992, 'number': 418}	{'precision': 0.6578947368421053, 'recall': 0.7575757575757576, 'f1': 0.704225352112676, 'number': 33}	{'precision': 0.9222222222222223, 'recall': 0.8886509635974305, 'f1': 0.905125408942203, 'number': 467}	{'precision': 0.7948717948717948, 'recall': 0.8857142857142857, 'f1': 0.8378378378378378, 'number': 35}	{'precision': 0.9629629629629629, 'recall': 0.8666666666666667, 'f1': 0.912280701754386, 'number': 30}	{'precision': 0.8, 'recall': 0.3333333333333333, 'f1': 0.47058823529411764, 'number': 12}	{'precision': 0.7142857142857143, 'recall': 0.8974358974358975, 'f1': 0.7954545454545455, 'number': 39}	{'precision': 0.6530612244897959, 'recall': 0.8421052631578947, 'f1': 0.735632183908046, 'number': 38}	{'precision': 0.9397163120567376, 'recall': 0.9013605442176871, 'f1': 0.920138888888889, 'number': 294}	{'precision': 0.8118811881188119, 'recall': 0.8241206030150754, 'f1': 0.8179551122194514, 'number': 199}	{'precision': 0.6363636363636364, 'recall': 0.7, 'f1': 0.6666666666666666, 'number': 30}	{'precision': 0.8665318503538928, 'recall': 0.9760820045558086, 'f1': 0.9180503481521157, 'number': 878}	{'precision': 0.8689320388349514, 'recall': 0.8364485981308412, 'f1': 0.8523809523809525, 'number': 214}	{'precision': 0.8125, 'recall': 0.4642857142857143, 'f1': 0.5909090909090908, 'number': 28}	{'precision': 0.8571428571428571, 'recall': 0.5714285714285714, 'f1': 0.6857142857142857, 'number': 126}	{'precision': 0.7272727272727273, 'recall': 0.5853658536585366, 'f1': 0.6486486486486487, 'number': 41}	{'precision': 0.3611111111111111, 'recall': 0.17333333333333334, 'f1': 0.2342342342342342, 'number': 75}	{'precision': 0.7627118644067796, 'recall': 0.6, 'f1': 0.6716417910447762, 'number': 75}	0.8630	0.8526	0.8578	0.9353
0.0515	7.0	5145	0.2649	{'precision': 0.8181818181818182, 'recall': 0.6428571428571429, 'f1': 0.7200000000000001, 'number': 14}	{'precision': 0.5542857142857143, 'recall': 0.8362068965517241, 'f1': 0.6666666666666665, 'number': 116}	{'precision': 0.9567307692307693, 'recall': 0.9521531100478469, 'f1': 0.9544364508393286, 'number': 418}	{'precision': 0.6842105263157895, 'recall': 0.7878787878787878, 'f1': 0.732394366197183, 'number': 33}	{'precision': 0.8786008230452675, 'recall': 0.9143468950749465, 'f1': 0.8961175236096538, 'number': 467}	{'precision': 0.7948717948717948, 'recall': 0.8857142857142857, 'f1': 0.8378378378378378, 'number': 35}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 30}	{'precision': 0.4375, 'recall': 0.5833333333333334, 'f1': 0.5, 'number': 12}	{'precision': 0.7209302325581395, 'recall': 0.7948717948717948, 'f1': 0.7560975609756098, 'number': 39}	{'precision': 0.7419354838709677, 'recall': 0.6052631578947368, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.9888059701492538, 'recall': 0.9013605442176871, 'f1': 0.9430604982206405, 'number': 294}	{'precision': 0.6865671641791045, 'recall': 0.9246231155778895, 'f1': 0.7880085653104925, 'number': 199}	{'precision': 0.5135135135135135, 'recall': 0.6333333333333333, 'f1': 0.5671641791044775, 'number': 30}	{'precision': 0.8798767967145791, 'recall': 0.9760820045558086, 'f1': 0.9254859611231102, 'number': 878}	{'precision': 0.9076923076923077, 'recall': 0.8271028037383178, 'f1': 0.8655256723716381, 'number': 214}	{'precision': 0.7027027027027027, 'recall': 0.9285714285714286, 'f1': 0.7999999999999999, 'number': 28}	{'precision': 0.7920792079207921, 'recall': 0.6349206349206349, 'f1': 0.7048458149779736, 'number': 126}	{'precision': 0.7073170731707317, 'recall': 0.7073170731707317, 'f1': 0.7073170731707317, 'number': 41}	{'precision': 0.425531914893617, 'recall': 0.26666666666666666, 'f1': 0.32786885245901637, 'number': 75}	{'precision': 0.8545454545454545, 'recall': 0.6266666666666667, 'f1': 0.7230769230769231, 'number': 75}	0.8411	0.8792	0.8597	0.9341
0.04	8.0	5880	0.2929	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}	{'precision': 0.6754385964912281, 'recall': 0.6637931034482759, 'f1': 0.6695652173913044, 'number': 116}	{'precision': 0.9456264775413712, 'recall': 0.9569377990430622, 'f1': 0.9512485136741974, 'number': 418}	{'precision': 0.5869565217391305, 'recall': 0.8181818181818182, 'f1': 0.6835443037974683, 'number': 33}	{'precision': 0.8711018711018711, 'recall': 0.8972162740899358, 'f1': 0.8839662447257384, 'number': 467}	{'precision': 0.8888888888888888, 'recall': 0.9142857142857143, 'f1': 0.9014084507042254, 'number': 35}	{'precision': 1.0, 'recall': 0.8666666666666667, 'f1': 0.9285714285714286, 'number': 30}	{'precision': 0.5454545454545454, 'recall': 0.5, 'f1': 0.5217391304347826, 'number': 12}	{'precision': 0.7777777777777778, 'recall': 0.8974358974358975, 'f1': 0.8333333333333333, 'number': 39}	{'precision': 0.6122448979591837, 'recall': 0.7894736842105263, 'f1': 0.6896551724137931, 'number': 38}	{'precision': 0.9230769230769231, 'recall': 0.9387755102040817, 'f1': 0.9308600337268129, 'number': 294}	{'precision': 0.851063829787234, 'recall': 0.8040201005025126, 'f1': 0.8268733850129198, 'number': 199}	{'precision': 0.65625, 'recall': 0.7, 'f1': 0.6774193548387096, 'number': 30}	{'precision': 0.8793103448275862, 'recall': 0.9874715261958997, 'f1': 0.9302575107296138, 'number': 878}	{'precision': 0.8536585365853658, 'recall': 0.8177570093457944, 'f1': 0.8353221957040573, 'number': 214}	{'precision': 0.8571428571428571, 'recall': 0.21428571428571427, 'f1': 0.34285714285714286, 'number': 28}	{'precision': 0.7653061224489796, 'recall': 0.5952380952380952, 'f1': 0.6696428571428572, 'number': 126}	{'precision': 0.75, 'recall': 0.43902439024390244, 'f1': 0.5538461538461539, 'number': 41}	{'precision': 0.4107142857142857, 'recall': 0.30666666666666664, 'f1': 0.3511450381679389, 'number': 75}	{'precision': 0.7966101694915254, 'recall': 0.6266666666666667, 'f1': 0.701492537313433, 'number': 75}	0.8535	0.8640	0.8587	0.9407
0.0254	9.0	6615	0.3183	{'precision': 0.6470588235294118, 'recall': 0.7857142857142857, 'f1': 0.7096774193548386, 'number': 14}	{'precision': 0.6699029126213593, 'recall': 0.5948275862068966, 'f1': 0.6301369863013699, 'number': 116}	{'precision': 0.9560975609756097, 'recall': 0.937799043062201, 'f1': 0.9468599033816425, 'number': 418}	{'precision': 0.7, 'recall': 0.8484848484848485, 'f1': 0.7671232876712328, 'number': 33}	{'precision': 0.9146067415730337, 'recall': 0.8715203426124197, 'f1': 0.892543859649123, 'number': 467}	{'precision': 0.8611111111111112, 'recall': 0.8857142857142857, 'f1': 0.8732394366197184, 'number': 35}	{'precision': 0.7941176470588235, 'recall': 0.9, 'f1': 0.84375, 'number': 30}	{'precision': 0.4444444444444444, 'recall': 0.3333333333333333, 'f1': 0.380952380952381, 'number': 12}	{'precision': 0.7083333333333334, 'recall': 0.8717948717948718, 'f1': 0.7816091954022988, 'number': 39}	{'precision': 0.6857142857142857, 'recall': 0.631578947368421, 'f1': 0.6575342465753424, 'number': 38}	{'precision': 0.9649122807017544, 'recall': 0.935374149659864, 'f1': 0.9499136442141625, 'number': 294}	{'precision': 0.8258706467661692, 'recall': 0.8341708542713567, 'f1': 0.8300000000000001, 'number': 199}	{'precision': 0.6956521739130435, 'recall': 0.5333333333333333, 'f1': 0.6037735849056605, 'number': 30}	{'precision': 0.8894736842105263, 'recall': 0.9624145785876993, 'f1': 0.9245076586433261, 'number': 878}	{'precision': 0.7951807228915663, 'recall': 0.9252336448598131, 'f1': 0.855291576673866, 'number': 214}	{'precision': 0.6857142857142857, 'recall': 0.8571428571428571, 'f1': 0.7619047619047619, 'number': 28}	{'precision': 0.81, 'recall': 0.6428571428571429, 'f1': 0.7168141592920355, 'number': 126}	{'precision': 0.631578947368421, 'recall': 0.5853658536585366, 'f1': 0.6075949367088608, 'number': 41}	{'precision': 0.5306122448979592, 'recall': 0.3466666666666667, 'f1': 0.41935483870967744, 'number': 75}	{'precision': 0.7014925373134329, 'recall': 0.6266666666666667, 'f1': 0.6619718309859156, 'number': 75}	0.8598	0.8631	0.8614	0.9398
0.0192	10.0	7350	0.3618	{'precision': 0.8461538461538461, 'recall': 0.7857142857142857, 'f1': 0.8148148148148148, 'number': 14}	{'precision': 0.6285714285714286, 'recall': 0.5689655172413793, 'f1': 0.597285067873303, 'number': 116}	{'precision': 0.9611650485436893, 'recall': 0.9473684210526315, 'f1': 0.9542168674698795, 'number': 418}	{'precision': 0.7105263157894737, 'recall': 0.8181818181818182, 'f1': 0.7605633802816901, 'number': 33}	{'precision': 0.8927038626609443, 'recall': 0.8907922912205567, 'f1': 0.8917470525187567, 'number': 467}	{'precision': 0.7948717948717948, 'recall': 0.8857142857142857, 'f1': 0.8378378378378378, 'number': 35}	{'precision': 0.896551724137931, 'recall': 0.8666666666666667, 'f1': 0.8813559322033899, 'number': 30}	{'precision': 0.5, 'recall': 0.3333333333333333, 'f1': 0.4, 'number': 12}	{'precision': 0.7209302325581395, 'recall': 0.7948717948717948, 'f1': 0.7560975609756098, 'number': 39}	{'precision': 0.6363636363636364, 'recall': 0.7368421052631579, 'f1': 0.6829268292682926, 'number': 38}	{'precision': 0.9545454545454546, 'recall': 0.9285714285714286, 'f1': 0.9413793103448277, 'number': 294}	{'precision': 0.826530612244898, 'recall': 0.8140703517587939, 'f1': 0.820253164556962, 'number': 199}	{'precision': 0.72, 'recall': 0.6, 'f1': 0.6545454545454547, 'number': 30}	{'precision': 0.8552763819095477, 'recall': 0.969248291571754, 'f1': 0.9087026161238654, 'number': 878}	{'precision': 0.8458149779735683, 'recall': 0.897196261682243, 'f1': 0.870748299319728, 'number': 214}	{'precision': 0.6956521739130435, 'recall': 0.5714285714285714, 'f1': 0.6274509803921569, 'number': 28}	{'precision': 0.82, 'recall': 0.6507936507936508, 'f1': 0.7256637168141592, 'number': 126}	{'precision': 0.6511627906976745, 'recall': 0.6829268292682927, 'f1': 0.6666666666666667, 'number': 41}	{'precision': 0.5333333333333333, 'recall': 0.4266666666666667, 'f1': 0.4740740740740741, 'number': 75}	{'precision': 0.7931034482758621, 'recall': 0.6133333333333333, 'f1': 0.6917293233082706, 'number': 75}	0.8523	0.8653	0.8588	0.9384
0.0124	11.0	8085	0.3596	{'precision': 0.8, 'recall': 0.8571428571428571, 'f1': 0.8275862068965518, 'number': 14}	{'precision': 0.7096774193548387, 'recall': 0.5689655172413793, 'f1': 0.6315789473684211, 'number': 116}	{'precision': 0.9435294117647058, 'recall': 0.9593301435406698, 'f1': 0.9513641755634638, 'number': 418}	{'precision': 0.717948717948718, 'recall': 0.8484848484848485, 'f1': 0.7777777777777778, 'number': 33}	{'precision': 0.8830897703549061, 'recall': 0.9057815845824411, 'f1': 0.8942917547568711, 'number': 467}	{'precision': 0.8421052631578947, 'recall': 0.9142857142857143, 'f1': 0.8767123287671234, 'number': 35}	{'precision': 0.9333333333333333, 'recall': 0.9333333333333333, 'f1': 0.9333333333333333, 'number': 30}	{'precision': 0.5454545454545454, 'recall': 0.5, 'f1': 0.5217391304347826, 'number': 12}	{'precision': 0.75, 'recall': 0.7692307692307693, 'f1': 0.7594936708860761, 'number': 39}	{'precision': 0.6521739130434783, 'recall': 0.7894736842105263, 'f1': 0.7142857142857143, 'number': 38}	{'precision': 0.9548611111111112, 'recall': 0.935374149659864, 'f1': 0.9450171821305843, 'number': 294}	{'precision': 0.821256038647343, 'recall': 0.8542713567839196, 'f1': 0.8374384236453203, 'number': 199}	{'precision': 0.7407407407407407, 'recall': 0.6666666666666666, 'f1': 0.7017543859649122, 'number': 30}	{'precision': 0.8729508196721312, 'recall': 0.9703872437357631, 'f1': 0.9190938511326862, 'number': 878}	{'precision': 0.8091286307053942, 'recall': 0.9112149532710281, 'f1': 0.8571428571428571, 'number': 214}	{'precision': 0.7, 'recall': 0.5, 'f1': 0.5833333333333334, 'number': 28}	{'precision': 0.7454545454545455, 'recall': 0.6507936507936508, 'f1': 0.6949152542372882, 'number': 126}	{'precision': 0.6530612244897959, 'recall': 0.7804878048780488, 'f1': 0.711111111111111, 'number': 41}	{'precision': 0.47540983606557374, 'recall': 0.38666666666666666, 'f1': 0.42647058823529416, 'number': 75}	{'precision': 0.819672131147541, 'recall': 0.6666666666666666, 'f1': 0.7352941176470588, 'number': 75}	0.8523	0.8776	0.8648	0.9399
0.0101	12.0	8820	0.3929	{'precision': 0.6875, 'recall': 0.7857142857142857, 'f1': 0.7333333333333334, 'number': 14}	{'precision': 0.6862745098039216, 'recall': 0.603448275862069, 'f1': 0.6422018348623854, 'number': 116}	{'precision': 0.9411764705882353, 'recall': 0.9569377990430622, 'f1': 0.9489916963226572, 'number': 418}	{'precision': 0.6829268292682927, 'recall': 0.8484848484848485, 'f1': 0.7567567567567567, 'number': 33}	{'precision': 0.8848614072494669, 'recall': 0.8886509635974305, 'f1': 0.8867521367521367, 'number': 467}	{'precision': 0.7692307692307693, 'recall': 0.8571428571428571, 'f1': 0.8108108108108107, 'number': 35}	{'precision': 0.9310344827586207, 'recall': 0.9, 'f1': 0.9152542372881356, 'number': 30}	{'precision': 0.5833333333333334, 'recall': 0.5833333333333334, 'f1': 0.5833333333333334, 'number': 12}	{'precision': 0.7555555555555555, 'recall': 0.8717948717948718, 'f1': 0.8095238095238095, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.6842105263157895, 'f1': 0.6753246753246753, 'number': 38}	{'precision': 0.9581881533101045, 'recall': 0.935374149659864, 'f1': 0.9466437177280552, 'number': 294}	{'precision': 0.8226600985221675, 'recall': 0.8391959798994975, 'f1': 0.8308457711442786, 'number': 199}	{'precision': 0.6896551724137931, 'recall': 0.6666666666666666, 'f1': 0.6779661016949153, 'number': 30}	{'precision': 0.863773965691221, 'recall': 0.9749430523917996, 'f1': 0.9159978598180846, 'number': 878}	{'precision': 0.8888888888888888, 'recall': 0.8598130841121495, 'f1': 0.8741092636579572, 'number': 214}	{'precision': 0.625, 'recall': 0.5357142857142857, 'f1': 0.576923076923077, 'number': 28}	{'precision': 0.82, 'recall': 0.6507936507936508, 'f1': 0.7256637168141592, 'number': 126}	{'precision': 0.6136363636363636, 'recall': 0.6585365853658537, 'f1': 0.6352941176470588, 'number': 41}	{'precision': 0.5, 'recall': 0.3466666666666667, 'f1': 0.4094488188976378, 'number': 75}	{'precision': 0.8360655737704918, 'recall': 0.68, 'f1': 0.7500000000000001, 'number': 75}	0.8557	0.8700	0.8628	0.9410
0.0062	13.0	9555	0.3996	{'precision': 0.625, 'recall': 0.7142857142857143, 'f1': 0.6666666666666666, 'number': 14}	{'precision': 0.6595744680851063, 'recall': 0.5344827586206896, 'f1': 0.5904761904761905, 'number': 116}	{'precision': 0.9541062801932367, 'recall': 0.9449760765550239, 'f1': 0.9495192307692307, 'number': 418}	{'precision': 0.6666666666666666, 'recall': 0.8484848484848485, 'f1': 0.7466666666666666, 'number': 33}	{'precision': 0.8891304347826087, 'recall': 0.8758029978586723, 'f1': 0.8824163969795037, 'number': 467}	{'precision': 0.8611111111111112, 'recall': 0.8857142857142857, 'f1': 0.8732394366197184, 'number': 35}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 30}	{'precision': 0.5454545454545454, 'recall': 0.5, 'f1': 0.5217391304347826, 'number': 12}	{'precision': 0.7804878048780488, 'recall': 0.8205128205128205, 'f1': 0.8, 'number': 39}	{'precision': 0.631578947368421, 'recall': 0.631578947368421, 'f1': 0.631578947368421, 'number': 38}	{'precision': 0.9647887323943662, 'recall': 0.9319727891156463, 'f1': 0.9480968858131488, 'number': 294}	{'precision': 0.8115942028985508, 'recall': 0.8442211055276382, 'f1': 0.8275862068965517, 'number': 199}	{'precision': 0.6333333333333333, 'recall': 0.6333333333333333, 'f1': 0.6333333333333333, 'number': 30}	{'precision': 0.8748728382502543, 'recall': 0.979498861047836, 'f1': 0.92423428264374, 'number': 878}	{'precision': 0.8526785714285714, 'recall': 0.8925233644859814, 'f1': 0.8721461187214612, 'number': 214}	{'precision': 0.7083333333333334, 'recall': 0.6071428571428571, 'f1': 0.6538461538461539, 'number': 28}	{'precision': 0.8383838383838383, 'recall': 0.6587301587301587, 'f1': 0.7377777777777778, 'number': 126}	{'precision': 0.7352941176470589, 'recall': 0.6097560975609756, 'f1': 0.6666666666666666, 'number': 41}	{'precision': 0.5102040816326531, 'recall': 0.3333333333333333, 'f1': 0.4032258064516129, 'number': 75}	{'precision': 0.7903225806451613, 'recall': 0.6533333333333333, 'f1': 0.7153284671532847, 'number': 75}	0.8606	0.8650	0.8628	0.9404
0.004	14.0	10290	0.4378	{'precision': 0.8, 'recall': 0.8571428571428571, 'f1': 0.8275862068965518, 'number': 14}	{'precision': 0.6185567010309279, 'recall': 0.5172413793103449, 'f1': 0.563380281690141, 'number': 116}	{'precision': 0.9468599033816425, 'recall': 0.937799043062201, 'f1': 0.9423076923076923, 'number': 418}	{'precision': 0.6511627906976745, 'recall': 0.8484848484848485, 'f1': 0.736842105263158, 'number': 33}	{'precision': 0.8726114649681529, 'recall': 0.880085653104925, 'f1': 0.8763326226012793, 'number': 467}	{'precision': 0.8378378378378378, 'recall': 0.8857142857142857, 'f1': 0.8611111111111112, 'number': 35}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 30}	{'precision': 0.6363636363636364, 'recall': 0.5833333333333334, 'f1': 0.6086956521739131, 'number': 12}	{'precision': 0.7391304347826086, 'recall': 0.8717948717948718, 'f1': 0.7999999999999999, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.6842105263157895, 'f1': 0.6753246753246753, 'number': 38}	{'precision': 0.9581881533101045, 'recall': 0.935374149659864, 'f1': 0.9466437177280552, 'number': 294}	{'precision': 0.8113207547169812, 'recall': 0.864321608040201, 'f1': 0.8369829683698297, 'number': 199}	{'precision': 0.7037037037037037, 'recall': 0.6333333333333333, 'f1': 0.6666666666666667, 'number': 30}	{'precision': 0.8574277168494516, 'recall': 0.979498861047836, 'f1': 0.9144072301967038, 'number': 878}	{'precision': 0.8384279475982532, 'recall': 0.897196261682243, 'f1': 0.8668171557562077, 'number': 214}	{'precision': 0.6428571428571429, 'recall': 0.6428571428571429, 'f1': 0.6428571428571429, 'number': 28}	{'precision': 0.8181818181818182, 'recall': 0.6428571428571429, 'f1': 0.7200000000000001, 'number': 126}	{'precision': 0.6842105263157895, 'recall': 0.6341463414634146, 'f1': 0.6582278481012659, 'number': 41}	{'precision': 0.4642857142857143, 'recall': 0.3466666666666667, 'f1': 0.3969465648854962, 'number': 75}	{'precision': 0.864406779661017, 'recall': 0.68, 'f1': 0.7611940298507464, 'number': 75}	0.8479	0.8691	0.8583	0.9396
0.0023	15.0	11025	0.4290	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 14}	{'precision': 0.6941176470588235, 'recall': 0.5086206896551724, 'f1': 0.5870646766169154, 'number': 116}	{'precision': 0.9514563106796117, 'recall': 0.937799043062201, 'f1': 0.9445783132530121, 'number': 418}	{'precision': 0.7, 'recall': 0.8484848484848485, 'f1': 0.7671232876712328, 'number': 33}	{'precision': 0.8731501057082452, 'recall': 0.8843683083511777, 'f1': 0.8787234042553193, 'number': 467}	{'precision': 0.8378378378378378, 'recall': 0.8857142857142857, 'f1': 0.8611111111111112, 'number': 35}	{'precision': 0.9310344827586207, 'recall': 0.9, 'f1': 0.9152542372881356, 'number': 30}	{'precision': 0.5454545454545454, 'recall': 0.5, 'f1': 0.5217391304347826, 'number': 12}	{'precision': 0.7727272727272727, 'recall': 0.8717948717948718, 'f1': 0.8192771084337349, 'number': 39}	{'precision': 0.6842105263157895, 'recall': 0.6842105263157895, 'f1': 0.6842105263157895, 'number': 38}	{'precision': 0.958041958041958, 'recall': 0.9319727891156463, 'f1': 0.9448275862068966, 'number': 294}	{'precision': 0.8284313725490197, 'recall': 0.8492462311557789, 'f1': 0.8387096774193549, 'number': 199}	{'precision': 0.76, 'recall': 0.6333333333333333, 'f1': 0.6909090909090909, 'number': 30}	{'precision': 0.8625877632898696, 'recall': 0.979498861047836, 'f1': 0.9173333333333333, 'number': 878}	{'precision': 0.8296943231441049, 'recall': 0.8878504672897196, 'f1': 0.8577878103837472, 'number': 214}	{'precision': 0.64, 'recall': 0.5714285714285714, 'f1': 0.6037735849056605, 'number': 28}	{'precision': 0.8163265306122449, 'recall': 0.6349206349206349, 'f1': 0.7142857142857143, 'number': 126}	{'precision': 0.7027027027027027, 'recall': 0.6341463414634146, 'f1': 0.6666666666666667, 'number': 41}	{'precision': 0.5370370370370371, 'recall': 0.38666666666666666, 'f1': 0.44961240310077527, 'number': 75}	{'precision': 0.864406779661017, 'recall': 0.68, 'f1': 0.7611940298507464, 'number': 75}	0.8571	0.8672	0.8621	0.9406

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1