pho-bert-ner-ghtk-cs-3090-14Aug-2

This model is a fine-tuned version of vinai/phobert-large on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.3453
• cmt: {'precision': 0.631578947368421, 'recall': 0.8571428571428571, 'f1': 0.7272727272727273, 'number': 14}
• Tk: {'precision': 0.5431034482758621, 'recall': 0.4632352941176471, 'f1': 0.5, 'number': 136}
• A: {'precision': 0.9478672985781991, 'recall': 0.9569377990430622, 'f1': 0.9523809523809523, 'number': 418}
• Gày: {'precision': 0.625, 'recall': 0.7575757575757576, 'f1': 0.6849315068493151, 'number': 33}
• Gày trừu tượng: {'precision': 0.9013157894736842, 'recall': 0.880085653104925, 'f1': 0.8905742145178766, 'number': 467}
• Gân hàng: {'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 35}
• Hương thức thanh toán: {'precision': 0.8125, 'recall': 0.8666666666666667, 'f1': 0.8387096774193549, 'number': 30}
• Hối lượng: {'precision': 0.45454545454545453, 'recall': 0.4166666666666667, 'f1': 0.43478260869565216, 'number': 12}
• Iền: {'precision': 0.7391304347826086, 'recall': 0.8717948717948718, 'f1': 0.7999999999999999, 'number': 39}
• Iờ: {'precision': 0.6923076923076923, 'recall': 0.7105263157894737, 'f1': 0.7012987012987013, 'number': 38}
• Mail: {'precision': 0.891213389121339, 'recall': 0.9638009049773756, 'f1': 0.9260869565217392, 'number': 221}
• Ã đơn: {'precision': 0.8292682926829268, 'recall': 0.8542713567839196, 'f1': 0.8415841584158417, 'number': 199}
• Ên người: {'precision': 0.5714285714285714, 'recall': 0.5333333333333333, 'f1': 0.5517241379310344, 'number': 30}
• Đt: {'precision': 0.9011786038077969, 'recall': 0.9557692307692308, 'f1': 0.9276714885674289, 'number': 1040}
• Đt trừu tượng: {'precision': 0.8169642857142857, 'recall': 0.8551401869158879, 'f1': 0.8356164383561643, 'number': 214}
• Ơn vị đo: {'precision': 0.6666666666666666, 'recall': 0.7142857142857143, 'f1': 0.689655172413793, 'number': 28}
• Ản phẩm cụ thể: {'precision': 0.8059701492537313, 'recall': 0.5806451612903226, 'f1': 0.675, 'number': 93}
• Ản phẩm trừu tượng: {'precision': 0.6222222222222222, 'recall': 0.717948717948718, 'f1': 0.6666666666666666, 'number': 39}
• Ịa chỉ cụ thể: {'precision': 0.46153846153846156, 'recall': 0.32, 'f1': 0.37795275590551186, 'number': 75}
• Ịa chỉ trừu tượng: {'precision': 0.8103448275862069, 'recall': 0.6266666666666667, 'f1': 0.706766917293233, 'number': 75}
• Overall Precision: 0.8515
• Overall Recall: 0.8597
• Overall F1: 0.8556
• Overall Accuracy: 0.9391

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	Tk	A	Gày	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Iờ	Mail	à đơn	Ên người	Đt	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.6914	1.0	735	0.3956	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 136}	{'precision': 0.9542168674698795, 'recall': 0.9473684210526315, 'f1': 0.9507803121248499, 'number': 418}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 33}	{'precision': 0.9065656565656566, 'recall': 0.7687366167023555, 'f1': 0.8319814600231751, 'number': 467}	{'precision': 0.7142857142857143, 'recall': 0.42857142857142855, 'f1': 0.5357142857142858, 'number': 35}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.25, 'recall': 0.05128205128205128, 'f1': 0.0851063829787234, 'number': 39}	{'precision': 0.7037037037037037, 'recall': 0.5, 'f1': 0.5846153846153846, 'number': 38}	{'precision': 0.8403041825095057, 'recall': 1.0, 'f1': 0.9132231404958677, 'number': 221}	{'precision': 0.7647058823529411, 'recall': 0.7185929648241206, 'f1': 0.7409326424870466, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.6887417218543046, 'recall': 1.0, 'f1': 0.8156862745098039, 'number': 1040}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 214}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 28}	{'precision': 0.7272727272727273, 'recall': 0.17204301075268819, 'f1': 0.27826086956521734, 'number': 93}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 39}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 75}	{'precision': 0.6779661016949152, 'recall': 0.5333333333333333, 'f1': 0.5970149253731344, 'number': 75}	0.7735	0.6956	0.7325	0.8927
0.3087	2.0	1470	0.2516	{'precision': 0.2727272727272727, 'recall': 0.42857142857142855, 'f1': 0.33333333333333326, 'number': 14}	{'precision': 0.4166666666666667, 'recall': 0.18382352941176472, 'f1': 0.25510204081632654, 'number': 136}	{'precision': 0.9292237442922374, 'recall': 0.9736842105263158, 'f1': 0.9509345794392523, 'number': 418}	{'precision': 0.6923076923076923, 'recall': 0.5454545454545454, 'f1': 0.6101694915254238, 'number': 33}	{'precision': 0.9405684754521964, 'recall': 0.7794432548179872, 'f1': 0.8524590163934427, 'number': 467}	{'precision': 0.6428571428571429, 'recall': 0.5142857142857142, 'f1': 0.5714285714285714, 'number': 35}	{'precision': 0.75, 'recall': 0.7, 'f1': 0.7241379310344827, 'number': 30}	{'precision': 0.625, 'recall': 0.4166666666666667, 'f1': 0.5, 'number': 12}	{'precision': 0.65625, 'recall': 0.5384615384615384, 'f1': 0.5915492957746479, 'number': 39}	{'precision': 0.5818181818181818, 'recall': 0.8421052631578947, 'f1': 0.6881720430107526, 'number': 38}	{'precision': 0.8952380952380953, 'recall': 0.8506787330316742, 'f1': 0.8723897911832946, 'number': 221}	{'precision': 0.7617021276595745, 'recall': 0.8994974874371859, 'f1': 0.8248847926267281, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.8729329852045257, 'recall': 0.9644230769230769, 'f1': 0.916400182731841, 'number': 1040}	{'precision': 0.7215189873417721, 'recall': 0.7990654205607477, 'f1': 0.7583148558758315, 'number': 214}	{'precision': 0.5833333333333334, 'recall': 0.25, 'f1': 0.35000000000000003, 'number': 28}	{'precision': 0.4838709677419355, 'recall': 0.6451612903225806, 'f1': 0.5529953917050692, 'number': 93}	{'precision': 0.75, 'recall': 0.23076923076923078, 'f1': 0.3529411764705882, 'number': 39}	{'precision': 0.15555555555555556, 'recall': 0.09333333333333334, 'f1': 0.11666666666666667, 'number': 75}	{'precision': 0.8297872340425532, 'recall': 0.52, 'f1': 0.6393442622950819, 'number': 75}	0.8177	0.7973	0.8074	0.9205
0.1477	3.0	2205	0.2924	{'precision': 0.3333333333333333, 'recall': 0.35714285714285715, 'f1': 0.3448275862068965, 'number': 14}	{'precision': 0.3076923076923077, 'recall': 0.14705882352941177, 'f1': 0.19900497512437812, 'number': 136}	{'precision': 0.9501187648456056, 'recall': 0.9569377990430622, 'f1': 0.9535160905840286, 'number': 418}	{'precision': 0.48936170212765956, 'recall': 0.696969696969697, 'f1': 0.575, 'number': 33}	{'precision': 0.9006772009029346, 'recall': 0.854389721627409, 'f1': 0.8769230769230769, 'number': 467}	{'precision': 0.7741935483870968, 'recall': 0.6857142857142857, 'f1': 0.7272727272727272, 'number': 35}	{'precision': 0.7586206896551724, 'recall': 0.7333333333333333, 'f1': 0.7457627118644068, 'number': 30}	{'precision': 0.6666666666666666, 'recall': 0.16666666666666666, 'f1': 0.26666666666666666, 'number': 12}	{'precision': 0.7777777777777778, 'recall': 0.5384615384615384, 'f1': 0.6363636363636364, 'number': 39}	{'precision': 0.6521739130434783, 'recall': 0.39473684210526316, 'f1': 0.49180327868852464, 'number': 38}	{'precision': 0.8764940239043825, 'recall': 0.995475113122172, 'f1': 0.9322033898305084, 'number': 221}	{'precision': 0.7237354085603113, 'recall': 0.9346733668341709, 'f1': 0.8157894736842106, 'number': 199}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 30}	{'precision': 0.8023166023166023, 'recall': 0.9990384615384615, 'f1': 0.8899357601713062, 'number': 1040}	{'precision': 0.8472906403940886, 'recall': 0.8037383177570093, 'f1': 0.8249400479616307, 'number': 214}	{'precision': 0.6923076923076923, 'recall': 0.6428571428571429, 'f1': 0.6666666666666666, 'number': 28}	{'precision': 0.8260869565217391, 'recall': 0.40860215053763443, 'f1': 0.5467625899280576, 'number': 93}	{'precision': 0.6923076923076923, 'recall': 0.23076923076923078, 'f1': 0.34615384615384615, 'number': 39}	{'precision': 0.21212121212121213, 'recall': 0.09333333333333334, 'f1': 0.12962962962962965, 'number': 75}	{'precision': 0.8775510204081632, 'recall': 0.5733333333333334, 'f1': 0.6935483870967741, 'number': 75}	0.8124	0.8229	0.8176	0.9202
0.1184	4.0	2940	0.2693	{'precision': 0.5, 'recall': 0.6428571428571429, 'f1': 0.5625000000000001, 'number': 14}	{'precision': 0.42857142857142855, 'recall': 0.2426470588235294, 'f1': 0.30985915492957744, 'number': 136}	{'precision': 0.95260663507109, 'recall': 0.9617224880382775, 'f1': 0.9571428571428572, 'number': 418}	{'precision': 0.6388888888888888, 'recall': 0.696969696969697, 'f1': 0.6666666666666666, 'number': 33}	{'precision': 0.8640973630831643, 'recall': 0.9122055674518201, 'f1': 0.8875000000000001, 'number': 467}	{'precision': 0.717948717948718, 'recall': 0.8, 'f1': 0.7567567567567569, 'number': 35}	{'precision': 0.84375, 'recall': 0.9, 'f1': 0.870967741935484, 'number': 30}	{'precision': 0.5, 'recall': 0.4166666666666667, 'f1': 0.45454545454545453, 'number': 12}	{'precision': 0.6271186440677966, 'recall': 0.9487179487179487, 'f1': 0.7551020408163266, 'number': 39}	{'precision': 0.6341463414634146, 'recall': 0.6842105263157895, 'f1': 0.6582278481012659, 'number': 38}	{'precision': 0.8771186440677966, 'recall': 0.9366515837104072, 'f1': 0.9059080962800875, 'number': 221}	{'precision': 0.8626373626373627, 'recall': 0.7889447236180904, 'f1': 0.8241469816272966, 'number': 199}	{'precision': 0.56, 'recall': 0.4666666666666667, 'f1': 0.509090909090909, 'number': 30}	{'precision': 0.8577476714648603, 'recall': 0.9740384615384615, 'f1': 0.9122017109410175, 'number': 1040}	{'precision': 0.5510752688172043, 'recall': 0.9579439252336449, 'f1': 0.6996587030716723, 'number': 214}	{'precision': 0.7419354838709677, 'recall': 0.8214285714285714, 'f1': 0.7796610169491526, 'number': 28}	{'precision': 0.8048780487804879, 'recall': 0.3548387096774194, 'f1': 0.4925373134328359, 'number': 93}	{'precision': 0.5714285714285714, 'recall': 0.717948717948718, 'f1': 0.6363636363636365, 'number': 39}	{'precision': 0.34615384615384615, 'recall': 0.12, 'f1': 0.1782178217821782, 'number': 75}	{'precision': 0.7627118644067796, 'recall': 0.6, 'f1': 0.6716417910447762, 'number': 75}	0.8020	0.8498	0.8252	0.9238
0.0736	5.0	3675	0.2400	{'precision': 0.5882352941176471, 'recall': 0.7142857142857143, 'f1': 0.6451612903225806, 'number': 14}	{'precision': 0.4900662251655629, 'recall': 0.5441176470588235, 'f1': 0.5156794425087108, 'number': 136}	{'precision': 0.9656019656019657, 'recall': 0.9401913875598086, 'f1': 0.9527272727272728, 'number': 418}	{'precision': 0.5869565217391305, 'recall': 0.8181818181818182, 'f1': 0.6835443037974683, 'number': 33}	{'precision': 0.9078651685393259, 'recall': 0.8650963597430407, 'f1': 0.8859649122807017, 'number': 467}	{'precision': 0.7894736842105263, 'recall': 0.8571428571428571, 'f1': 0.8219178082191781, 'number': 35}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 30}	{'precision': 0.5625, 'recall': 0.75, 'f1': 0.6428571428571429, 'number': 12}	{'precision': 0.6545454545454545, 'recall': 0.9230769230769231, 'f1': 0.7659574468085106, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.7894736842105263, 'f1': 0.7228915662650601, 'number': 38}	{'precision': 0.8898305084745762, 'recall': 0.9502262443438914, 'f1': 0.9190371991247264, 'number': 221}	{'precision': 0.8, 'recall': 0.8241206030150754, 'f1': 0.8118811881188119, 'number': 199}	{'precision': 0.42857142857142855, 'recall': 0.4, 'f1': 0.4137931034482759, 'number': 30}	{'precision': 0.8988464951197871, 'recall': 0.9740384615384615, 'f1': 0.9349330872173511, 'number': 1040}	{'precision': 0.7777777777777778, 'recall': 0.9158878504672897, 'f1': 0.8412017167381974, 'number': 214}	{'precision': 0.75, 'recall': 0.8571428571428571, 'f1': 0.7999999999999999, 'number': 28}	{'precision': 0.8142857142857143, 'recall': 0.6129032258064516, 'f1': 0.6993865030674846, 'number': 93}	{'precision': 0.5897435897435898, 'recall': 0.5897435897435898, 'f1': 0.5897435897435898, 'number': 39}	{'precision': 0.3333333333333333, 'recall': 0.2, 'f1': 0.25, 'number': 75}	{'precision': 0.7833333333333333, 'recall': 0.6266666666666667, 'f1': 0.6962962962962963, 'number': 75}	0.8369	0.8656	0.8510	0.9361
0.054	6.0	4410	0.2833	{'precision': 0.6190476190476191, 'recall': 0.9285714285714286, 'f1': 0.742857142857143, 'number': 14}	{'precision': 0.5102040816326531, 'recall': 0.36764705882352944, 'f1': 0.4273504273504274, 'number': 136}	{'precision': 0.9684466019417476, 'recall': 0.9545454545454546, 'f1': 0.9614457831325302, 'number': 418}	{'precision': 0.6341463414634146, 'recall': 0.7878787878787878, 'f1': 0.7027027027027027, 'number': 33}	{'precision': 0.9064587973273942, 'recall': 0.8715203426124197, 'f1': 0.888646288209607, 'number': 467}	{'precision': 0.9354838709677419, 'recall': 0.8285714285714286, 'f1': 0.8787878787878788, 'number': 35}	{'precision': 0.8571428571428571, 'recall': 0.8, 'f1': 0.8275862068965518, 'number': 30}	{'precision': 0.7142857142857143, 'recall': 0.4166666666666667, 'f1': 0.5263157894736842, 'number': 12}	{'precision': 0.6956521739130435, 'recall': 0.8205128205128205, 'f1': 0.7529411764705882, 'number': 39}	{'precision': 0.5957446808510638, 'recall': 0.7368421052631579, 'f1': 0.6588235294117647, 'number': 38}	{'precision': 0.8940677966101694, 'recall': 0.9547511312217195, 'f1': 0.9234135667396062, 'number': 221}	{'precision': 0.8131313131313131, 'recall': 0.8090452261306532, 'f1': 0.8110831234256928, 'number': 199}	{'precision': 0.5652173913043478, 'recall': 0.43333333333333335, 'f1': 0.49056603773584906, 'number': 30}	{'precision': 0.8851291184327693, 'recall': 0.9557692307692308, 'f1': 0.9190938511326862, 'number': 1040}	{'precision': 0.8347826086956521, 'recall': 0.897196261682243, 'f1': 0.8648648648648648, 'number': 214}	{'precision': 0.5952380952380952, 'recall': 0.8928571428571429, 'f1': 0.7142857142857143, 'number': 28}	{'precision': 0.7647058823529411, 'recall': 0.5591397849462365, 'f1': 0.6459627329192545, 'number': 93}	{'precision': 0.5428571428571428, 'recall': 0.48717948717948717, 'f1': 0.5135135135135135, 'number': 39}	{'precision': 0.46153846153846156, 'recall': 0.32, 'f1': 0.37795275590551186, 'number': 75}	{'precision': 0.8275862068965517, 'recall': 0.64, 'f1': 0.7218045112781956, 'number': 75}	0.8481	0.8504	0.8493	0.9362
0.0364	7.0	5145	0.3123	{'precision': 0.5789473684210527, 'recall': 0.7857142857142857, 'f1': 0.6666666666666667, 'number': 14}	{'precision': 0.5251798561151079, 'recall': 0.5367647058823529, 'f1': 0.5309090909090909, 'number': 136}	{'precision': 0.9630541871921182, 'recall': 0.9354066985645934, 'f1': 0.9490291262135923, 'number': 418}	{'precision': 0.6046511627906976, 'recall': 0.7878787878787878, 'f1': 0.6842105263157895, 'number': 33}	{'precision': 0.8849372384937239, 'recall': 0.9057815845824411, 'f1': 0.8952380952380952, 'number': 467}	{'precision': 0.7142857142857143, 'recall': 0.8571428571428571, 'f1': 0.7792207792207793, 'number': 35}	{'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 30}	{'precision': 0.5263157894736842, 'recall': 0.8333333333333334, 'f1': 0.6451612903225806, 'number': 12}	{'precision': 0.673469387755102, 'recall': 0.8461538461538461, 'f1': 0.75, 'number': 39}	{'precision': 0.6744186046511628, 'recall': 0.7631578947368421, 'f1': 0.7160493827160495, 'number': 38}	{'precision': 0.8943089430894309, 'recall': 0.995475113122172, 'f1': 0.9421841541755889, 'number': 221}	{'precision': 0.7233201581027668, 'recall': 0.9195979899497487, 'f1': 0.8097345132743363, 'number': 199}	{'precision': 0.4444444444444444, 'recall': 0.5333333333333333, 'f1': 0.4848484848484848, 'number': 30}	{'precision': 0.90754039497307, 'recall': 0.9721153846153846, 'f1': 0.9387186629526462, 'number': 1040}	{'precision': 0.8161434977578476, 'recall': 0.8504672897196262, 'f1': 0.8329519450800915, 'number': 214}	{'precision': 0.5897435897435898, 'recall': 0.8214285714285714, 'f1': 0.6865671641791046, 'number': 28}	{'precision': 0.7971014492753623, 'recall': 0.5913978494623656, 'f1': 0.6790123456790125, 'number': 93}	{'precision': 0.5714285714285714, 'recall': 0.717948717948718, 'f1': 0.6363636363636365, 'number': 39}	{'precision': 0.43103448275862066, 'recall': 0.3333333333333333, 'f1': 0.37593984962406013, 'number': 75}	{'precision': 0.7761194029850746, 'recall': 0.6933333333333334, 'f1': 0.7323943661971832, 'number': 75}	0.8323	0.8801	0.8555	0.9356
0.0257	8.0	5880	0.3302	{'precision': 0.6111111111111112, 'recall': 0.7857142857142857, 'f1': 0.6875000000000001, 'number': 14}	{'precision': 0.5, 'recall': 0.2867647058823529, 'f1': 0.3644859813084112, 'number': 136}	{'precision': 0.9612590799031477, 'recall': 0.9497607655502392, 'f1': 0.9554753309265945, 'number': 418}	{'precision': 0.6046511627906976, 'recall': 0.7878787878787878, 'f1': 0.6842105263157895, 'number': 33}	{'precision': 0.8939393939393939, 'recall': 0.8843683083511777, 'f1': 0.8891280947255112, 'number': 467}	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 35}	{'precision': 0.8, 'recall': 0.8, 'f1': 0.8000000000000002, 'number': 30}	{'precision': 0.4, 'recall': 0.3333333333333333, 'f1': 0.3636363636363636, 'number': 12}	{'precision': 0.75, 'recall': 0.8461538461538461, 'f1': 0.7951807228915662, 'number': 39}	{'precision': 0.6363636363636364, 'recall': 0.7368421052631579, 'f1': 0.6829268292682926, 'number': 38}	{'precision': 0.8907563025210085, 'recall': 0.9592760180995475, 'f1': 0.9237472766884532, 'number': 221}	{'precision': 0.8018867924528302, 'recall': 0.8542713567839196, 'f1': 0.8272506082725061, 'number': 199}	{'precision': 0.6666666666666666, 'recall': 0.5333333333333333, 'f1': 0.5925925925925926, 'number': 30}	{'precision': 0.8995555555555556, 'recall': 0.9730769230769231, 'f1': 0.9348729792147806, 'number': 1040}	{'precision': 0.8122270742358079, 'recall': 0.8691588785046729, 'f1': 0.8397291196388261, 'number': 214}	{'precision': 0.6470588235294118, 'recall': 0.7857142857142857, 'f1': 0.7096774193548386, 'number': 28}	{'precision': 0.796875, 'recall': 0.5483870967741935, 'f1': 0.6496815286624203, 'number': 93}	{'precision': 0.6222222222222222, 'recall': 0.717948717948718, 'f1': 0.6666666666666666, 'number': 39}	{'precision': 0.43478260869565216, 'recall': 0.26666666666666666, 'f1': 0.3305785123966942, 'number': 75}	{'precision': 0.8392857142857143, 'recall': 0.6266666666666667, 'f1': 0.7175572519083969, 'number': 75}	0.852	0.8557	0.8538	0.9381
0.0129	9.0	6615	0.3387	{'precision': 0.7058823529411765, 'recall': 0.8571428571428571, 'f1': 0.7741935483870968, 'number': 14}	{'precision': 0.48314606741573035, 'recall': 0.3161764705882353, 'f1': 0.3822222222222222, 'number': 136}	{'precision': 0.9456264775413712, 'recall': 0.9569377990430622, 'f1': 0.9512485136741974, 'number': 418}	{'precision': 0.631578947368421, 'recall': 0.7272727272727273, 'f1': 0.676056338028169, 'number': 33}	{'precision': 0.9216589861751152, 'recall': 0.8565310492505354, 'f1': 0.8879023307436181, 'number': 467}	{'precision': 0.8333333333333334, 'recall': 0.8571428571428571, 'f1': 0.8450704225352113, 'number': 35}	{'precision': 0.8125, 'recall': 0.8666666666666667, 'f1': 0.8387096774193549, 'number': 30}	{'precision': 0.5, 'recall': 0.5, 'f1': 0.5, 'number': 12}	{'precision': 0.7021276595744681, 'recall': 0.8461538461538461, 'f1': 0.7674418604651163, 'number': 39}	{'precision': 0.717948717948718, 'recall': 0.7368421052631579, 'f1': 0.7272727272727273, 'number': 38}	{'precision': 0.8879310344827587, 'recall': 0.9321266968325792, 'f1': 0.9094922737306844, 'number': 221}	{'precision': 0.8418367346938775, 'recall': 0.8291457286432161, 'f1': 0.8354430379746836, 'number': 199}	{'precision': 0.5769230769230769, 'recall': 0.5, 'f1': 0.5357142857142857, 'number': 30}	{'precision': 0.8954012623985572, 'recall': 0.9548076923076924, 'f1': 0.9241507677989764, 'number': 1040}	{'precision': 0.7974137931034483, 'recall': 0.8644859813084113, 'f1': 0.8295964125560539, 'number': 214}	{'precision': 0.6666666666666666, 'recall': 0.7142857142857143, 'f1': 0.689655172413793, 'number': 28}	{'precision': 0.8225806451612904, 'recall': 0.5483870967741935, 'f1': 0.6580645161290322, 'number': 93}	{'precision': 0.6136363636363636, 'recall': 0.6923076923076923, 'f1': 0.6506024096385543, 'number': 39}	{'precision': 0.4166666666666667, 'recall': 0.26666666666666666, 'f1': 0.3252032520325203, 'number': 75}	{'precision': 0.8245614035087719, 'recall': 0.6266666666666667, 'f1': 0.7121212121212122, 'number': 75}	0.8526	0.8439	0.8483	0.9361
0.0096	10.0	7350	0.3453	{'precision': 0.631578947368421, 'recall': 0.8571428571428571, 'f1': 0.7272727272727273, 'number': 14}	{'precision': 0.5431034482758621, 'recall': 0.4632352941176471, 'f1': 0.5, 'number': 136}	{'precision': 0.9478672985781991, 'recall': 0.9569377990430622, 'f1': 0.9523809523809523, 'number': 418}	{'precision': 0.625, 'recall': 0.7575757575757576, 'f1': 0.6849315068493151, 'number': 33}	{'precision': 0.9013157894736842, 'recall': 0.880085653104925, 'f1': 0.8905742145178766, 'number': 467}	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 35}	{'precision': 0.8125, 'recall': 0.8666666666666667, 'f1': 0.8387096774193549, 'number': 30}	{'precision': 0.45454545454545453, 'recall': 0.4166666666666667, 'f1': 0.43478260869565216, 'number': 12}	{'precision': 0.7391304347826086, 'recall': 0.8717948717948718, 'f1': 0.7999999999999999, 'number': 39}	{'precision': 0.6923076923076923, 'recall': 0.7105263157894737, 'f1': 0.7012987012987013, 'number': 38}	{'precision': 0.891213389121339, 'recall': 0.9638009049773756, 'f1': 0.9260869565217392, 'number': 221}	{'precision': 0.8292682926829268, 'recall': 0.8542713567839196, 'f1': 0.8415841584158417, 'number': 199}	{'precision': 0.5714285714285714, 'recall': 0.5333333333333333, 'f1': 0.5517241379310344, 'number': 30}	{'precision': 0.9011786038077969, 'recall': 0.9557692307692308, 'f1': 0.9276714885674289, 'number': 1040}	{'precision': 0.8169642857142857, 'recall': 0.8551401869158879, 'f1': 0.8356164383561643, 'number': 214}	{'precision': 0.6666666666666666, 'recall': 0.7142857142857143, 'f1': 0.689655172413793, 'number': 28}	{'precision': 0.8059701492537313, 'recall': 0.5806451612903226, 'f1': 0.675, 'number': 93}	{'precision': 0.6222222222222222, 'recall': 0.717948717948718, 'f1': 0.6666666666666666, 'number': 39}	{'precision': 0.46153846153846156, 'recall': 0.32, 'f1': 0.37795275590551186, 'number': 75}	{'precision': 0.8103448275862069, 'recall': 0.6266666666666667, 'f1': 0.706766917293233, 'number': 75}	0.8515	0.8597	0.8556	0.9391

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1