模型评价指标好像有点问题

#5
by iioSnail - opened

Model Card部分说模型在Sighan2015上的表现为: Sentence Level: precision:0.8264, recall:0.7366, f1:0.7789,达到了SOTA水平

然而,看源码后发现,您这个评价指标和官方SIGHAN Tool一致。而通常论文中的评价指标与官方指标是不一致的,precision要低很多。因此,您应该对模型性能有高估,实际F1应该在72左右。

具体可参考“https://blog.csdn.net/zhaohongfei_358/article/details/129079461”这篇博客

不用纠结,一个指标而已,效果都不够好。

shibing624 changed discussion status to closed

Sign up or log in to comment