tokenizer-arena / vocab /entity /vocab.entity.txt
eson's picture
update
751936e
raw
history blame
No virus
250 Bytes
## knowledge: 包含品牌词、产品词、卖点词等, 人名、地名、机构名
# 这个词典可能很大,但是属于模型外,只在解码时起作用。所以不影响模型量级
# TODO:这样的配置可以让词典减小更多。