eson's picture
update
751936e

特殊字符

0: pad_token_id 没有bos,用pad当bos 1: eos_token_id 2:

12: ▁ 干嘛的? 句首?

词典示例

第二列是什么参数?分词器是什么模型?

<pad>	0
</s>	0
<unk>	0
,	0
?	0
:	0
。	0
\n	0
\t	0
,	-2.27694
的	-3.91357
、	-4.0507
▁	-4.86599
和	-5.14921

ss

ss