## 特殊字符

0: <pad>  pad_token_id   没有bos，用pad当bos
1: </s>   eos_token_id
2: <unk>

12: ▁   干嘛的？  句首？



## 词典示例

第二列是什么参数？分词器是什么模型？

```
<pad>	0
</s>	0
<unk>	0
，	0
？	0
：	0
。	0
\n	0
\t	0
,	-2.27694
的	-3.91357
、	-4.0507
▁	-4.86599
和	-5.14921
```

## ss

ss