File size: 352 Bytes
751936e |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 |
## 特殊字符
0: <pad> pad_token_id 没有bos，用pad当bos
1: </s> eos_token_id
2: <unk>
12: ▁ 干嘛的？ 句首？
## 词典示例
第二列是什么参数？分词器是什么模型？
```
<pad> 0
</s> 0
<unk> 0
， 0
？ 0
： 0
。 0
\n 0
\t 0
, -2.27694
的 -3.91357
、 -4.0507
▁ -4.86599
和 -5.14921
```
## ss
ss
|