# 背景知识

GPT2采用的byte-level BPE，BERT采用的char-level BPE。


- BPE on unicode sequence
- BPE on UTF-8 byte sequence
-  

来自 https://huggingface.co/gpt2/tree/main

### BPE的问题


- 直接BPE，会出现 dog.  dog! 等合并成一个词。

byte-level BPE

- bpe会把空格拼接到后一个词上，比如 bpe.decode(bpes[1:2]) = ' world'，在NER任务上是不是算把空格也标注进去了？
- bpe会把 'world'和' world'视为两个完全不同的token，不好吧？
- 大小写：


### 怎样解决



### GPT2的



# 下载

### 官方

### huggingface = 官方

- [vocab.json](https://huggingface.co/gpt2-large/resolve/main/vocab.json): 50257个kv-pair. https://huggingface.co/gpt2/resolve/main/vocab.json
- [merges.txt](https://huggingface.co/gpt2-large/resolve/main/merges.txt): 50001行，https://huggingface.co/gpt2/resolve/main/merges.txt
  - merges.txts是否包含所有的组合？https://github.com/huggingface/transformers/issues/4777

### fairseq = 官方

- vocab.bpe：50001行
- encoder.json: 50257个kv-pair
- dict.txt: 50260行  是纯数字的，是由fairseq-preprocess生成的  https://github.com/pytorch/fairseq/issues/1186


- https://dl.fbaipublicfiles.com/fairseq/gpt2_bpe/encoder.json
- https://dl.fbaipublicfiles.com/fairseq/gpt2_bpe/vocab.bpe
- https://dl.fbaipublicfiles.com/fairseq/gpt2_bpe/dict.txt


# 相关疑问

### Ġ是什么

It's a feature of byte-level BPE(an encoded space character). 
Ġ 表示空格，有的版本用Ä代替Ġ。


```
What's up with the tokenizer?
# BPE后
['What', "'s", 'Ġup', 'Ġwith', 'Ġthe', 'Ġtoken', 'izer', '?']
# 经过vocab.json编码后
[ 2061,   338,  510,    351,    262,    11241,    7509,   30]
# 经过dict.txt编码后（fairseq特有）
[           其他数字                                         ]
```
疑问：up会加Ġ，为什么what不加Ġ


- https://github.com/pytorch/fairseq/issues/1716
- https://github.com/huggingface/transformers/issues/1083