为什么vocab.json 文件，里面应该有中文啊，怎么打开是乱码找不到中文啊。我们的BPE在中文上是怎么做的啊，会分成完整单个汉字？还是完整词？还是不完整词？
..........大哥里面确实有中文，你看看bpe编码
· Sign up or log in to comment
