Hugging Face's logo

p208p2002
/
llama-chinese-81M

Text Generation
Transformers
PyTorch
Safetensors
Chinese
English
llama
chinese
english
Inference Endpoints
text-generation-inference
Model card Files Community
2
p208p2002 commited on
Commit
943cf34
•
1 Parent(s): 2a78667

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -19,5 +19,5 @@ pipeline_tag: text-generation
19
  - 英文維基百科(20230601)
20
 
21
  ## Tokenizer
22
- 使用在中英文維基百科上訓練的 BPE Tokenizer，詞表大小為32k。
23
  > https://github.com/p208p2002/BPE-tokenizer-from-zh-wiki
 
19
  - 英文維基百科(20230601)
20
 
21
  ## Tokenizer
22
+ 使用重新在中英文語料上訓練的 BPE Tokenizer，擁有較佳的分詞效果與邊解碼效率。
23
  > https://github.com/p208p2002/BPE-tokenizer-from-zh-wiki