NLP Course documentation

标记器,回顾!

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

标记器,回顾!

Ask a Question

完成这一章,辛苦了!

在深入研究标记器之后,您应该:

  • 能够使用旧的标记器作为模板来训练新的标记器
  • 了解如何使用偏移量将标记的位置映射到其原始文本范围
  • 了解 BPE、WordPiece 和 Unigram 之间的区别
  • 能够混合和匹配 🤗 Tokenizers 库提供的块来构建您自己的标记器
  • 能够在 🤗 Transformers 库中使用该标记器