章末小测验

让我们测试一下您在本章中学到了什么！

1.你应该什么时候训练一个新的标记器？

2.当使用“ train_new_from_iterator()”时，使用文本列表生成器与文本列表相比有什么优点？

3.使用“快速”标记器的优点是什么？

4.“token-classification”管道如何处理跨多个标记的实体？

5.“question-answering”流水线如何处理长上下文？

6.什么是标准化？

7.什么是子词标记化的前标记化？

8.选择描述标记化 BPE 模式最准确的句子。

9.选择适用于 WordPiece 标记模型的句子。

10.选择适用于 Unigram 标记模式的句子。