Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Tokenizadores, listo!

Gran trabajo terminando este capítulo!

Luego de esta profundizacion en los tokenizadores, deberías:

Ser capaz de entrenar un nuevo tokenizador usando un existente como plantilla
Entender como usar los offsets para mapear las posiciones de los tokens a sus trozos de texto original
Conocer las diferencias entre BPE, WordPiece y Unigram
Ser capaz de mezclar y combinar los bloques provistos por la librería 🤗 Tokenizers para construir tu propio tokenizador
Ser capaz de usar el tokenizador dentro de la librería 🤗 Transformers.

NLP Course