NLP Course documentation

Modelos de decodificadores

NLP Course

0. Setup

1. Modelos de Transformadores

Introducción Procesamiento de Lenguaje Natural Transformadores, ¿qué pueden hacer? ¿Cómo funcionan los Transformadores? Modelos de codificadores Modelos de decodificadores Modelos secuencia a secuencia Sesgos y limitaciones Resumen Quiz de final de capítulo

2. Usando Transformers 🤗

3. Ajuste (fine-tuning) de un modelo preentrenado

5. La librería 🤗 Datasets

6. La librería 🤗 Tokenizers

8. ¿Cómo solicitar ayuda?

Glosario

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Modelos de decodificadores

Los modelos de decodificadores usan únicamente el decodificador del Transformador. En cada etapa, para una palabra dada las capas de atención pueden acceder solamente a las palabras que se ubican antes en la oración. Estos modelos se suelen llamar modelos auto-regressive.

El preentrenamiento de los modelos de decodificadores generalmente gira en torno a la predicción de la siguiente palabra en la oración.

Estos modelos son más adecuados para tareas que implican la generación de texto.

Los miembros de esta familia de modelos incluyen:

←Modelos de codificadores Modelos secuencia a secuencia→