NLP Course documentation

Modelos decodificadores

NLP Course

0. Configuração

1. Modelos de Transformers

Introdução Processamento de Linguagem Natural Transformers, o que eles podem fazer? Como os Transformers trabalham? Modelos decodificadores Modelos codificadores Modelos sequência a sequência Vieses e limitações Resumo Questionário de fim de capítulo

2. Usando 🤗 Transformers

3. Ajustando um modelo pré treinado

4. Compartilhamento de modelos e tokenizer

5. A biblioteca Datasets 🤗

6. A biblioteca Tokenizers 🤗

7. Principais tarefas NLP

8. Como pedir ajuda 🤗

Evento do curso

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Modelos decodificadores

Os modelos de decodificador usam apenas o decodificador de um modelo Transformer. Em cada etapa, para uma determinada palavra, as camadas de atenção só podem acessar as palavras posicionadas antes dela na frase. Esses modelos geralmente são chamados de modelos auto-regressivos.

O pré-treinamento de modelos de decodificadores geralmente gira em torno de prever a próxima palavra na frase.

Esses modelos são mais adequados para tarefas que envolvem geração de texto.

Os representantes desta família de modelos incluem:

←Modelos decodificadores Modelos sequência a sequência→