NLP Course documentation

Les modèles basés sur le décodeur

NLP Course

0. Configuration

1. Les transformers

Introduction Traitement du langage naturel Que peuvent faire les transformers ? Comment fonctionnent les transformers ? Les modèles basés sur l'encodeur Les modèles basés sur le décodeur Les modèles de séquence-à-séquence Biais et limitations Résumé Quiz de fin de chapitre

2. Utilisation de 🤗 Transformers

3. Finetuner un modèle pré-entraîné

4. Partager des modèles et des tokenizers

5. La bibliothèque 🤗 Datasets

6. La bibliothèque 🤗 Tokenizer

7. Les principales tâches en NLP

8. Comment demander de l'aide

9. Construire et partager des démos new

Evènements liés au cours

Glossaire

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Les modèles basés sur le décodeur

Les modèles basés sur le décodeur utilisent seulement le décodeur d’un transformer. À chaque étape, pour un mot donné, les couches d’attention ne peuvent strictement accéder qu’aux mots situés avant dans la phrase. Ces modèles sont souvent appelés modèles autorégressifs.

Le pré-entraînement des modèles basés sur le décodeur se concentre généralement sur la prédiction du prochain mot dans la phrase.

Ces modèles sont vraiment adaptés aux tâches qui impliquent la génération de texte.

Les modèles qui représentent le mieux la famille des modèles décodeurs sont :

←Les modèles basés sur l'encodeur Les modèles de séquence-à-séquence→