Chargement d’instances pré-entraînées avec une AutoClass

Avec autant d’architectures Transformer différentes, il peut être difficile d’en créer une pour votre ensemble de poids (aussi appelés “weights” ou “checkpoint” en anglais). Dans l’idée de créer une librairie facile, simple et flexible à utiliser, 🤗 Transformers fournit une AutoClass qui infère et charge automatiquement l’architecture correcte à partir d’un ensemble de poids donné. La fonction from_pretrained() vous permet de charger rapidement un modèle pré-entraîné pour n’importe quelle architecture afin que vous n’ayez pas à consacrer du temps et des ressources à l’entraînement d’un modèle à partir de zéro. Produire un tel code indépendant d’un ensemble de poids signifie que si votre code fonctionne pour un ensemble de poids, il fonctionnera avec un autre ensemble - tant qu’il a été entraîné pour une tâche similaire - même si l’architecture est différente.

Dans ce tutoriel, vous apprendrez à:

• Charger un tokenizer pré-entraîné.
• Charger un processeur d’image pré-entraîné.
• Charger un extracteur de caractéristiques pré-entraîné.
• Charger un processeur pré-entraîné.
• Charger un modèle pré-entraîné.

AutoTokenizer

Quasiment toutes les tâches de traitement du langage (NLP) commencent avec un tokenizer. Un tokenizer convertit votre texte initial dans un format qui peut être traité par le modèle.

Chargez un tokenizer avec AutoTokenizer.from_pretrained():

>>> from transformers import AutoTokenizer

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")

Puis, transformez votre texte initial comme montré ci-dessous:

>>> sequence = "In a hole in the ground there lived a hobbit."
>>> print(tokenizer(sequence))
{'input_ids': [101, 1999, 1037, 4920, 1999, 1996, 2598, 2045, 2973, 1037, 7570, 10322, 4183, 1012, 102], 
 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], 
 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}

AutoImageProcessor

Pour les tâches de vision, un processeur d’image traite l’image pour la formater correctment.

>>> from transformers import AutoImageProcessor

>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")

AutoFeatureExtractor

Pour les tâches audio, un extracteur de caractéristiques (aussi appelés “features” en anglais) traite le signal audio pour le formater correctement.

Chargez un extracteur de caractéristiques avec AutoFeatureExtractor.from_pretrained():

>>> from transformers import AutoFeatureExtractor

>>> feature_extractor = AutoFeatureExtractor.from_pretrained(
...     "ehcalabres/wav2vec2-lg-xlsr-en-speech-emotion-recognition"
... )

AutoProcessor

Les tâches multimodales nécessitent un processeur qui combine deux types d’outils de prétraitement. Par exemple, le modèle LayoutLMV2 nécessite un processeur d’image pour traiter les images et un tokenizer pour traiter le texte ; un processeur combine les deux.

Chargez un processeur avec AutoProcessor.from_pretrained():

>>> from transformers import AutoProcessor

>>> processor = AutoProcessor.from_pretrained("microsoft/layoutlmv2-base-uncased")

AutoModel

>>> from transformers import AutoModelForSequenceClassification

>>> model = AutoModelForSequenceClassification.from_pretrained("distilbert/distilbert-base-uncased")

>>> from transformers import AutoModelForTokenClassification

>>> model = AutoModelForTokenClassification.from_pretrained("distilbert/distilbert-base-uncased")

>>> from transformers import TFAutoModelForSequenceClassification

>>> model = TFAutoModelForSequenceClassification.from_pretrained("distilbert/distilbert-base-uncased")

>>> from transformers import TFAutoModelForTokenClassification

>>> model = TFAutoModelForTokenClassification.from_pretrained("distilbert/distilbert-base-uncased")