Введение

В главе 2 мы увидели, как можно использовать токенизаторы и предобученные модели для построения предсказаний. Но что если мы хотим дообучить предобученную модель на собственном датасете? Это и есть тема данной главы! Мы изучим:

• Как подготовить большой датасет из Model Hub
• Как использовать высокоуровненое API для дообучения модели
• Как использовать собственный цикл обучения (training loop)
• Как использовать библиотеку 🤗 Accelerate для запуска собственного цикла обучения на распределенной вычислительной структуре

Чтобы загрузить свои чекпоинты на Hugging Face Hub, необходимо иметь учетную запись: создать аккаунт