NLP Course

0. Установка

1. Трансформеры

2. Использование 🤗 Transformers

3. Fine-tuning предобученной модели

4. Hugging Face Hub

5. Библиотека 🤗 Datasets

6. Бибилиотека 🤗 Tokenizers

7. Основные задачи NLP

Введение Классификация токенов Дообучение модели маскированного языкового моделирования Перевод Суммаризация Обучение каузальной языковой модели с нуля Ответы на вопросы Освоение NLP Тест в конце главы

8. Как попросить о помощи

9. Создание и распространение демо new

События курса

Глоссарий

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Тест в конце главы

Давайте проверим, чему вы научились в этой главе!

1. Какую из следующих задач можно сформулировать как проблему классификации токенов?

Поиск грамматических компонентов в предложении. Определение того, является ли предложение грамматически правильным или нет. Поиск персон, упомянутых в предложении. Поиск части слов в предложении, которое отвечает на вопрос.

2. Какая часть предварительной обработки для классификации токенов отличается от других конвейеров предварительной обработки?

Ничего делать не нужно: тексты уже токенизированы. Тексты представлены в виде слов, поэтому нам нужно применить только токенизацию по подсловам. Мы используем -100 для обозначения специальных токенов. При применении усечения/дополнения нам нужно убедиться, что метки имеют тот же размер, что и входные данные.

3. Какая проблема возникает при токенизации слов в проблеме классификации токенов и при необходимости их маркировки?

Токенизатор добавляет специальные токены, для которых у нас нет меток. Каждое слово может создавать несколько токенов, поэтому в итоге мы получаем больше токенов, чем меток. Добавленные токены не имеют меток, поэтому проблем не возникает.

4. Что означает “доменная адаптация”?

Это когда мы запускаем модель на датасете и получаем предсказания для каждого примера в этом датасете. Это когда мы обучаем модель на датасете. Это когда мы проводим дообучение предварительно обученной модели на новом датасете, и он выдает прогнозы, более адаптированные к этому датасету. Это когда мы добавляем в датасет неправильно классифицированные образцы, чтобы сделать нашу модель более надежной.

5. Что такое метки в проблеме маскированного языкового моделирования?

Некоторые токены во входном предложении маскируются случайным образом, а метками служат оригинальные входные токены. Некоторые токены во входном предложении случайным образом маскируются, а метками служат исходные токены, сдвинутые влево. Некоторые токены во входном предложении маскируются случайным образом, а метка означает, является ли предложение положительным или отрицательным. Некоторые токены в двух входных предложениях маскируются случайным образом, а метка означает, похожи эти два предложения или нет.

6. Какую из этих задач можно рассматривать как проблему преобразования последовательности-в-последовательность (sequence-to-sequence problem)?

Написание коротких обзоров длинных документов Ответы на вопросы о документе Перевод текста на китайском языке на английский Исправление сообщений, отправленных моим племянником/другом, чтобы они были на правильном английском языке

7. Каков правильный способ предварительной обработки данных для проблемы преобразования последовательности-в-последовательность?

Входные данные и цели должны быть переданы токенизатору вместе с inputs=... и targets=.... Входные данные и цели должны быть предварительно обработаны в двух раздельных вызовах токенизатора. Как обычно, нам просто нужно выполнить токенизацию входных данных. Входные данные должны быть переданы токенизатору, и цели тоже, но под управлением специального контекстного менеджера.

8. Почему существует специальный подкласс Trainer для проблем преобразования ” последовательности-в-последовательность”?

Поскольку проблемы преобразования последовательности-в-последовательность используют определенные пользователем потери, для игнорирования меток задайте -100. Поскольку проблемы преобразования последовательности-в-последовательность требуют специального цикла оценки Поскольку целью являются тексты в проблемах преобразования последовательности-в-последовательность Поскольку в проблемах преобразования последовательности-в-последовательность мы используем две модели

10. Когда следует проводить предварительное обучение новой модели?

Если для вашего специфического языка не существует предварительно обученной модели. Когда у вас много данных, даже если есть предварительно обученная модель, которая может работать с ними. Если у вас есть опасения по поводу смещения предварительно обученной модели, которую вы используете Когда имеющиеся предварительно обученные модели недостаточно хороши.

11. Почему легко провести предварительное обучение языковой модели на большом количестве текстов?

Потому что в Интернете можно найти множество текстов. Потому что задача предварительного обучения не требует от людей маркировки данных. Потому что библиотека 🤗 Transformers требует всего несколько строк кода для начала обучения.

12. Какие основные проблемы возникают при предварительной обработке данных для задачи ответа на вопрос (question answering)?

Вам нужно выполнить токенизацию входных данных. Вам приходится иметь дело с очень длинными контекстами, в которых дается несколько обучающих признаков, которые могут содержать ответ, а могут и не содержать. Вам нужно провести токенизацию ответов на вопрос так же, как и входных данных. На основе фрагмента ответа в тексте нужно найти начальный и конечный токен в исходном токенизированном тексте.

13. Как обычно выполняется постобработка в задаче ответов на вопросы?

Модель дает вам начальную и конечную позиции ответа, и вам остается только декодировать соответствующий промежуток токенов. Модель возыращает вам начальную и конечную позиции ответа для каждого признака, созданного одним примером, а вам остается только декодировать соответствующий промежуток токенов в том из них, который имеет наилучшую оценку. Модель возвращает вам начальную и конечную позиции ответа для каждого признака, созданного одним примером, а вам остается только сопоставить их с промежутком в контексте, чтобы выбрать тот, который набрал наибольшую оценку. Модель генерирует ответ, а вам остается только декодировать его.

←Освоение NLP

Next chapter

Тест в конце главы 1. Какую из следующих задач можно сформулировать как проблему классификации токенов? 2. Какая часть предварительной обработки для классификации токенов отличается от других конвейеров предварительной обработки? 3. Какая проблема возникает при токенизации слов в проблеме классификации токенов и при необходимости их маркировки? 4. Что означает “доменная адаптация”? 5. Что такое метки в проблеме маскированного языкового моделирования? 6. Какую из этих задач можно рассматривать как проблему преобразования последовательности-в-последовательность (sequence-to-sequence problem)? 7. Каков правильный способ предварительной обработки данных для проблемы преобразования последовательности-в-последовательность? 8. Почему существует специальный подкласс Trainer для проблем преобразования ” последовательности-в-последовательность”? 9. Почему при вызове compile() для модели трансформера часто нет необходимости определять потери? 10. Когда следует проводить предварительное обучение новой модели? 11. Почему легко провести предварительное обучение языковой модели на большом количестве текстов? 12. Какие основные проблемы возникают при предварительной обработке данных для задачи ответа на вопрос (question answering)? 13. Как обычно выполняется постобработка в задаче ответов на вопросы?