|
--- |
|
datasets: |
|
- kuznetsoffandrey/sberquad |
|
language: |
|
- ru |
|
metrics: |
|
- bleu |
|
- chrf |
|
base_model: |
|
- ai-forever/ruT5-base |
|
pipeline_tag: question-answering |
|
library_name: transformers |
|
--- |
|
|
|
|
|
# Проект: Чат-бот с использованием модели ruT5-base для ответов на вопросы |
|
|
|
## Описание |
|
Этот проект представляет собой систему, которая использует предобученную модель **ruT5-base** для генерации ответов на вопросы, основанных на предоставленном контексте. Я дообучаю модель на датасете SberQUAD, адаптируя её для задач вопросно-ответного взаимодействия на русском языке. |
|
|
|
## Датасет |
|
Я использую датасет [SberQUAD](https://huggingface.co/datasets/kuznetsoffandrey/sberquad), который содержит примеры вопросов и ответов на них в контексте различных текстов. Датасет разбит на тренировочные, валидационные и тестовые части. |
|
|
|
## Архитектура модели |
|
В качестве базовой модели используется [ruT5-base](https://huggingface.co/ai-forever/ruT5-base) — Encoder-Decoder модель, оптимизированная для задач на русском языке. Модель была дополнительно дообучена на кастомных данных для улучшения генерации ответов на основе предоставленного контекста. |
|
|
|
## Параметры обучения |
|
|
|
Для обучения использовались следующие параметры: |
|
|
|
```python |
|
output_dir="./models", |
|
optim="adafactor", |
|
num_train_epochs=1, # в идеале 2 эпохи |
|
do_train=True, |
|
gradient_checkpointing=True, |
|
bf16=True, |
|
per_device_train_batch_size=8, |
|
per_device_eval_batch_size=12, |
|
gradient_accumulation_steps=4, |
|
logging_dir="./logs", |
|
report_to="wandb", |
|
logging_steps=10, |
|
save_strategy="steps", |
|
save_steps=5000, |
|
evaluation_strategy="steps", |
|
eval_steps=300, |
|
learning_rate=3e-5, |
|
predict_with_generate=False, |
|
generation_max_length=64 |
|
``` |
|
|
|
К сожалению, мне не хватило вычислительного времени на Google Collab, поэтому модель была обучена только на одной эпохе с ~1416 шагами. |
|
## Результаты обучения |
|
|
|
| Шаг | Loss на валидации | Sbleu | Chr F | Rouge1 | Rouge2 | Rougel | |
|
|-----|-------------------|-------|-------|--------|--------|--------| |
|
| 300 | 1.025008 | 18.206400 | 62.316300 | 0.110400 | 0.035200 | 0.109800 | |
|
| 600 | 1.007530 | 18.523100 | 62.564700 | 0.113300 | 0.036500 | 0.112800 | |
|
| 900 | 0.959073 | 18.869000 | 63.001700 | 0.115100 | 0.035600 | 0.114600 | |
|
| 1200| 0.944776 | 18.656300 | 62.819800 | 0.115400 | 0.035800 | 0.115000 | |
|
|
|
|
|
|
