|
--- |
|
license: mit |
|
language: |
|
- ru |
|
tags: |
|
- spellchecking |
|
- NLP |
|
- FredT5 |
|
- pytorch |
|
- 'natural language generation ' |
|
--- |
|
|
|
# FRED-T5-large-spell model |
|
|
|
### Summary |
|
The model corrects spelling errors and typos by bringing all the words in the text to the norm of the Russian language. |
|
The proofreader was trained based on the [FredT5-large](https://huggingface.co/ai-forever/FRED-T5-large) model. |
|
An extensive dataset with “artificial” errors was taken as a training corpus: the corpus was assembled on the basis of the Russian-language Wikipedia and transcripts of Russian-language videos, then typos and spelling errors were automatically introduced into it using the functionality of the [SAGE] library (https://github.com /orgs/ai-forever/sage). |
|
|
|
### Articles and speeches |
|
- [Speech about the SAGE library](https://youtu.be/yFfkV0Qjuu0), DataFest 2023 |
|
- [Article about synthetic error generation methods](https://www.dialog-21.ru/media/5914/martynovnplusetal056.pdf), Dialogue 2023 |
|
- [Article about SAGE and our best solution](https://arxiv.org/abs/2308.09435), Review EACL 2024 |
|
|
|
### Examples |
|
*Examples are given with default generation parameters |
|
| Input | Output | |
|
| --- | --- | |
|
| Думю ешцъа лет череа 10 ретроспективно просматривотьэ то будкетцц мне невероя тна ин те р но | Думаю еще лет через 10 ретроспективно просматривать это будет мне невероятно интересно. Думаю это лет через 10 ретроспективно просматривать это будет мне невероятно интересно. | |
|
| Основая цель мероприятия - практическая отработка навыков по оказанию помощи гражданам, попавшим в ДТП, а также повышение и совершенствование уровня профессиональной подготовки сотрудников МЧС при проведении аварийно-спасательных работ по ликвидации последствий дорожно-транспортных проишествий, сокращение временных показателей реагирования. | Основная цель мероприятия - практическая отработка навыков по оказанию помощи гражданам, попавшим в ДТП, а также повышение и совершенствование уровня профессиональной подготовки сотрудников МЧС при проведении аварийно-спасательных работ по ликвидации последствий дорожно-транспортных происшествий, сокращение временных показателей реагирования. Основная цель мероприятия | |
|
| прийдя в МГТУ я был удивлен никого необноружив там… | прийдя в МГТУ я был удивлен никого не обнаружив там.. «при | |
|
|
