ai-forever commited on
Commit
e069fcd
1 Parent(s): 2bd4aef

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +31 -0
README.md ADDED
@@ -0,0 +1,31 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - ru
5
+ tags:
6
+ - spellchecking
7
+ - NLP
8
+ - FredT5
9
+ - pytorch
10
+ - 'natural language generation '
11
+ ---
12
+
13
+ # FRED-T5-large-spell model
14
+
15
+ ### Summary
16
+ The model corrects spelling errors and typos by bringing all the words in the text to the norm of the Russian language.
17
+ The proofreader was trained based on the [FredT5-large](https://huggingface.co/ai-forever/FRED-T5-large) model.
18
+ An extensive dataset with “artificial” errors was taken as a training corpus: the corpus was assembled on the basis of the Russian-language Wikipedia and transcripts of Russian-language videos, then typos and spelling errors were automatically introduced into it using the functionality of the [SAGE] library (https://github.com /orgs/ai-forever/sage).
19
+
20
+ ### Articles and speeches
21
+ - [Speech about the SAGE library](https://youtu.be/yFfkV0Qjuu0), DataFest 2023
22
+ - [Article about synthetic error generation methods](https://www.dialog-21.ru/media/5914/martynovnplusetal056.pdf), Dialogue 2023
23
+ - [Article about SAGE and our best solution](https://arxiv.org/abs/2308.09435), Review EACL 2024
24
+
25
+ ### Examples
26
+ *Examples are given with default generation parameters
27
+ | Input | Output |
28
+ | --- | --- |
29
+ | Думю ешцъа лет череа 10 ретроспективно просматривотьэ то будкетцц мне невероя тна ин те р но | Думаю еще лет через 10 ретроспективно просматривать это будет мне невероятно интересно. Думаю это лет через 10 ретроспективно просматривать это будет мне невероятно интересно. |
30
+ | Основая цель мероприятия - практическая отработка навыков по оказанию помощи гражданам, попавшим в ДТП, а также повышение и совершенствование уровня профессиональной подготовки сотрудников МЧС при проведении аварийно-спасательных работ по ликвидации последствий дорожно-транспортных проишествий, сокращение временных показателей реагирования. | Основная цель мероприятия - практическая отработка навыков по оказанию помощи гражданам, попавшим в ДТП, а также повышение и совершенствование уровня профессиональной подготовки сотрудников МЧС при проведении аварийно-спасательных работ по ликвидации последствий дорожно-транспортных происшествий, сокращение временных показателей реагирования. Основная цель мероприятия |
31
+ | прийдя в МГТУ я был удивлен никого необноружив там… | прийдя в МГТУ я был удивлен никого не обнаружив там.. «при |