bond005 commited on
Commit
687094d
1 Parent(s): 2d64671

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +430 -1
README.md CHANGED
@@ -10,7 +10,7 @@ widget:
10
  - text: >-
11
  <LM>Упрости, пожалуйста, следующий текст. Краеугольным камнем любых алгоритмов машинного обучения является, прежде всего, обобщающая способность. Когда мы обучаем некоторую модель, у нас есть обучающая выборка, у нас есть функция ошибки, и наша задача сводится, в общем-то, к оптимизационной задаче. Мы минимизируем функцию ошибки по параметрам нашей модели на обучающей выборке. Но на самом деле хотим-то мы не этого! Мы не обучающую ошибку хотим минимизировать.
12
  - text: >-
13
- <LM>Выполни саммаризацию и выдели, пожалуйста, основную мысль следующего текста. Мы хотим минимизировать ошибку на тестовых данных. Это называется задачей оценки рисков. Представим, что у нас есть некоторый алгоритм машинного обучения, который мы хотим обучить на данных. У нас есть обучающая выборка, которая состоит из примеров, на которых мы обучаем алгоритм. Каждый пример имеет некоторое количество признаков и целевую переменную. Наша задача найти параметры алгоритма, которые минимизируют ошибку на тестовых данных. Ошибка на тестовых данных возникает тогда, когда алгоритм неправильно классифицирует объекты тестовой выборки. Это может происходить по разным причинам. Например, если у нас недостаточно обучающих данных, то алгоритм может переобучиться и начать делать ошибки на новых данных. Или если алгоритм плохо настроен, то он может неправильно интерпретировать признаки и делать ошибки. Чтобы минимизировать ошибку на тестовых данных, мы можем использовать различные методы оптимизации, такие как градиентный спуск или стохастический градиентный спуск. Эти методы позволяют нам находить оптимальные значения параметров алгоритма, которые минимизируют ошибку на тестовых данных. Однако, важно понимать, что минимизация ошибки на тестовых данных не всегда является лучшей метрикой для оценки качества алгоритма. В некоторых случаях, например, при работе с большими объемами данных, может быть более подходящей метрикой точность или полнота. Поэтому важно выбирать подходящую метрику для оценки качества алгоритма в зависимости от конкретной задачи.
14
  - text: >-
15
  <LM>Найди, пожалуйста, все именованные сущности типа "Местоположение" в следующем тексте и выпиши список таких сущностей. С. Ситников - уроженец Костромы, пользуется популярностью в области.
16
  - text: >-
@@ -22,3 +22,432 @@ widget:
22
  - text: >-
23
  <LM>Дополни предложение правильной формой глагола: "Я ... (писать) письмо уже час."
24
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
10
  - text: >-
11
  <LM>Упрости, пожалуйста, следующий текст. Краеугольным камнем любых алгоритмов машинного обучения является, прежде всего, обобщающая способность. Когда мы обучаем некоторую модель, у нас есть обучающая выборка, у нас есть функция ошибки, и наша задача сводится, в общем-то, к оптимизационной задаче. Мы минимизируем функцию ошибки по параметрам нашей модели на обучающей выборке. Но на самом деле хотим-то мы не этого! Мы не обучающую ошибку хотим минимизировать.
12
  - text: >-
13
+ <LM>Выполни саммаризацию и выдели, пожалуйста, основную мысль следующего текста. В данной работе проводится сравнение предварительного обучения трансформера на текстах естественного языка и на предложениях синтетического псевдоязыка. Искусственные тексты были автоматически сгенерированы по написанным нами правилам в контекстно-свободной грамматике. Результаты дообучения на выполнение заданий проекта RussianSuperGLUE статистически достоверно показали, что модели имеют одинаковые оценки, т.е. можно считать, что использование искусственных данных дает преимущество для “безопасности” искусственного интеллекта за счет возможности полностью контролировать состав выборки. Также мы можем говорить о том, что на этапе предобучения модели типа RoBERTa достаточно научиться распознавать только синтаксические и морфологические закономерности языка, которые могут быть успешно созданы довольно таким простым способом, как контекстно-свободная грамматика.
14
  - text: >-
15
  <LM>Найди, пожалуйста, все именованные сущности типа "Местоположение" в следующем тексте и выпиши список таких сущностей. С. Ситников - уроженец Костромы, пользуется популярностью в области.
16
  - text: >-
 
22
  - text: >-
23
  <LM>Дополни предложение правильной формой глагола: "Я ... (писать) письмо уже час."
24
  ---
25
+
26
+ # FRED-T5-large-instruct-v0.1
27
+
28
+ Model was trained by [bond005](https://scholar.google.ru/citations?user=3AJKH38AAAAJ) for automatically editing text and generating answers to various questions in Russian. The solved tasks are:
29
+
30
+ 1. **asr_correction** This task is to correct errors, restore punctuation and capitalization in the ASR output (in particular, output of [Wav2Vec2-Large-Ru-Golos](https://huggingface.co/bond005/wav2vec2-large-ru-golos)).
31
+ 2. **summarization** This is an abstractive summarization of long texts.
32
+ 3. **segmentation** The purpose of this task is to divide long text into paragraphs by the `\n` character as a special separator.
33
+ 4. **simplification** This task is to transform a source sentence to become easier to read and comprehend.
34
+ 5. **ner_organization** This is variant of the "classical" named entity recognition task, designed to find and print all organizations in the text. Each organization is printed from a new line.
35
+ 6. **ner_person** This is variant of the "classical" named entity recognition task, designed to find and print all persons in the text. Each person is printed from a new line.
36
+ 7. **ner_location** This is variant of the "classical" named entity recognition task, designed to find and print all locations in the text. Each location is printed from a new line.
37
+ 8. Answering arbitrary questions and completing various instructions.
38
+
39
+ ## Usage
40
+
41
+ Each prompt (instruction to LLM) must be started from the `<LM>` special token.
42
+
43
+ | The solved task | The instruction text (in Russian) |
44
+ |------------------------|---------------------------------------------------------------------------------------------------------------------------|
45
+ | asr_correction | <LM>Исправь, пожалуйста, ошибки распознавания речи в следующем тексте. |
46
+ | summarization | <LM>Выполни саммаризацию и выдели, пожалуйста, основную мысль следующего текста. |
47
+ | segmentation | <LM>Разбей, пожалуйста, следующий текст на абзацы. |
48
+ | simplification | <LM>Упрости, пожалуйста, следующий текст. |
49
+ | ner_person | <LM>Найди, пожалуйста, все именованные сущности типа "Человек" в следующем тексте и выпиши список таких сущностей. |
50
+ | ner_location | <LM>Найди, пожалуйста, все именованные сущности типа "Местоположение" в следующем тексте и выпиши список таких сущностей. |
51
+ | ner_organization | <LM>Найди, пожалуйста, все именованные сущности типа "Организация" в следующем тексте и выпиши список таких сущностей. |
52
+ | *arbitrary questions* | <LM>*text of any question* |
53
+
54
+ You can view the code example describing the use of this model to solve all the above tasks in the corresponding [Colab notebook](https://colab.research.google.com/drive/10vX4aLm4-qllksTBEiyifgp0RFbgWxuq?usp=sharing).
55
+
56
+ ### ASR Correction
57
+
58
+ ```python
59
+ from typing import List
60
+
61
+ from transformers import T5ForConditionalGeneration
62
+ from transformers import GenerationConfig
63
+ from transformers import GPT2Tokenizer
64
+ import torch
65
+
66
+
67
+ def fix_recognition_error(texts: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
68
+ model: T5ForConditionalGeneration) -> List[str]:
69
+ nonempty_texts = []
70
+ for cur in texts:
71
+ if len(cur.strip()) > 3:
72
+ nonempty_texts.append(cur.strip())
73
+ if len(nonempty_texts) == 0:
74
+ return texts
75
+ x = tokenizer(nonempty_texts, return_tensors='pt', padding=True).to(model.device)
76
+ max_size = int(x.input_ids.shape[1] * 2.0 + 10)
77
+ out = model.generate(**x, generation_config=config, max_length=max_size)
78
+ results_for_nonempty_texts = [
79
+ ' '.join(tokenizer.decode(cur, skip_special_tokens=True).strip().split()) for cur in out
80
+ ]
81
+ united_results = []
82
+ idx = 0
83
+ for cur in texts:
84
+ if len(cur.strip()) > 3:
85
+ united_results.append(results_for_nonempty_texts[idx])
86
+ idx += 1
87
+ else:
88
+ united_results.append(cur.strip())
89
+ return united_results
90
+
91
+
92
+ ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
93
+ ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
94
+ ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
95
+ if torch.cuda.is_available():
96
+ ru_llm_model = ru_llm_model.cuda()
97
+
98
+ asr_correction_example = \
99
+ '<LM>Исправь, пожалуйста, ошибки распознавания речи в следующем тексте. ' \
100
+ 'краеугольным камнем любышь алгоритных машиного обучения является преждес его ' \
101
+ 'обобщающая способности тогда мы обучаем некоторую модель у нас есть обучающая ' \
102
+ 'выборка унаситькюмся ошибки и наша задачи сводится вообщем такомптиминационной ' \
103
+ 'задачи мы минимизируем в функцию ошибки по параметрам нашей модели на обучающие ' \
104
+ 'выбрать но на самом деле хотим там и не этого мы не обучающую ошибку хотим ' \
105
+ 'минимизировать'
106
+
107
+ output = fix_recognition_error([asr_correction_example], ru_llm_tokenizer,
108
+ ru_llm_config, ru_llm_model)[0]
109
+ print(output)
110
+ ```
111
+
112
+ ```text
113
+ Краеугольным камнем любого алгоритма машинного обучения является прежде всего обобщающая способность. Тогда мы обучаем некоторую модель, у нас есть обучающая выборка, у нас есть коэффициенты ошибки, и наша задача сводится, в общем-то, к мотивационной задаче: мы минимизируем функцию ошибки по параметрам нашей модели, на обучающей выборке, но на самом деле хотим там и не этого. Мы не обучающую ошибку хотим минимизировать.
114
+ ```
115
+
116
+ ### Summarization
117
+
118
+ ```python
119
+ from typing import List
120
+
121
+ from transformers import T5ForConditionalGeneration
122
+ from transformers import GenerationConfig
123
+ from transformers import GPT2Tokenizer
124
+ import torch
125
+
126
+ def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
127
+ model: T5ForConditionalGeneration) -> List[str]:
128
+ nonempty_answers = []
129
+ for cur in answers:
130
+ if len(cur.strip()) > 0:
131
+ nonempty_answers.append(cur)
132
+ if len(nonempty_answers) == 0:
133
+ return ['' for _ in range(len(answers))]
134
+ x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
135
+ out = model.generate(**x, generation_config=config)
136
+ questions_for_nonempty_texts = [
137
+ tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
138
+ ]
139
+ united_questions = []
140
+ idx = 0
141
+ for cur in answers:
142
+ if len(cur.strip()) > 0:
143
+ united_questions.append(questions_for_nonempty_texts[idx])
144
+ idx += 1
145
+ else:
146
+ united_questions.append('')
147
+ return united_questions
148
+
149
+
150
+ ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
151
+ ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
152
+ ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
153
+ if torch.cuda.is_available():
154
+ ru_llm_model = ru_llm_model.cuda()
155
+
156
+ summarization_example = \
157
+ '<LM>Выполни саммаризацию и выдели, пожалуйста, основную мысль следующего текста. ' \
158
+ 'В данной работе проводится сравнение предварительного обучения трансформера на ' \
159
+ 'текстах естественного языка и на предложениях синтетического псевдоязыка. ' \
160
+ 'Искусственные тексты были автоматически сгенерированы по написанным нами правилам ' \
161
+ 'в контекстно-свободной грамматике. Результаты дообучения на выполнение заданий ' \
162
+ 'проекта RussianSuperGLUE статистически достоверно показали, что модели имеют ' \
163
+ 'одинаковые оценки, т.е. можно считать, что использование искусственных данных ' \
164
+ 'дает преимущество для “безопасности” искусственного интеллекта за счет ' \
165
+ 'возможности полностью контролировать состав выборки. Также мы можем говорить ' \
166
+ 'о том, что на этапе предобучения модели типа RoBERTa достаточно научиться ' \
167
+ 'распознавать только синтаксические и морфологические закономерности языка, ' \
168
+ 'которые могут быть успешно созданы довольно таким простым способом, как ' \
169
+ 'контекстно-свободная грамматика.'
170
+
171
+ output = generate_answer([summarization_example], ru_llm_tokenizer,
172
+ ru_llm_config, ru_llm_model)[0]
173
+ print(output)
174
+ ```
175
+
176
+ ```text
177
+ В работе сравнивается предварительное обучение трансформера на текстах естественного языка и на предложениях синтетического псевдоязыка. Результаты дообучения на выполнение заданий проекта RussianSuperGLUE статистически достоверно показали, что модели имеют одинаковые оценки. Использование искусственных данных дает преимущество для безопасности искусственного интеллекта за счет возможности полностью контролировать состав выборки.
178
+ ```
179
+
180
+ ### Segmentation
181
+
182
+ ```python
183
+ from typing import List
184
+
185
+ from transformers import T5ForConditionalGeneration
186
+ from transformers import GenerationConfig
187
+ from transformers import GPT2Tokenizer
188
+ import torch
189
+
190
+ def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
191
+ model: T5ForConditionalGeneration) -> List[str]:
192
+ nonempty_answers = []
193
+ for cur in answers:
194
+ if len(cur.strip()) > 0:
195
+ nonempty_answers.append(cur)
196
+ if len(nonempty_answers) == 0:
197
+ return ['' for _ in range(len(answers))]
198
+ x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
199
+ out = model.generate(**x, generation_config=config)
200
+ questions_for_nonempty_texts = [
201
+ tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
202
+ ]
203
+ united_questions = []
204
+ idx = 0
205
+ for cur in answers:
206
+ if len(cur.strip()) > 0:
207
+ united_questions.append(questions_for_nonempty_texts[idx])
208
+ idx += 1
209
+ else:
210
+ united_questions.append('')
211
+ return united_questions
212
+
213
+
214
+ ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
215
+ ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
216
+ ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
217
+ if torch.cuda.is_available():
218
+ ru_llm_model = ru_llm_model.cuda()
219
+
220
+ segmentation_example = \
221
+ '<LM>Разбей, пожалуйста, следующий текст на абзацы. Глубокие нейронные сети за ' \
222
+ 'последнее время стали наиболее популярным инструментом для решения большинства ' \
223
+ 'задач искусственного интеллекта и особенно задач анализа и генерации текстов на ' \
224
+ 'естественном языке, относящихся к т.н. “разговорному искусственному интеллекту”. ' \
225
+ 'Это произошло по двум причинам: 1. Нейронная сеть строит обучаемую иерархию ' \
226
+ 'представлений. 2. Эта иерархия представлений является переиспользуемой между ' \
227
+ 'задачами, на чем основана известная техника переноса обучения, когда нейросетевая ' \
228
+ 'модель предварительно обучается (предобучается) на большой обучающей вы��орке ' \
229
+ 'решать ненужную задачу, для которой доступна “дешевая” или автоматическая ' \
230
+ 'разметка, а потом дообучается на малой обучающей выборке, описывающей конечную ' \
231
+ 'задачу и размеченной вручную. При этом глубокие нейронные сети, как и другие ' \
232
+ 'методы машинного обучения, могут быть неустойчивы к ряду уязвимостей и угроз, что ' \
233
+ 'создает препятствия при создании доверительного искусственного интеллекта на ' \
234
+ 'базе нейросетевого подхода.'
235
+
236
+ output = generate_answer([segmentation_example], ru_llm_tokenizer,
237
+ ru_llm_config, ru_llm_model)[0]
238
+ for it in output.split('\n'):
239
+ print(f'\n{it}\n')
240
+ ```
241
+
242
+ ```text
243
+ Глубокие нейронные сети за последнее время стали наиболее популярным инструментом для решения большинства задач искусственного интеллекта и особенно задач анализа и генерации текстов на естественном языке, относящихся к т.н. “разговорному искусственному интеллекту”. Это произошло по двум причинам:
244
+
245
+
246
+ 1. Нейронная сеть строит обучаемую иерархию представлений.
247
+
248
+
249
+ 2. Эта иерархия представлений является переиспользуемой между задачами, на чем основана известная техника переноса обучения, когда нейросетевая модель предварительно обучается (предобучается) на большой обучающей выборке решать ненужную задачу, для которой доступна “дешевая” или автоматическая разметка, а потом дообучается на малой обучающей выборке, описывающей конечную задачу и размеченной вручную.
250
+
251
+
252
+ При этом глубокие нейронные сети, как и другие методы машинного обучения, могут быть неустойчивы к ряду уязвимостей и угроз, что создает препятствия при создании доверительного искусственного интеллекта на базе нейросетевого подхода.
253
+
254
+
255
+ ```
256
+
257
+ ### Simplification
258
+
259
+ ```python
260
+ from typing import List
261
+
262
+ from transformers import T5ForConditionalGeneration
263
+ from transformers import GenerationConfig
264
+ from transformers import GPT2Tokenizer
265
+ import torch
266
+
267
+ def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
268
+ model: T5ForConditionalGeneration) -> List[str]:
269
+ nonempty_answers = []
270
+ for cur in answers:
271
+ if len(cur.strip()) > 0:
272
+ nonempty_answers.append(cur)
273
+ if len(nonempty_answers) == 0:
274
+ return ['' for _ in range(len(answers))]
275
+ x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
276
+ out = model.generate(**x, generation_config=config)
277
+ questions_for_nonempty_texts = [
278
+ tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
279
+ ]
280
+ united_questions = []
281
+ idx = 0
282
+ for cur in answers:
283
+ if len(cur.strip()) > 0:
284
+ united_questions.append(questions_for_nonempty_texts[idx])
285
+ idx += 1
286
+ else:
287
+ united_questions.append('')
288
+ return united_questions
289
+
290
+
291
+ ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
292
+ ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
293
+ ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
294
+ if torch.cuda.is_available():
295
+ ru_llm_model = ru_llm_model.cuda()
296
+
297
+ simplification_example = \
298
+ '<LM>Упрости, пожалуйста, следующий текст. ' \
299
+ 'Краеугольным камнем любых алгоритмов машинного обучения является, прежде всего, ' \
300
+ 'обобщающая способность. Когда мы обучаем некоторую модель, у нас есть обучающая ' \
301
+ 'выборка, у нас есть функция ошибки, и наша задача сводится, в общем-то, ' \
302
+ 'к оптимизационной задаче. Мы минимизируем функцию ошибки по параметрам нашей ' \
303
+ 'модели на обучающей выборке. Но на самом деле хотим-то мы не этого! ' \
304
+ 'Мы не обучающую ошибку хотим минимизировать.'
305
+
306
+ output = generate_answer([summarization_example], ru_llm_tokenizer,
307
+ ru_llm_config, ru_llm_model)[0]
308
+ print(output)
309
+ ```
310
+
311
+ ```text
312
+ Алгоритмы машинного обучения должны учитывать обобщающую способность, а не только функцию ошибки. При обучении модели мы минимизируем функцию ошибки, но не обучающую ошибку.
313
+ ```
314
+
315
+ ### Named Entity Recognition (NER)
316
+
317
+ ```python
318
+ from typing import List
319
+
320
+ from transformers import T5ForConditionalGeneration
321
+ from transformers import GenerationConfig
322
+ from transformers import GPT2Tokenizer
323
+ import torch
324
+
325
+ def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
326
+ model: T5ForConditionalGeneration) -> List[str]:
327
+ nonempty_answers = []
328
+ for cur in answers:
329
+ if len(cur.strip()) > 0:
330
+ nonempty_answers.append(cur)
331
+ if len(nonempty_answers) == 0:
332
+ return ['' for _ in range(len(answers))]
333
+ x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
334
+ out = model.generate(**x, generation_config=config)
335
+ questions_for_nonempty_texts = [
336
+ tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
337
+ ]
338
+ united_questions = []
339
+ idx = 0
340
+ for cur in answers:
341
+ if len(cur.strip()) > 0:
342
+ united_questions.append(questions_for_nonempty_texts[idx])
343
+ idx += 1
344
+ else:
345
+ united_questions.append('')
346
+ return united_questions
347
+
348
+
349
+ ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
350
+ ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
351
+ ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
352
+ if torch.cuda.is_available():
353
+ ru_llm_model = ru_llm_model.cuda()
354
+
355
+ ner_examples = [
356
+ '<LM>Найди, пожалуйста, все именованные сущности типа "Организация" в следующем ' \
357
+ 'тексте и выпиши список таких сущностей. Окончил Костромской государственный ' \
358
+ 'педагогический институт по специальности "учитель истории и обществоведения, ' \
359
+ 'методист воспитательной работы".', # organization
360
+ '<LM>Найди, пожалуйста, все именованные сущности типа "Человек" в следующем тексте ' \
361
+ 'и выпиши список таких сущностей. С. Ситников - уроженец Костромы, пользуется ' \
362
+ 'популярностью в области.', # person
363
+ '<LM>Найди, пожалуйста, все именованные сущности типа "Местоположение" в следующем ' \
364
+ 'тексте и выпиши список таких сущностей. С. Ситников - уроженец Костромы, ' \
365
+ 'пользуется популярностью в области.', # location
366
+ ]
367
+
368
+ outputs = generate_answer(ner_examples, ru_llm_tokenizer, ru_llm_config, ru_llm_model)
369
+ for it in outputs:
370
+ print(f'\n{it}')
371
+ ```
372
+
373
+ ```text
374
+
375
+ Костромской государственный педагогический институт
376
+
377
+ С. Ситников
378
+
379
+ Костромы
380
+ ```
381
+
382
+ ### Answering arbitrary questions
383
+
384
+ ```python
385
+ from typing import List
386
+
387
+ from transformers import T5ForConditionalGeneration
388
+ from transformers import GenerationConfig
389
+ from transformers import GPT2Tokenizer
390
+ import torch
391
+
392
+ def generate_answer(answers: List[str], tokenizer: GPT2Tokenizer, config: GenerationConfig,
393
+ model: T5ForConditionalGeneration) -> List[str]:
394
+ nonempty_answers = []
395
+ for cur in answers:
396
+ if len(cur.strip()) > 0:
397
+ nonempty_answers.append(cur)
398
+ if len(nonempty_answers) == 0:
399
+ return ['' for _ in range(len(answers))]
400
+ x = tokenizer(nonempty_answers, return_tensors='pt', padding=True).to(model.device)
401
+ out = model.generate(**x, generation_config=config)
402
+ questions_for_nonempty_texts = [
403
+ tokenizer.decode(cur, skip_special_tokens=True).strip().replace('\r\n', '\n') for cur in out
404
+ ]
405
+ united_questions = []
406
+ idx = 0
407
+ for cur in answers:
408
+ if len(cur.strip()) > 0:
409
+ united_questions.append(questions_for_nonempty_texts[idx])
410
+ idx += 1
411
+ else:
412
+ united_questions.append('')
413
+ return united_questions
414
+
415
+
416
+ ru_llm_tokenizer = GPT2Tokenizer.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
417
+ ru_llm_model = T5ForConditionalGeneration.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
418
+ ru_llm_config = GenerationConfig.from_pretrained('bond005/FRED-T5-large-instruct-v0.1')
419
+ if torch.cuda.is_available():
420
+ ru_llm_model = ru_llm_model.cuda()
421
+
422
+ question_about_scientific_facts = '<LM>Опишите процесс фотосинтеза.'
423
+ output = generate_answer([question_about_scientific_facts], ru_llm_tokenizer,
424
+ ru_llm_config, ru_llm_model)[0]
425
+ print(f'Вопрос: {question_about_scientific_facts[4:]}')
426
+ print(f'Ответ: {output}\n')
427
+
428
+ question_about_russian_grammar = '<LM>Дополни предложение правильной формой глагола: ' \
429
+ '"Я ... (писать) письмо уже час."'
430
+ output = generate_answer([question_about_russian_grammar], ru_llm_tokenizer,
431
+ ru_llm_config, ru_llm_model)[0]
432
+ print(f'Вопрос: {question_about_russian_grammar[4:]}')
433
+ print(f'Ответ: {output}\n')
434
+ ```
435
+
436
+ ```text
437
+ Опишите процесс фотосинтеза.
438
+ Фотосинтез - это процесс, в котором растения используют энергию света для преобразования углекислого газа и воды в глюкозу и кислород. Во время фотосинтеза светосинтетические органеллы растительной клетки - хлоропласты - преобразуют световую энергию в химическую, которая затем используется для синтеза глюкозы и других органических соединений.
439
+
440
+ Дополни предложение правильной формой глагола: "Я ... (писать) письмо уже час."
441
+ Я пишу письмо уже час.
442
+
443
+ ```
444
+
445
+ ## Limitations of FRED-T5-large-instruct-v0.1
446
+
447
+ Generate Inaccurate Code and Facts: The model may produce incorrect code snippets and statements. Users should treat these outputs as suggestions or starting points, not as definitive or accurate solutions.
448
+
449
+ Language Limitations: The model is primarily designed to understand standard Russian. Informal Russian, slang, or any other languages might pose challenges to its comprehension, leading to potential misinterpretations or errors in response.
450
+
451
+ Potential Societal Biases: FRED-T5-large-instruct-v0.1 is not entirely free from societal biases despite efforts in assuring training data safety. There's a possibility it may generate content that mirrors these societal biases, particularly if prompted or instructed to do so. I urge users to be aware of this and to exercise caution and critical thinking when interpreting model outputs.
452
+
453
+ Toxicity: The model can still produce harmful content if explicitly prompted or instructed to do so.