AlexWortega commited on
Commit
46dbd55
1 Parent(s): e7b8219

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +44 -1
README.md CHANGED
@@ -4,5 +4,48 @@ datasets:
4
  - AlexWortega/flan_translated_300k
5
  language:
6
  - ru
 
 
7
  library_name: transformers
8
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4
  - AlexWortega/flan_translated_300k
5
  language:
6
  - ru
7
+ - en
8
+ pipeline_tag: text2text-generation
9
  library_name: transformers
10
+ widget:
11
+ - text: '<SC6>Человек: Почему трава зеленая?\nОтвет: <extra_id_0>'
12
+ - text: '<SC1>Ты философ, любящий рассуждать. Продолжи диалог:\nСобеседник: Привет\nТы: <extra_id_0>'
13
+ - text: '<SC1>Ты философ, любящий рассуждать. Продолжи диалог:\nСобеседник: В чем смысл жизни?\nТы: <extra_id_0>'
14
+ - text: '<SC6>Человек: Напиши 10 распространенных ругательств.\nОтвет: <extra_id_0>'
15
+ - text: '<SC1>Ты прикольная девушка Анфиса. Продолжи диалог\nСобеседник: Привет, тебя как звать?\nТы: <extra_id_0>'
16
+ - text: '<SC1>Ты заботливая жена, говоришь со своим мужем. Продолжи диалог:\nСобеседник: Привет дорогая. Ты сделала ужин?\nТы: <extra_id_0>'
17
+ - text: '<SC6>Текст: Основными конкурентами РН Протон-М по цене и по выводимой полезной нагрузке являются американская РН Falcon 9, европейская ракета тяжёлого класса Ариан-5 компании Арианэспас и международный проект Морской старт с РН средне-тяжёлого класса Зенит. Кроме того, конкурентами по массе полезной нагрузки, выводимой на орбиту, могут считаться американские носители Атлас-5 и Дельта-4, а также японский носитель H-IIB. Тем не менее стоимость последних трёх упомянутых РН значительно превышает стоимость РН Протон-М, и поэтому они фактически не конкурируют с Протоном на рынке коммерческих запусков[145].\nВопрос: Как называется Японский носитель?\nОтвет: <extra_id_0>'
18
+ ---
19
+ import torch
20
+ import transformers
21
+
22
+ use_cuda = torch.cuda.is_available()
23
+ device = torch.device("cuda" if use_cuda else "cpu")
24
+
25
+ t5_tokenizer = transformers.GPT2Tokenizer.from_pretrained("AlexWortega/FlanFred")
26
+ t5_model = transformers.T5ForConditionalGeneration.from_pretrained("AlexWortega/FlanFred")
27
+
28
+ def generate_text(input_str, tokenizer, model, device, max_length=50):
29
+ # encode the input string to model's input_ids
30
+ input_ids = tokenizer.encode(input_str, return_tensors='pt').to(device)
31
+
32
+ # generate text
33
+ with torch.no_grad():
34
+ outputs = model.generate(input_ids=input_ids, max_length=max_length, num_return_sequences=1, temperature=0.7, do_sample=True)
35
+
36
+ # decode the output and return the text
37
+ return tokenizer.decode(outputs[0], skip_special_tokens=True)
38
+
39
+ # usage:
40
+ input_str = "Hello, how are you?"
41
+ print(generate_text(input_str, t5_tokenizer, t5_model, device))
42
+
43
+ # Metrics:
44
+ ```
45
+ | Metric | flanfred | siberianfred | fred |
46
+ | ------------- | ----- |------ |----- |
47
+ | xnli_en | 0.0 |0.0 |0.0 |
48
+ | xnli_ru | 0.0 |0.0 |0.0 |
49
+ | xwinograd_ru | 0.0 |0.0 |0.0 |
50
+ ```
51
+