koziev ilya commited on
Commit
b04856c
1 Parent(s): 2f54372

adding example code

Browse files
Files changed (1) hide show
  1. README.md +31 -0
README.md CHANGED
@@ -64,6 +64,37 @@ widget:
64
  ```
65
 
66
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
67
  ### Контакты
68
 
69
  Если у Вас есть какие-то вопросы по использованию этой модели, или предложения по ее улучшению - пишите мне mentalcomputing@gmail.com
 
64
  ```
65
 
66
 
67
+ ### Пример использования
68
+
69
+ ```
70
+ import torch
71
+ from transformers import AutoTokenizer, AutoModelForCausalLM
72
+
73
+
74
+ device = "cuda" if torch.cuda.is_available() else "cpu"
75
+ model_name = "inkoziev/rugpt_chitchat"
76
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
77
+ tokenizer.add_special_tokens({'bos_token': '<s>', 'eos_token': '</s>', 'pad_token': '<pad>'})
78
+ model = AutoModelForCausalLM.from_pretrained(model_name)
79
+ model.to(device)
80
+ model.eval()
81
+
82
+ # На вход модели подаем последние 2-3 реплики диалога. Каждая реплика на отдельной строке, начинается с символа "-"
83
+ input_text = """<s>- Привет! Что делаешь?
84
+ - Привет :) В такси еду
85
+ -"""
86
+
87
+ encoded_prompt = tokenizer.encode(input_text, add_special_tokens=False, return_tensors="pt").to(device)
88
+
89
+ output_sequences = model.generate(input_ids=encoded_prompt, max_length=100, num_return_sequences=1, pad_token_id=tokenizer.pad_token_id)
90
+
91
+ text = tokenizer.decode(output_sequences[0].tolist(), clean_up_tokenization_spaces=True)[len(input_text)+1:]
92
+ text = text[: text.find('</s>')]
93
+ print(text)
94
+ ```
95
+
96
+
97
+
98
  ### Контакты
99
 
100
  Если у Вас есть какие-то вопросы по использованию этой модели, или предложения по ее улучшению - пишите мне mentalcomputing@gmail.com