koziev ilya
commited on
Commit
•
b04856c
1
Parent(s):
2f54372
adding example code
Browse files
README.md
CHANGED
@@ -64,6 +64,37 @@ widget:
|
|
64 |
```
|
65 |
|
66 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
67 |
### Контакты
|
68 |
|
69 |
Если у Вас есть какие-то вопросы по использованию этой модели, или предложения по ее улучшению - пишите мне mentalcomputing@gmail.com
|
|
|
64 |
```
|
65 |
|
66 |
|
67 |
+
### Пример использования
|
68 |
+
|
69 |
+
```
|
70 |
+
import torch
|
71 |
+
from transformers import AutoTokenizer, AutoModelForCausalLM
|
72 |
+
|
73 |
+
|
74 |
+
device = "cuda" if torch.cuda.is_available() else "cpu"
|
75 |
+
model_name = "inkoziev/rugpt_chitchat"
|
76 |
+
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
77 |
+
tokenizer.add_special_tokens({'bos_token': '<s>', 'eos_token': '</s>', 'pad_token': '<pad>'})
|
78 |
+
model = AutoModelForCausalLM.from_pretrained(model_name)
|
79 |
+
model.to(device)
|
80 |
+
model.eval()
|
81 |
+
|
82 |
+
# На вход модели подаем последние 2-3 реплики диалога. Каждая реплика на отдельной строке, начинается с символа "-"
|
83 |
+
input_text = """<s>- Привет! Что делаешь?
|
84 |
+
- Привет :) В такси еду
|
85 |
+
-"""
|
86 |
+
|
87 |
+
encoded_prompt = tokenizer.encode(input_text, add_special_tokens=False, return_tensors="pt").to(device)
|
88 |
+
|
89 |
+
output_sequences = model.generate(input_ids=encoded_prompt, max_length=100, num_return_sequences=1, pad_token_id=tokenizer.pad_token_id)
|
90 |
+
|
91 |
+
text = tokenizer.decode(output_sequences[0].tolist(), clean_up_tokenization_spaces=True)[len(input_text)+1:]
|
92 |
+
text = text[: text.find('</s>')]
|
93 |
+
print(text)
|
94 |
+
```
|
95 |
+
|
96 |
+
|
97 |
+
|
98 |
### Контакты
|
99 |
|
100 |
Если у Вас есть какие-то вопросы по использованию этой модели, или предложения по ее улучшению - пишите мне mentalcomputing@gmail.com
|