AlexWortega commited on
Commit
adec067
1 Parent(s): 9ba8915

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -4
README.md CHANGED
@@ -39,21 +39,29 @@ tags:
39
 
40
  # Model Summary
41
 
42
- > Я дообучил small rugpt на датасете инструкций, хабра, QA и кода
43
 
44
 
45
  # Quick Start
46
 
47
  ```python
48
  from transformers import pipeline
 
49
  pipe = pipeline(model='AlexWortega/instruct_rugptMedium')
50
  pipe('''Как собрать питон код?''')
51
  ```
52
  or
53
  ```python
54
- from transformers import AutoTokenizer, AutoModelForCausalLM
55
- tokenizer = AutoTokenizer.from_pretrained("AlexWortega/instruct_rugptMedium")
56
- model = AutoModelForCausalLM.from_pretrained("AlexWortega/instruct_rugptMedium")
 
 
 
 
 
 
 
57
  ```
58
  обратите внимание, что лучшие параметры для генерации
59
  ```
 
39
 
40
  # Model Summary
41
 
42
+ > Это ruGPTMedium дообученная в инструктивно-флановом сетапе, она более ли менее зирошотиться и работает лучше чем XGLM1.7b,mgpt на русском язеку
43
 
44
 
45
  # Quick Start
46
 
47
  ```python
48
  from transformers import pipeline
49
+ #в душе не ебу будет ли норм работать, ставлю жопу автора хф что токенайзер мисматчнет с моделью, вообще грузите по нормальному
50
  pipe = pipeline(model='AlexWortega/instruct_rugptMedium')
51
  pipe('''Как собрать питон код?''')
52
  ```
53
  or
54
  ```python
55
+ from transformers import GPT2TokenizerFast,GPT2LMHeadModel
56
+ tokenizer = GPT2TokenizerFast.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")
57
+ special_tokens_dict = {'additional_special_tokens': ['<code>', '</code>', '<instructionS>', '<instructionE>', '<next>']}
58
+
59
+ tokenizer.add_special_tokens(special_tokens_dict)
60
+ device = 'cuda:1'
61
+ model = GPT2LMHeadModel.from_pretrained("ckpts11/sft_0_70000/")
62
+ model.to(device)
63
+
64
+ model.resize_token_embeddings(len(tokenizer))
65
  ```
66
  обратите внимание, что лучшие параметры для генерации
67
  ```