Update README.md

README.md

@@ -21,6 +21,46 @@ First half of the time model trained on the small part of all dataset (1%,3GB) a
 For RSG, we trained as described in the T5 paper. First, we trained multitask for all tasks. Then we took the best checkpoint for the task and trained it further.
 RSG submit here https://russiansuperglue.com/login/submit_info/2060
 
-Total training time was around 35 days on 160 V100 GPUs.
+Total training time was around 35 days on 160 V100 GPUs + 5 days on 80 A100.
 
-We'll  release  checkpoint  to the public soon.
+## Usage (HuggingFace Models Repository)
+
+```python
+import torch
+from transformers import GPT2Tokenizer, T5ForConditionalGeneration 
+tokenizer = GPT2Tokenizer.from_pretrained('ai-forever/FRED-T5-1.7B',eos_token='</s>')
+model = T5ForConditionalGeneration.from_pretrained(('ai-forever/FRED-T5-1.7B')
+device='cuda'
+model.to(device)
+
+#Prefix <LM>
+lm_text='Принялся Кутузов рассказывать свою историю как он сюда попал. Началось'
+input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
+outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
+print(tokenizer.decode(outputs[0][1:]))
+
+# print result: с того, что он был в армии, служил в артиллерии.
+
+#Prefix <SC1>
+lm_text='<SC1>Принялся Кутузов рассказывать свою историю . Началось с того, что он был в армии, служил в артиллерии.'
+input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
+outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
+print(tokenizer.decode(outputs[0][1:]))
+
+#print result: '<extra_id_0>  с самого начала'
+
+# Prefix <SC6>
+lm_text='<SC6>Принялся Кутузов рассказывать свою историю . Началось с того, что он был в армии, служил в артиллерии.'
+input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
+outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True,max_length=100)
+print(tokenizer.decode(outputs[0][1:]))
+
+#print result:'<extra_id_0>.\n— Я родился в 1745 году, — начал он. — Отец мой был крестьянин, а мать — дочь священника. Отец мой был очень беден, и я с детства был предоставлен самому себе.\n— А как вы стали офицером? — спросил я.\n— Это длинная история'
+
+```
+# Authors
++ NLP core team RnD [Telegram channel](https://t.me/nlpcoreteam):
+  + Dmitry Zmitrovich 
+  + Andrei Kalmykov 
+  + Vitaly Kadulin 
+  + Mikhail Novikov