Upload README.md.txt

README.md.txt

@@ -0,0 +1,57 @@
+---
+language: ru
+tags:
+- exbert
+
+license: mit
+---
+
+
+# RuGPT2_Gen_Comments
+
+Предварительно обученная модель на русском языке с использованием языковой модели "sberbank-ai/rugpt3small_based_on_gpt2". 
+
+Содержимое карты этой модели было создано, чтобы дополнить предоставленную информацию и привести конкретные примеры её использования.
+
+## Описание модели
+
+RuGPT2_Gen_Comments — это модель преобразователей, предварительно обученная на массиве данных Lenta2 проекта CORUS на русском языке 
+в режиме самоконтроля. Этот означает, что он был предварительно обучен только необработанным текстам, и люди не маркировали их 
+каким-либо образом (поэтому он может использовать много общедоступных данных) с автоматическим процессом создания входных данных
+и меток из этих текстов. Точнее, его обучали угадывать следующее слово в предложении.
+
+Входные данные — это последовательности непрерывного текста определенной длины (block_size = 1048).
+
+
+### Проимер использования
+
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+tokenizer = AutoTokenizer.from_pretrained("Dmitriy007/rugpt2_gen_comments")
+model = AutoModelForCausalLM.from_pretrained("Dmitriy007/rugpt2_gen_comments")
+
+input_text = 'Ученик старшего класса лицея № 21 Иван Сидоров из города Адлер полетел в космос на планету Марс.'
+
+inputs = tokenizer(input_text, return_tensors="pt")
+model.to('cuda')
+inputs.to('cuda')
+
+input_ids = inputs["input_ids"]
+
+output = model.generate(
+input_ids,
+attention_mask=inputs["attention_mask"],
+pad_token_id=model.config.bos_token_id,
+max_length=300,
+num_beams=5,
+num_return_sequences=1,
+top_k=50,
+top_p=0.90,
+no_repeat_ngram_size=2,
+temperature=0.7,
+early_stopping=True
+)
+
+generated_text = list(map(tokenizer.decode, output))
+print(generated_text[0])
+