Update pages/gpt_v1.py

pages/gpt_v1.py

@@ -1,6 +1,8 @@
 from transformers import GPT2LMHeadModel, GPT2Tokenizer
 import torch
 import streamlit as st
+import base64
+import plotly.express as px
 
 st.markdown('## Генерация текста GPT-моделью по пользовательскому prompt')
 
@@ -10,36 +12,36 @@ model = GPT2LMHeadModel.from_pretrained(
     output_hidden_states = False,
 )
 tokenizer = GPT2Tokenizer.from_pretrained('sberbank-ai/rugpt3small_based_on_gpt2')
-
-# Вешаем сохраненные веса на нашу модель
 model.load_state_dict(torch.load('model.pt', map_location=torch.device('cpu')))
 
-prompt = st.text_input('**Введите текст:**')
-length = st.slider('**Длина генерируемой последовательности:**', 1, 256, 16)
-num_samples = st.slider('**Число генераций:**', 1, 6, 1)
-temperature = st.slider('**Температура:**', 1.0, 6.0, 1.0)
-
-def generate_text(model, tokenizer, prompt, length, num_samples, temperature):
-    input_ids = tokenizer.encode(prompt, return_tensors='pt')
-    output_sequences = model.generate(
-        input_ids=input_ids,
-        max_length=length,
-        num_return_sequences=num_samples,
-        temperature=temperature
-    )
 
-    generated_texts = []
-    for output_sequence in output_sequences:
-        generated_text = tokenizer.decode(output_sequence, clean_up_tokenization_spaces=True)
-        generated_texts.append(generated_text)
+prompt = st.text_input('Введите текст prompt:')
+length = st.slider('Длина генерируемой последовательности:', 8, 256, 15)
+num_samples = st.slider('Число генераций:', 1, 10, 1)
+temperature = st.slider('Температура:', 1.0, 10.0, 2.0)
+top_k = st.slider('Количество наиболее вероятных слов генерации:', 10, 200, 50)
+top_p = st.slider('Минимальная суммарная вероятность топовых слов:', 0.4, 1.0, 0.9)
 
-    return generated_texts
 
 if st.button('Сгенерировать текст'):
-    generated_texts = generate_text(model, tokenizer, prompt, length, num_samples, temperature)
-    for i, text in enumerate(generated_texts):
-        st.write(f'Текст {i+1}:')
-        st.write(text)
+    
+    with torch.inference_mode():
+        prompt = tokenizer.encode(prompt, return_tensors='pt')
+        out = model.generate(
+            input_ids=prompt,
+            max_length=length,
+            num_beams=5,
+            do_sample=True,
+            temperature=temperature,
+            top_k=top_k,
+            top_p=top_p,
+            no_repeat_ngram_size=3,
+            num_return_sequences=num_samples,
+            ).cpu().numpy()
+        for i, out_ in enumerate(out):
+            st.write(f'Текст {i+1}:')
+            st.write(textwrap.fill(tokenizer.decode(out_), 100))
+