Update app.py

app.py

@@ -1,45 +1,59 @@
 import gradio as gr
-from transformers import pipeline, set_seed
-
-# Setzen eines Seeds für Reproduzierbarkeit
-set_seed(42)
-
-# Laden des GPT-Modells mit Hugging Face Pipeline für CPU
-model = pipeline("text-generation", model="Loewolf/GPT_1", device=-1)  # device=-1 für CPU
-tokenizer = model.tokenizer
-
-def generate_text(input_text, temp, top_k, top_p, length):
-    # Textgenerierung mit spezifischen Parametern
-    generated_texts = model(input_text, max_length=length, temperature=temp, top_k=top_k, top_p=top_p, num_return_sequences=1)
-    return generated_texts[0]['generated_text']
-
-def chat_with_model(user_input, history, temperature, top_k, top_p, length, system_prompt):
-    combined_input = f"{history}\nNutzer: {user_input}\n{system_prompt}:"
-    response = generate_text(combined_input, temperature, top_k, top_p, length)
-    new_history = f"{combined_input}\n{response}"
-    return "", new_history  # Leerer String für user_input, um das Eingabefeld zurückzusetzen
+from transformers import GPT2LMHeadModel, GPT2Tokenizer
+import torch
+
+# Initialisierung des Modells und des Tokenizers
+tokenizer = GPT2Tokenizer.from_pretrained("Loewolf/GPT1")
+model = GPT2LMHeadModel.from_pretrained("Loewolf/GPT1")
+model.to("cpu")  # Stellen Sie sicher, dass das Modell auf der CPU läuft
+
+# Chat-Verlauf initialisieren
+chat_history = []
+
+def generate_text(input_text, history, temperature, top_k, top_p, max_length):
+    global chat_history
+    # Hinzufügen der neuen Eingabe zum Chat-Verlauf
+    chat_history.append(f"Nutzer: {input_text}")
+    new_input = tokenizer.encode(input_text + tokenizer.eos_token, return_tensors='pt')
+    new_input = new_input.to("cpu")  # Stellen Sie sicher, dass Tensoren auf der CPU sind
+
+    # Generieren der Antwort des Modells
+    chat_history_ids = tokenizer.encode(" ".join(chat_history) + tokenizer.eos_token, return_tensors='pt')
+    chat_history_ids = chat_history_ids.to("cpu")
+    
+    # Achten Sie auf die Größe der Tokens für das Modell
+    chat_history_ids = chat_history_ids[:, -tokenizer.model_max_length :]
+    
+    # Generieren der Antwort
+    model_output = model.generate(chat_history_ids, max_length=max_length, pad_token_id=tokenizer.eos_token_id, 
+                                  temperature=temperature, top_k=top_k, top_p=top_p)
+    
+    # Antwort in Text umwandeln
+    response = tokenizer.decode(model_output[:, chat_history_ids.shape[-1]:][0], skip_special_tokens=True)
+    chat_history.append(f"Löwolf GPT: {response}")
+    
+    # Rückgabe des aktualisierten Chat-Verlaufs
+    return " ".join(chat_history)
 
 # Erstellen der Gradio-Schnittstelle
 with gr.Blocks() as demo:
     with gr.Row():
         with gr.Column():
-            history = gr.Textbox(label="Chatverlauf", lines=10, interactive=False)
+            history = gr.Textbox(label="Chatverlauf", value=" ".join(chat_history), lines=10, interactive=False)
             user_input = gr.Textbox(label="Deine Nachricht")
             submit_btn = gr.Button("Senden")
         with gr.Column():
-            system_prompt = gr.Textbox(label="System Prompt", value="Löwolf GPT")
-            temperature = gr.Slider(minimum=0, maximum=1, step=0.01, label="Temperature", value=0.9)
+            temperature = gr.Slider(minimum=0, maximum=1, step=0.01, label="Temperature", value=0.7)
             top_k = gr.Slider(minimum=0, maximum=100, step=1, label="Top K", value=50)
             top_p = gr.Slider(minimum=0, maximum=1, step=0.01, label="Top P", value=0.9)
-            length = gr.Slider(minimum=1, maximum=100, step=1, label="Länge", value=20)
+            max_length = gr.Slider(minimum=1, maximum=100, step=1, label="Maximale Länge", value=60)
 
     submit_btn.click(
-        chat_with_model,
-        inputs=[user_input, history, temperature, top_k, top_p, length, system_prompt],
-        outputs=[user_input, history]
+        generate_text,
+        inputs=[user_input, history, temperature, top_k, top_p, max_length],
+        outputs=[history]
     )
 
 # Starten der Gradio-App
 demo.launch()
 
-