Update app.py

app.py

@@ -270,7 +270,7 @@ def create_assistant_suche(prompt):
 #########################################################
 #Funktion wird direkt aufgerufen aus der GUI - von hier muss auch die Rückmeldung kommen....
 #man kann einen Text-Prompt eingeben (mit oder ohne RAG), dazu ein Image hochladen, ein Bild zu einem reinen textprompt erzeugen lassen
-def generate_auswahl(prompt_in, file, file_history, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,):
+def generate_auswahl(prompt_in, file, file_history, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,top_k=35):
         global splittet, db
         #wenn RAG angeschaltet - Vektorstore initialisieren
         #aber nur, wenn es noch nicht geshehen ist (splittet = False)
@@ -294,7 +294,7 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, rag_option
         #kein Bild hochgeladen -> auf Text antworten...
         status = "Antwort der KI ..."
         if (file == None and file_history == None):
-            result, status = generate_text(prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,)
+            result, status = generate_text(prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,, top_k=35)
             history = history + [[prompt, result]]
         else:
             #Es wurde ein File neu angehängt -> wenn prompt dazu, das Bild analysieren
@@ -398,7 +398,7 @@ def generate_text_zu_doc(file, prompt, k, rag_option, chatbot, history, db):
 ####################################################
 #aus einem Text-Prompt die Antwort von KI bekommen
 #mit oder ohne RAG möglich
-def generate_text (prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,):
+def generate_text (prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,, top_k=35):
     global splittet
     suche_im_Netz="Antwort der KI ..."
     print("Text pur..............................")
@@ -434,7 +434,7 @@ def generate_text (prompt, chatbot, history, rag_option, model_option, openai_ap
         else:
             #oder an Hugging Face --------------------------
             print("HF Anfrage.......................")
-            model_kwargs={"temperature": 0.5, "max_length": 128, "num_return_sequences": 2}
+            model_kwargs={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}
             llm = HuggingFaceHub(repo_id=repo_id, model_kwargs=model_kwargs) 
             #llm = HuggingFaceChain(model=MODEL_NAME_HF, model_kwargs={"temperature": 0.5, "max_length": 128}) 
             #llm = HuggingFaceHub(url_??? = "https://wdgsjd6zf201mufn.us-east-1.aws.endpoints.huggingface.cloud", model_kwargs={"temperature": 0.5, "max_length": 64}) 
@@ -563,6 +563,15 @@ with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
                             label="Top-p",
                             visible=False,
                         )
+                        top_k = gr.Slider(
+                            minimum=1,
+                            maximum=100,
+                            value=35,
+                            step=1,
+                            interactive=True,
+                            label="Top-k",
+                            visible=False,
+                        )
                         temperature = gr.Slider(
                             minimum=0.1,
                             maximum=2.0,
@@ -651,7 +660,8 @@ with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
             temperature,
             max_length_tokens,
             max_context_length_tokens,
-            repetition_penalty
+            repetition_penalty,
+            top_k
         ],
         outputs=[chatbot, history, attached_file, attached_file_history, status_display], 
         show_progress=True,