Update app.py

app.py

@@ -49,6 +49,10 @@ splittet = False
 #für eine Session werden die chatsverläufe hier gespeichert...
 chats={}
 
+#############################################
+# Allgemeine Konstanten
+TEMP_PATH = '/tmp/gradio/01834b95fcf793903d65ab947cc410dc1600d0df/chatverlauf.txt'
+
 ##################################################
 #Für MongoDB statt Chroma als Vektorstore
 #MONGODB_URI = os.environ["MONGODB_ATLAS_CLUSTER_URI"]
@@ -160,7 +164,7 @@ def download_chats(selected_chats):
         # Diese Funktion bereitet die ausgewählten Chats zum Download vor
         data = "\n\n".join(chats[chat] for chat in selected_chats)
         # Dateipfad festlegen (hier wird die Datei im aktuellen Verzeichnis gespeichert)
-        file_path = 'data/chatverlauf.txt'
+        file_path = TEMP_PATH  #'data/chatverlauf.txt'
 
         # Datei im Schreibmodus öffnen (erstellt die Datei, wenn sie nicht existiert)
         with open(file_path, 'w') as file:
@@ -434,7 +438,7 @@ def generate_text (prompt, chatbot, history, rag_option, model_option, openai_ap
         else:
             #oder an Hugging Face --------------------------
             print("HF Anfrage.......................")
-            llm = HuggingFaceHub(repo_id=repo_id, model_kwargs={"temperature": 0.5, "max_length": 128}) 
+            llm = HuggingFaceHub(repo_id=repo_id, model_kwargs={"temperature": 0.5, "max_length": 1024}) 
             #llm = HuggingFaceChain(model=MODEL_NAME_HF, model_kwargs={"temperature": 0.5, "max_length": 128}) 
             #llm = HuggingFaceHub(url_??? = "https://wdgsjd6zf201mufn.us-east-1.aws.endpoints.huggingface.cloud", model_kwargs={"temperature": 0.5, "max_length": 64}) 
             #llm = HuggingFaceTextGenInference( inference_server_url="http://localhost:8010/", max_new_tokens=max_new_tokens,top_k=10,top_p=top_p,typical_p=0.95,temperature=temperature,repetition_penalty=repetition_penalty,)
@@ -456,9 +460,7 @@ def generate_text (prompt, chatbot, history, rag_option, model_option, openai_ap
             print("LLM aufrufen ohne RAG: ...........")
             resulti = llm_chain(llm, history_text_und_prompt)
             result = resulti.strip()
-            print("result llm ohne rag:...................")
-            print(result)
-            print("result ende .......................")
+
         #Wenn keine Antwort möglich "Ich weiß es nicht" etc., dann versuchen mit Suche im Internet.
         if (result == None or is_response_similar(result)):
             print("Suche im Netz: ...........")
@@ -699,7 +701,7 @@ with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
     
     
 demo.title = "LI-ChatBot"
-demo.queue().launch(debug=True) 
+demo.queue(default_concurrency_limit=15).launch(debug=True)