Update app.py

app.py

@@ -176,7 +176,7 @@ def umwandeln_fuer_anzeige(image):
 ####################################################
 #aus einem Text-Prompt die Antwort von KI bekommen
 #mit oder ohne RAG möglich
-def generate_text (prompt, chatbot, history, vektordatenbank,  top_p=0.6, temperature=0.2, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35):
+def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0.6, temperature=0.2, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35):
     print("Text pur..............................")
     if (prompt == ""):
         raise gr.Error("Prompt ist erforderlich.")
@@ -186,14 +186,15 @@ def generate_text (prompt, chatbot, history, vektordatenbank,  top_p=0.6, temper
         print("HF Anfrage.......................")
         #model_kwargs={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}
         #llm = HuggingFaceHub(repo_id=repo_id, model_kwargs=model_kwargs) 
-        #llm = HuggingFaceChain(model=MODEL_NAME_HF, model_kwargs={"temperature": 0.5, "max_length": 128}) 
+        llm = HuggingFaceChain(model=MODEL_NAME_HF, model_kwargs={"temperature": 0.5, "max_length": 128}) 
         
         #Prompt an history anhängen und einen Text daraus machen
         history_text_und_prompt = generate_prompt_with_history(prompt, history) 
         
         #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
         print("LLM aufrufen mit RAG: ...........")
-        result = rag_chain(history_text_und_prompt, vektordatenbank, ANZAHL_DOCS)
+        #result = rag_chain(history_text_und_prompt, vektordatenbank, ANZAHL_DOCS)
+        result = rag_chain(llm, history_text_und_prompt, retriever)
         print("result regchain.....................")
         print(result)
            
@@ -305,7 +306,7 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, anzahl_doc
         #kein Bild hochgeladen -> auf Text antworten...
         status = "Antwort der KI ..."
         if (file == None and file_history == None):
-            results, status = generate_text(prompt, chatbot, history,vektordatenbank, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=3)
+            results, status = generate_text(prompt, chatbot, history,vektordatenbank, retriever, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=3)
         else:
             #Es wurde ein File neu angehängt -> das hochladen und dann Prompt bearbeiten
             #das history_fiel muss neu gesetzt werden