Update app.py

app.py

@@ -209,12 +209,18 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
     try:
         #oder an Hugging Face --------------------------
         print("HF Anfrage.......................")
-        #model_kwargs={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}
-        #llm = HuggingFaceHub(repo_id=repo_id, model_kwargs=model_kwargs) 
-
-        # Erstelle eine Pipeline mit den gewünschten Parametern
-        #pipe = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty})
+        #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
+        print("LLM aufrufen mit RAG: .....................................................")
+        ##############################################
+        #Verschiedene Alternativen als llm übergeben an die rag-chain
+        #############################################
+        #0. Alternative - repo ID
+        #Alternativ, wenn repro_id gegeben:
+        # Verwenden Sie die InferenceApi von huggingface_hub
+        #llm = InferenceApi(repo_id, token=hf_token)
+        #result = rag_chain(llm, history_text_und_prompt, retriever)
 
+        #1.Alternative mit Inference API
         # Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
         """
         llm = HuggingFaceEndpoint(
@@ -226,22 +232,16 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
             top_p=top_p,
             repetition_penalty=repetition_penalty
         )
+        result = rag_chain(llm, history_text_und_prompt, retriever)
         """
         
-        #######################################################
-        #Alternativ, wenn repro_id gegeben:
-        # Verwenden Sie die InferenceApi von huggingface_hub
-        llm = InferenceApi(repo_id, token=hf_token)
-
-        
-        #Prompt an history anhängen und einen Text daraus machen
-        history_text_und_prompt = generate_prompt_with_history(prompt, history) 
+        #2. Alternative: mit API_URL
+        #result = rag_chain(API_URL, history_text_und_prompt, retriever)
 
-        #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
-        print("LLM aufrufen mit RAG: ...........")
-        #result = rag_chain(history_text_und_prompt, vektordatenbank, ANZAHL_DOCS)
-        #result = rag_chain(llm, history_text_und_prompt, retriever)
-        result = rag_chain(API_URL, history_text_und_prompt, retriever)
+        #3.te Alternative für pipeline
+        # Erstelle eine Pipeline mit den gewünschten Parametern
+        llm = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 1024, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty})
+        result = rag_chain(llm, history_text_und_prompt, retriever)
            
     except Exception as e:
         raise gr.Error(e)