Update utils.py

utils.py

@@ -347,6 +347,7 @@ def document_retrieval_chroma(llm, prompt):
 ###############################################
 #Langchain anlegen für RAG Chaining
 ###############################################
+"""
 #langchain nutzen, um prompt an LLM zu leiten - llm und prompt sind austauschbar
 def llm_chain(llm, prompt):
     llm_chain = LLMChain(llm = llm, prompt = LLM_CHAIN_PROMPT)
@@ -358,6 +359,8 @@ def llm_chain2(llm, prompt):
     llm_chain = LLMChain(llm = llm, prompt = LLM_CHAIN_PROMPT2)
     result = llm_chain.run({"question": prompt})
     return result
+"""
+    
 #############################################
 #langchain nutzen, um prompt an llm zu leiten, aber vorher in der VektorDB suchen, um passende splits zum Prompt hinzuzufügen
 def rag_chain(llm, prompt,  retriever):
@@ -390,63 +393,19 @@ def rag_chain(llm, prompt,  retriever):
 
         #Formuliere die Eingabe für das Generierungsmodell
         input_text = f"frage: {prompt} kontext: {combined_content}"
+        
+        """
         inputs = tokenizer_rag(input_text, return_tensors="pt", max_length=1024, truncation=True)
 
         #Generiere die Antwort
         outputs = modell_rag.generate(inputs['input_ids'], max_length=150, num_beams=2, early_stopping=True)
         answer = tokenizer_rag.decode(outputs[0], skip_special_tokens=True)
+        """
 
+        #llm_chain = LLMChain(llm = llm, prompt = input_text)
+        #answer = llm_chain.run({"question": prompt})
 
-        # Erstelle das Ergebnis-Dictionary
-        result = {
-            "answer": answer,
-            "relevant_docs": most_relevant_docs
-        }
-   
-    else:
-        # keine relevanten Dokumente gefunden
-        result = {
-            "answer": "Keine relevanten Dokumente gefunden",
-            "relevant_docs": most_relevant_docs
-        }
-        
-    return result
-
-################################################################################
-#langchain nutzen, um prompt an llm zu leiten, aber vorher in der VektorDB suchen, um passende splits zum Prompt hinzuzufüge
-#hier aber mit API-URl zu einem llm auf dem HF Hub
-def rag_chain2(prompt,  retriever):
-    #Langgraph nutzen für ein wenig mehr Intelligenz beim Dokumente suchen
-    relevant_docs=[]
-    most_relevant_docs=[]
-    relevant_docs = retriever.get_relevant_documents(prompt)
-    extracted_docs = extract_document_info(relevant_docs)
-    
-    if (len(extracted_docs)>0):
-        #llm_chain = LLMChain(llm = llm, prompt = RAG_CHAIN_PROMPT)
-        #result = llm_chain.run({"context": relevant_docs, "question": prompt})
-        # Erstelle ein PromptTemplate mit Platzhaltern für Kontext und Frage
-        #RAG_CHAIN_PROMPT = PromptTemplate(template="Context: {context}\n\nQuestion: {question}\n\nAnswer:")
-
-        # Inahlte Abrufen der relevanten Dokumente
-        doc_contents = [doc["content"] for doc in extracted_docs]
-
-        #Berechne die Ähnlichkeiten und finde das relevanteste Dokument
-        question_embedding = embedder_modell.encode(prompt, convert_to_tensor=True)
-        doc_embeddings = embedder_modell.encode(doc_contents, convert_to_tensor=True)
-        similarity_scores = util.pytorch_cos_sim(question_embedding, doc_embeddings)
-        most_relevant_doc_indices = similarity_scores.argsort(descending=True).squeeze().tolist()
-
-        #Erstelle eine Liste der relevantesten Dokumente
-        most_relevant_docs = [extracted_docs[i] for i in most_relevant_doc_indices]
-
-        #Kombiniere die Inhalte aller relevanten Dokumente
-        combined_content = " ".join([doc["content"] for doc in most_relevant_docs])
-        
-        #Formuliere die Eingabe für das Generierungsmodell
-        input_text = f"frage: {prompt} kontext: {combined_content}"
-
-        answer =  query({"inputs": input_text,})
+        answer =  query(llm, {"inputs": input_text,})
 
         # Erstelle das Ergebnis-Dictionary
         result = {
@@ -464,8 +423,8 @@ def rag_chain2(prompt,  retriever):
     return result
 
 
-def query(payload):
-	response = requests.post(API_URL, headers=headers, json=payload)
+def query(api_llm, payload):
+	response = requests.post(api_llm, headers=headers, json=payload)
 	return response.json()