added german prompt templates

fixed more depreciation warnings

app_gui.py

@@ -20,7 +20,6 @@ def bot(history):
 
     #history[-1][1] = print_this #response['answer']
     # Update the history with the bot's response
-    print(*response)
     history[-1][1] = response['output']
     return history
 
@@ -53,9 +52,10 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
     with gr.Column(elem_id="col-container"):
         gr.HTML(title)  # Add the HTML title to the interface
         chatbot = gr.Chatbot([], elem_id="chatbot",
-                                     bubble_full_width=False,
-                                     avatar_images=(None, "https://dacodi-production.s3.amazonaws.com/store/87bc00b6727589462954f2e3ff6f531c.png"),
-                                     height=680,)  # Initialize the chatbot component
+                                    label="BotTina 2.0",
+                                    bubble_full_width=False,
+                                    avatar_images=(None, "https://dacodi-production.s3.amazonaws.com/store/87bc00b6727589462954f2e3ff6f531c.png"),
+                                    height=680,)  # Initialize the chatbot component
         clear = gr.Button("Clear")  # Add a button to clear the chat
 
         # Create a row for the question input

core-langchain-rag.py

@@ -39,7 +39,7 @@ import time
 # import time
 # from langchain_community.vectorstores import FAISS
 # from langchain.vectorstores.utils import filter_complex_metadata
-# from langchain_community.embeddings import HuggingFaceEmbeddings
+# from langchain_huggingface import HuggingFaceEmbeddings
 
 # # Configure the text splitter
 # text_splitter = RecursiveCharacterTextSplitter(

rag_app/agents/kb_retriever_agent.py

@@ -24,9 +24,10 @@ config = load_dotenv(".env")
 HUGGINGFACEHUB_API_TOKEN = os.getenv('HUGGINGFACEHUB_API_TOKEN')
 GOOGLE_CSE_ID = os.getenv('GOOGLE_CSE_ID')
 GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')
+LLM_MODEL = os.getenv('LLM_MODEL')
 
 # Load the model from the Hugging Face Hub
-llm = HuggingFaceEndpoint(repo_id="mistralai/Mixtral-8x7B-Instruct-v0.1", 
+llm = HuggingFaceEndpoint(repo_id=LLM_MODEL, 
                           temperature=0.1, 
                           max_new_tokens=1024,
                           repetition_penalty=1.2,
@@ -68,6 +69,6 @@ agent_worker = AgentExecutor(
     verbose=True,
     max_iterations=10,       # cap number of iterations
     #max_execution_time=60,  # timout at 60 sec
-    #return_intermediate_steps=True,
+    return_intermediate_steps=True,
     handle_parsing_errors=True,
     )

rag_app/agents/react_agent.py

@@ -12,7 +12,7 @@ from rag_app.structured_tools.agent_tools import (
 )
 
 from langchain.prompts import PromptTemplate
-from rag_app.templates.react_json_with_memory import template_system
+from rag_app.templates.react_json_with_memory_ger import template_system
 # from innovation_pathfinder_ai.utils import logger
 # from langchain.globals import set_llm_cache
 # from langchain.cache import SQLiteCache
@@ -24,13 +24,14 @@ config = load_dotenv(".env")
 HUGGINGFACEHUB_API_TOKEN = os.getenv('HUGGINGFACEHUB_API_TOKEN')
 GOOGLE_CSE_ID = os.getenv('GOOGLE_CSE_ID')
 GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')
+LLM_MODEL = os.getenv('LLM_MODEL')
 # LANGCHAIN_TRACING_V2 = "true"
 # LANGCHAIN_ENDPOINT = "https://api.smith.langchain.com"
 # LANGCHAIN_API_KEY = os.getenv('LANGCHAIN_API_KEY')
 # LANGCHAIN_PROJECT = os.getenv('LANGCHAIN_PROJECT')
 
 # Load the model from the Hugging Face Hub
-llm = HuggingFaceEndpoint(repo_id="mistralai/Mixtral-8x7B-Instruct-v0.1", 
+llm = HuggingFaceEndpoint(repo_id=LLM_MODEL, 
                           temperature=0.1, 
                           max_new_tokens=1024,
                           repetition_penalty=1.2,

rag_app/knowledge_base/build_vector_store.py

@@ -6,6 +6,7 @@ from langchain_community.vectorstores import Chroma
 #from langchain_community.embeddings.sentence_transformer import (
 #    SentenceTransformerEmbeddings,
 #)
+#from langchain_huggingface import HuggingFaceEmbeddings
 from langchain_community.retrievers import BM25Retriever
 from rag_app.knowledge_base.create_embedding import create_embeddings
 from rag_app.utils.generate_summary import generate_description, generate_keywords

rag_app/loading_data/load_S3_vector_stores.py

@@ -5,7 +5,9 @@ from botocore.client import Config
 import zipfile
 from langchain_community.vectorstores import FAISS
 from langchain_community.vectorstores import Chroma
-from langchain_huggingface import HuggingFaceEmbeddings
+from langchain_community.embeddings.sentence_transformer import (
+    SentenceTransformerEmbeddings,
+)
 from dotenv import load_dotenv
 import os
 import sys
@@ -26,10 +28,7 @@ EMBEDDING_MODEL = os.getenv("EMBEDDING_MODEL")
 model_name = EMBEDDING_MODEL
 #model_kwargs = {"device": "cuda"}
 
-embeddings = HuggingFaceEmbeddings(
-    model_name=model_name,
-#    model_kwargs=model_kwargs
-    )
+embeddings = SentenceTransformerEmbeddings(model_name=model_name)
 
 ## FAISS
 def get_faiss_vs():
@@ -68,6 +67,6 @@ def get_chroma_vs():
             zip_ref.extractall('./vectorstore/')
         print("Download and extraction completed.")
         chromadb = Chroma(persist_directory=CHROMA_DIRECTORY, embedding_function=embeddings)
-        chromadb.get()
+        #chromadb.get()
     except Exception as e:
         print(f"Error during downloading or extracting from S3: {e}", file=sys.stderr)

rag_app/structured_tools/structured_tools.py

@@ -54,9 +54,9 @@ def memory_search(query:str) -> str:
 def knowledgeBase_search(query:str) -> str:
     """Suche die interne Datenbank nach passenden Versicherungsprodukten und Informationen zu den Versicherungen"""
     # Since we have more than one collections we should change the name of this tool
-    client = chromadb.PersistentClient(
-     path=persist_directory,
-    )
+    # client = chromadb.PersistentClient(
+    #  path=persist_directory,
+    # )
     
     #collection_name="ArxivPapers"
     #store using envar
@@ -65,13 +65,13 @@ def knowledgeBase_search(query:str) -> str:
         model_name=os.getenv("EMBEDDING_MODEL"),
         )
     
-    vector_db = Chroma(
-    client=client, # client for Chroma
-    #collection_name=collection_name,
-    embedding_function=embedding_function,
-    )
-    
-    retriever = vector_db.as_retriever(search_kwargs={'k':1})
+    # vector_db = Chroma(
+    # client=client, # client for Chroma
+    # #collection_name=collection_name,
+    # embedding_function=embedding_function,
+    # )
+    vector_db = Chroma(persist_directory=persist_directory, embedding_function=embedding_function)
+    retriever = vector_db.as_retriever(search_type="mmr", search_kwargs={'k':5, 'fetch_k':10})
     # This is deprecated, changed to invoke
     # LangChainDeprecationWarning: The method `BaseRetriever.get_relevant_documents` was deprecated in langchain-core 0.1.46 and will be removed in 0.3.0. Use invoke instead.
     docs = retriever.invoke(query)
@@ -87,11 +87,11 @@ def google_search(query: str) -> str:
     websearch = GoogleSearchAPIWrapper()
     search_results:dict = websearch.results(query, 3)
     print(search_results)
-    if len(search_results)>1:
-        cleaner_sources =format_search_results(search_results)
-        parsed_csources = parse_list_to_dicts(cleaner_sources)
-        add_many(parsed_csources)
-    else:
-        cleaner_sources = search_results
+    # if len(search_results)>1:
+    #     cleaner_sources =format_search_results(search_results)
+    #     parsed_csources = parse_list_to_dicts(cleaner_sources)
+    #     add_many(parsed_csources)
+    # else:
+    #     cleaner_sources = search_results
     
     return cleaner_sources.__str__()

rag_app/templates/react_json_ger.py

@@ -1,38 +1,41 @@
 template_system = """
-Answer the following questions as best you can. You have access to the following tools:
+Du bist ein freundlicher Versicherungsexperte. Deine Aufgabe ist es, Kunden dabei zu helfen, die besten Produkte zu finden.
+Du hilfst dem Nutzer, die passenden Dokumente zu finden, die seine Fragen beantworten und Produkte und Bedingungen erklären.
+Erstelle Suchanfragen in Deutscher Sprache, um passende Dokumente in der Datenbank für die folgenden Anfragen so gut du kannst zu finden. 
+Du hast Zugriff auf die folgenden Tools:
 
 <TOOLS>
 {tools}
 </TOOLS>
 
-The way you use the tools is by specifying a json blob.
-Specifically, this json should have a `action` key (with the name of the tool to use) and a `action_input` key (with the input to the tool going here).
+Du verwendest die Tools, indem du einen JSON-Blob angibst.
+Insbesondere sollte dieser JSON einen Schlüssel „action“ (mit dem Namen des zu verwendenden Tools) und einen Schlüssel „action_input“ (mit der Eingabe für das Tool hierhin) haben.
 
-The only values that should be in the "action" field are: {tool_names}
+Die einzigen Werte, die im Feld „action“ enthalten sein sollten, sind: {tool_names}
 
-The $JSON_BLOB should only contain a SINGLE action, do NOT return a list of multiple actions. Here is an example of a valid $JSON_BLOB:
+Das $JSON_BLOB sollte nur EINE EINZIGE Aktion enthalten, gebe KEINE Liste mit mehreren Aktionen zurück. Hier ist ein Beispiel für ein gültiges $JSON_BLOB:
 
 ```
 {{
-  "action": $TOOL_NAME,
-  "action_input": $INPUT
+"action": $TOOL_NAME,
+"action_input": $INPUT
 }}
 ```
 
-ALWAYS use the following format:
+Verwende IMMER das folgende Format:
 
-Question: the input question you must answer
-Thought: you should always think about what to do
-Action:
+Frage: die Eingabefrage, die du beantworten musst
+Gedanke: Du solltest immer darüber nachdenken, was zu tun ist
+Aktion:
 ```
 $JSON_BLOB
 ```
-Observation: the result of the action
-... (this Thought/Action/Observation can repeat N times)
-Thought: I now know the final answer
-Final Answer: the final answer to the original input question
+Beobachtung: das Ergebnis der Aktion
+... (dieser Gedanke/diese Aktion/diese Beobachtung kann N-mal wiederholt werden)
+Gedanke: Ich kenne jetzt die endgültige Antwort
+Final Answer: die endgültige Antwort auf die ursprüngliche Eingabefrage
 
-Begin! Reminder to always use the exact characters `Final Answer` when responding.
+Beginne! Denke daran, beim Antworten immer die genauen Zeichen `Final Answer` zu verwenden.
 
 <NEW_INPUT>
 {input}

rag_app/templates/react_json_with_memory.py

@@ -1,4 +1,6 @@
 template_system = """
+You are a friendly insurance product advisor, your task is to help customers find the best products from Württembergische GmbH.\
+You help the user find the answers to all his questions queries. Answer in short and simple terms and offer to explain the product and terms to the user.\
 Answer the following questions as best you can. You have access to the following tools:
 
 <TOOLS>

rag_app/templates/react_json_with_memory_ger.py

@@ -0,0 +1,50 @@
+template_system = """
+Sie sind ein freundlicher Versicherungsproduktberater. Ihre Aufgabe ist es, Kunden dabei zu helfen, die besten Produkte der Württembergische GmbH zu finden.\
+Sie helfen dem Benutzer, Antworten auf alle seine Fragen zu finden. Antworten Sie kurz und einfach und bieten Sie an, dem Benutzer das Produkt und die Bedingungen zu erklären.\
+Beantworten Sie die folgenden Fragen so gut Sie können. Sie haben Zugriff auf die folgenden Tools:
+
+<TOOLS>
+{tools}
+</TOOLS>
+
+Sie verwenden die Tools, indem Sie einen JSON-Blob angeben.
+
+Insbesondere sollte dieser JSON einen Schlüssel „action“ (mit dem Namen des zu verwendenden Tools) und einen Schlüssel „action_input“ (mit der Eingabe für das Tool hierhin) haben.
+
+Die einzigen Werte, die im Feld „action“ enthalten sein sollten, sind: {tool_names}
+
+Das $JSON_BLOB sollte nur EINE EINZIGE Aktion enthalten, geben Sie KEINE Liste mehrerer Aktionen zurück. Hier ist ein Beispiel für ein gültiges $JSON_BLOB:
+
+```
+{{
+"action": $TOOL_NAME,
+"action_input": $INPUT
+}}
+```
+
+Verwenden Sie IMMER das folgende Format:
+
+Frage: die Eingabefrage, die Sie beantworten müssen
+Gedanke: Sie sollten immer darüber nachdenken, was zu tun ist
+Aktion:
+```
+$JSON_BLOB
+```
+Beobachtung: das Ergebnis der Aktion
+... (dieser Gedanke/diese Aktion/diese Beobachtung kann N-mal wiederholt werden)
+Gedanke: Ich kenne jetzt die endgültige Antwort
+Final Answer: die endgültige Antwort auf die ursprüngliche Eingabefrage
+
+Beginnen Sie! Denken Sie daran, beim Antworten immer die genauen Zeichen `Final Answer` zu verwenden.
+
+Vorheriger Gesprächsverlauf:
+<CONVERSATION_HISTORY>
+{chat_history}
+</CONVERSATION_HISTORY>
+
+<NEW_INPUT>
+{input}
+</NEW_INPUT>
+
+{agent_scratchpad}
+"""