Update app.py

app.py

@@ -140,7 +140,7 @@ def get_conversational_rag_chain(retriever_chain):
     llm = load_model(model_name)
     
     prompt = ChatPromptTemplate.from_messages([
-      ("system", "Du bist ein freundlicher Mitarbeiter einens Call Center und beantwortest basierend auf dem Context. Benutze nur den Inhalt des Context. Antworte mit: Ich bin mir nicht sicher. Wenn die Antwort nicht aus dem Context hervorgeht. Antworte auf Deutsch, bitte? CONTEXT:\n\n{context}"),
+      ("system", "Du bist eine freundlicher Mitarbeiterin Namens Susie und arbeitest in einenm Call Center. Du beantwortest basierend auf dem Context. Benutze nur den Inhalt des Context. Antworte mit: Ich bin mir nicht sicher. Wenn die Antwort nicht aus dem Context hervorgeht. Antworte auf Deutsch, bitte? CONTEXT:\n\n{context}"),
       MessagesPlaceholder(variable_name="chat_history"),
       ("user", "{input}"),
     ])
@@ -237,11 +237,64 @@ def get_response(message, history):
 
     
 #####
-vs = get_vectorstore_from_url("https://www.bofrost.de/faq/")
-vs = get_vectorstore_from_url("https://www.bofrost.de/shop/kartoffelprodukte_5539/pommes-frites_5540/mikrowellen-pommes.html?position=7&clicked=")
-vs = get_vectorstore_from_url("https://www.bofrost.de/shop/kartoffelprodukte_5539/pommes-frites_5540/backofen-knusper-frites-1200-g.html?position=1&clicked=search")
-vs = get_vectorstore_from_url("https://www.bofrost.de/shop/laenderkueche_5573/asiatische-kueche_5574/chinesische-bratnudeln.html?emcs0=1&emcs1=Produktdetailseite&emcs2=00554&emcs3=01270&clicked=recommendation&position=2")
-vs = get_vectorstore_from_url("https://www.bofrost.de/shop/fertige-gerichte_5507/pfannengerichte_5508/westfaelisches-gruenkohlgericht.html?emcs0=98&emcs1=Produktdetailseite&emcs2=00170&emcs3=00554&clicked=recommendation&position=1")
+vs = get_vectorstore_from_url("https://globl.contact/")
+#vs = get_vectorstore_from_url("https://www.bofrost.de/shop/kartoffelprodukte_5539/pommes-frites_5540/mikrowellen-pommes.html?position=7&clicked=")
+#vs = get_vectorstore_from_url("https://www.bofrost.de/shop/kartoffelprodukte_5539/pommes-frites_5540/backofen-knusper-frites-1200-g.html?position=1&clicked=search")
+#vs = get_vectorstore_from_url("https://www.bofrost.de/shop/laenderkueche_5573/asiatische-kueche_5574/chinesische-bratnudeln.html?emcs0=1&emcs1=Produktdetailseite&emcs2=00554&emcs3=01270&clicked=recommendation&position=2")
+#vs = get_vectorstore_from_url("https://www.bofrost.de/shop/fertige-gerichte_5507/pfannengerichte_5508/westfaelisches-gruenkohlgericht.html?emcs0=98&emcs1=Produktdetailseite&emcs2=00170&emcs3=00554&clicked=recommendation&position=1")
+
+
+######
+
+########
+import requests
+from bs4 import BeautifulSoup
+from urllib.parse import urlparse, urljoin
+
+def get_links_from_page(url, visited_urls, domain_links):
+    if url in visited_urls:
+        return
+
+    if len(visited_urls) > 25:
+        return
+
+    visited_urls.add(url)
+    print(url)
+    response = requests.get(url)
+
+    if response.status_code == 200:
+        soup = BeautifulSoup(response.content, 'html.parser')
+        base_url = urlparse(url).scheme + '://' + urlparse(url).netloc
+        links = soup.find_all('a', href=True)
+
+        for link in links:
+            href = link.get('href')
+            absolute_url = urljoin(base_url, href)
+            parsed_url = urlparse(absolute_url)
+
+            if parsed_url.netloc == urlparse(url).netloc:
+                domain_links.add(absolute_url)
+                get_links_from_page(absolute_url, visited_urls, domain_links)
+
+    else:
+        print(f"Failed to retrieve content from {url}. Status code: {response.status_code}")
+
+def get_all_links_from_domain(domain_url):
+    visited_urls = set()
+    domain_links = set()
+    get_links_from_page(domain_url, visited_urls, domain_links)
+    return domain_links
+
+# Example usage:
+domain_url = 'https://globl.contact/'
+links = get_all_links_from_domain(domain_url)
+print("Links from the domain:", links)
+
+#########
+# Assuming visited_urls is a list of URLs
+for url in links:
+    vs = get_vectorstore_from_url(url)
+
 
 
 def simple(text:str):