Update app.py

app.py

@@ -33,28 +33,56 @@ DOCS_DIR = "kkg_dokumente"
 ############################################################
 ####### Hilfsfunktionen
 #alle documente den text extrahieren und die einzelen texte als dictionay zusammenstellen - mit überschrift, seitenzahl und text
-# Funktion zum Extrahieren von Text aus 
+def initialize_documents():
+    documents = []
+    if os.path.exists(DOCS_DIR):
+        for file_name in os.listdir(DOCS_DIR):
+            if file_name.endswith(".pdf"):
+                pdf_path = os.path.join(DOCS_DIR, file_name)
+                pages = extract_text_from_pdf(pdf_path)
+                documents.append({"file": file_name, "pages": pages})
+            elif file_name.endswith(".docx"):
+                docx_path = os.path.join(DOCS_DIR, file_name)
+                pages = extract_text_from_docx(docx_path)
+                documents.append({"file": file_name, "pages": pages})
+    return documents
+
+
 # Funktion zum Extrahieren des Textes aus einer PDF-Datei
 def extract_text_from_pdf(pdf_path):
     doc = fitz.open(pdf_path)
-    text = []
+    pages = []
     for page in doc:
-        text.append(page.get_text())
-    return text
+        text = page.get_text()
+        # Hier eine einfache Annahme, dass die erste Zeile der Seite die Überschrift ist
+        lines = text.split('\n')
+        header = lines[0] if lines else ''
+        content = '\n'.join(lines[1:]) if len(lines) > 1 else ''
+        pages.append({'header': header, 'content': content})
+    return pages
     
+
+
+###########################################################
+#################### Suche init ###########################
 # Dynamische Erstellung der Dokumentenliste und Extraktion der Texte
-documents = []
-for file_name in os.listdir(SAVE_DIR):
-    if file_name.endswith(".pdf"):
-        pdf_path = os.path.join(SAVE_DIR, file_name)
-        pages_text = extract_text_from_pdf(pdf_path)
-        documents.append({"file": file_name, "pages": pages_text})
+print("Martix init ........................")
+documents = initialize_documents()
 
-# TF-IDF Vectorizer vorbereiten
+# Initialisierung des Vektorizers
 vectorizer = TfidfVectorizer()
-tfidf_matrix = vectorizer.fit_transform([page for doc in documents for page in doc['pages']])
-####################################################
 
+# Extrahieren der Texte aus den Dokumentseiten
+texts = [page['content'] for doc in documents for page in doc['pages']]
+
+# Erstellen der TF-IDF-Matrix
+tfidf_matrix = vectorizer.fit_transform(texts)
+
+
+
+
+##########################################################
+############# weitere Hilsffunktionen ####################
 def search_documents(query):
     if not query:
         return [doc['file'] for doc in documents], "", []
@@ -65,7 +93,7 @@ def search_documents(query):
     
     results = []
     relevant_text = ""
-    relevant_pdfs = []
+    relevant_docs = {}
     num_pages_per_doc = [len(doc['pages']) for doc in documents]
     cumulative_pages = [sum(num_pages_per_doc[:i+1]) for i in range(len(num_pages_per_doc))]
     
@@ -74,15 +102,33 @@ def search_documents(query):
             doc_index = next(idx for idx, cumulative in enumerate(cumulative_pages) if i < cumulative)
             page_index = i if doc_index == 0 else i - cumulative_pages[doc_index-1]
             doc = documents[doc_index]
-            results.append(doc['file'])
-            page_content = doc['pages'][page_index]
-            index = page_content.lower().find(query.lower())
-            if index != -1:
-                start = max(0, index - 400)
-                end = min(len(page_content), index + 400)
-                relevant_text += f"Aus {doc['file']} (Seite {page_index + 1}):\n...{page_content[start:end]}...\n\n"
-                relevant_pdfs.append((doc['file'], page_index))
-    return results, relevant_text, relevant_pdfs
+            page = doc['pages'][page_index]
+            page_content = page['content']
+            header_content = page.get('header', '')
+            
+            # Überprüfen, ob der Suchtext in der Überschrift oder im Seiteninhalt enthalten ist
+            index_in_content = page_content.lower().find(query.lower())
+            index_in_header = header_content.lower().find(query.lower())
+            
+            if index_in_content != -1 or index_in_header != -1:
+                # Erstellen Sie einen Snippet für die Suchergebnisse
+                start = max(0, index_in_content - 400) if index_in_content != -1 else 0
+                end = min(len(page_content), index_in_content + 400) if index_in_content != -1 else len(page_content)
+                snippet = f"Aus <span class='doc-name'>{doc['file']}</span> (Seite <span class='page-number'>{page_index + 1}</span>):<br>"
+                
+                # Fügen Sie die Überschrift hinzu, falls vorhanden
+                if header_content:
+                    snippet += f"<b>Überschrift:</b> {header_content}<br>"
+                
+                snippet += f"...{page_content[start:end]}...<br><br>"
+                relevant_text += snippet
+                
+                if doc['file'] not in relevant_docs:
+                    relevant_docs[doc['file']] = []
+                relevant_docs[doc['file']].append(snippet)
+    
+    results = list(relevant_docs.keys())
+    return results, relevant_text
 
 
 
@@ -155,35 +201,33 @@ def list_pdfs():
         return []
     return [f for f in os.listdir(SAVE_DIR) if f.endswith('.pdf')]
 
-def display_pdf(selected_pdf):
-    pdf_path = os.path.join(SAVE_DIR, selected_pdf)
+######################################
+#nach relevanten suche -> download Link der passenden Dokuemtne erstellen
+def download_link(doc_name):
+    # URL für das Herunterladen der Datei
+    file_url = f"https://huggingface.co/spaces/alexkueck/kkg_suche/resolve/main/kkg_dokumente/{doc_name}?token={HF_READ}"
+    return f'<a href="{file_url}" download="{doc_name}" target="_blank">{doc_name}</a>'
+
+
+#######################################
+#Suche starten und View aktialisieren
+def search_and_update(query):
+    if not query.strip():
+        return "<div class='no-results'>Bitte geben Sie einen Suchbegriff ein.</div>", "<div class='no-results'>Bitte geben Sie einen Suchbegriff ein.</div>"
     
-    # PDF-URL im Hugging Face Space
-    encoded_pdf_name = urllib.parse.quote(selected_pdf)
-    pdf_url = f"https://huggingface.co/spaces/{REPO_ID}/resolve/main/kkg_dokumente/{encoded_pdf_name}"
+    relevant_docs, relevant_text = search_documents(query)
     
-    # PDF von der URL herunterladen
-    headers = {"Authorization": f"Bearer {HF_READ}"}
-    response = requests.get(pdf_url, headers=headers)
-    if response.status_code == 200:
-        with open(pdf_path, 'wb') as f:
-            f.write(response.content)
+    if not relevant_docs:
+        doc_links = "<div class='no-results'>Keine passenden Dokumente gefunden.</div>"
     else:
-        return None, f"Fehler beim Herunterladen der PDF-Datei von {pdf_url}"
-    
-    # PDF in Bilder umwandeln
-    document = fitz.open(pdf_path)
-    temp_dir = tempfile.mkdtemp()
-    
-    # Nur die erste Seite als Bild speichern
-    page = document.load_page(0)
-    pix = page.get_pixmap()
-    img_path = os.path.join(temp_dir, f"page_0.png")
-    pix.save(img_path)
+        doc_links = ""
+        for doc in relevant_docs:
+            doc_links += download_link(doc) + "<br>"
     
-    status = f"PDF '{selected_pdf}' erfolgreich geladen und verarbeitet."
+    if not relevant_text:
+        relevant_text = "<div class='no-results'>Kein relevanter Text gefunden.</div>"
     
-    return img_path, status
+    return doc_links, relevant_text
     
 
 ######################################################################