alexkueck commited on
Commit
da38c91
1 Parent(s): 61e8ee0

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +18 -3
app.py CHANGED
@@ -41,7 +41,6 @@ from beschreibungen import *
41
  #Validieren des PW
42
  ANTI_BOT_PW = os.getenv("VALIDATE_PW")
43
  PREPROCESSED_SPLITS=None
44
- SPLIT_TO_ORIGINAL_MAPPING = None
45
 
46
  ###############################
47
  #HF Authentifizierung
@@ -69,7 +68,8 @@ vektordatenbank = load_vectorstore()
69
  if vektordatenbank is None:
70
  print("Vektorstore neu.......................")
71
  # Initialisieren Sie den Vektorstore bei Bedarf
72
- vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING = create_vectorstore()
 
73
  else:
74
  SPLIT_TO_ORIGINAL_MAPPING = load_splits_and_metadata()
75
 
@@ -213,6 +213,19 @@ def cancel_outputing():
213
  def reset_textbox():
214
  return gr.update(value=""),""
215
 
 
 
 
 
 
 
 
 
 
 
 
 
 
216
 
217
 
218
  ####################################################
@@ -295,7 +308,8 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, anzahl_doc
295
  if vektordatenbank is None:
296
  print("db neu aufbauen!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1")
297
  #Splits zu allen Dokumenten in den Verzeichnissen erstellen
298
- vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING = create_vectorstore()
 
299
 
300
  if vektordatenbank:
301
  #Retriever erstellen, um die relevanten Slpits zu einem Prompt zu suchen.... (retrieven)
@@ -362,6 +376,7 @@ async def upload_pdf(file):
362
  await loop.run_in_executor(pool, upload_file_to_huggingface, file.name, upload_path)
363
 
364
  # Asynchrones Erstellen des Vektorstores
 
365
  await loop.run_in_executor(pool, create_vectorstore)
366
 
367
  return f"PDF '{filename}' erfolgreich hochgeladen."
 
41
  #Validieren des PW
42
  ANTI_BOT_PW = os.getenv("VALIDATE_PW")
43
  PREPROCESSED_SPLITS=None
 
44
 
45
  ###############################
46
  #HF Authentifizierung
 
68
  if vektordatenbank is None:
69
  print("Vektorstore neu.......................")
70
  # Initialisieren Sie den Vektorstore bei Bedarf
71
+ #vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
72
+ create_vectorstore()
73
  else:
74
  SPLIT_TO_ORIGINAL_MAPPING = load_splits_and_metadata()
75
 
 
213
  def reset_textbox():
214
  return gr.update(value=""),""
215
 
216
+ ################################################
217
+ # Erstellen des Vektorstores
218
+ ################################################
219
+ def create_vectorstore():
220
+ global vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING
221
+ # Splits zu allen Dokumenten in den Verzeichnissen erstellen
222
+ PREPROCESSED_SPLITS, SPLIT_TO_ORIGINAL_MAPPING = document_loading_splitting()
223
+ if PREPROCESSED_SPLITS:
224
+ # Vektordatenbank zu den Splits erstellen
225
+ vektordatenbank = document_storage_chroma(PREPROCESSED_SPLITS)
226
+ # Speichern der Splits und Metadaten
227
+ save_splits_and_metadata((PREPROCESSED_SPLITS, SPLIT_TO_ORIGINAL_MAPPING))
228
+
229
 
230
 
231
  ####################################################
 
308
  if vektordatenbank is None:
309
  print("db neu aufbauen!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1")
310
  #Splits zu allen Dokumenten in den Verzeichnissen erstellen
311
+ #vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
312
+ create_vectorstore()
313
 
314
  if vektordatenbank:
315
  #Retriever erstellen, um die relevanten Slpits zu einem Prompt zu suchen.... (retrieven)
 
376
  await loop.run_in_executor(pool, upload_file_to_huggingface, file.name, upload_path)
377
 
378
  # Asynchrones Erstellen des Vektorstores
379
+ #vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
380
  await loop.run_in_executor(pool, create_vectorstore)
381
 
382
  return f"PDF '{filename}' erfolgreich hochgeladen."