MaxGit32 commited on
Commit
20c069f
1 Parent(s): c013680

Update pages/llm.py

Browse files
Files changed (1) hide show
  1. pages/llm.py +6 -2
pages/llm.py CHANGED
@@ -7,6 +7,7 @@ import os
7
  from PyPDF2 import PdfReader
8
  from transformers import pipeline
9
  from transformers import AutoModel
 
10
 
11
 
12
  ###########
@@ -20,6 +21,7 @@ from transformers import AutoModel
20
 
21
  # PDF in String umwandeln
22
  def get_pdf_text(folder_path):
 
23
  text = ""
24
  # Durchsuche alle Dateien im angegebenen Verzeichnis
25
  for filename in os.listdir(folder_path):
@@ -32,7 +34,7 @@ def get_pdf_text(folder_path):
32
  text += page.extract_text()
33
  #text += '\n'
34
 
35
- return text
36
 
37
  #Chunks erstellen
38
  def get_text_chunks(text):
@@ -77,6 +79,8 @@ def get_llm_answer(user_question):
77
  #user_question = st.text_area("Stell mir eine Frage: ")
78
  #if os.path.exists("./Store"): #Nutzereingabe nur eingelesen, wenn vectorstore angelegt
79
  # Retriever sucht passende Textausschnitte in den PDFs (unformatiert)
 
 
80
  retriever=get_vectorstore().as_retriever()
81
  retrieved_docs=retriever.invoke(
82
  user_question
@@ -93,7 +97,7 @@ def get_llm_answer(user_question):
93
  # Frage beantworten mit Q&A Pipeline
94
  answer = qa_pipeline(question=user_question, context=context, max_length=200)
95
 
96
- return answer["answer"]
97
 
98
  def main():
99
  st.set_page_config(
 
7
  from PyPDF2 import PdfReader
8
  from transformers import pipeline
9
  from transformers import AutoModel
10
+ from googletrans import Translator
11
 
12
 
13
  ###########
 
21
 
22
  # PDF in String umwandeln
23
  def get_pdf_text(folder_path):
24
+ translator = Translator()
25
  text = ""
26
  # Durchsuche alle Dateien im angegebenen Verzeichnis
27
  for filename in os.listdir(folder_path):
 
34
  text += page.extract_text()
35
  #text += '\n'
36
 
37
+ return translator.translate(text, dest ='en').text
38
 
39
  #Chunks erstellen
40
  def get_text_chunks(text):
 
79
  #user_question = st.text_area("Stell mir eine Frage: ")
80
  #if os.path.exists("./Store"): #Nutzereingabe nur eingelesen, wenn vectorstore angelegt
81
  # Retriever sucht passende Textausschnitte in den PDFs (unformatiert)
82
+ translator = Translator()
83
+ translator.translate(user_question, dest='en')
84
  retriever=get_vectorstore().as_retriever()
85
  retrieved_docs=retriever.invoke(
86
  user_question
 
97
  # Frage beantworten mit Q&A Pipeline
98
  answer = qa_pipeline(question=user_question, context=context, max_length=200)
99
 
100
+ return translator.translate(answer["answer"], dest='de')
101
 
102
  def main():
103
  st.set_page_config(