Update app.py

app.py

@@ -4,23 +4,23 @@ import gradio as gr
 import time
 import re
 import io
-from PIL import Image, ImageDraw, ImageOps, ImageFont
-import base64
+#from PIL import Image, ImageDraw, ImageOps, ImageFont
+#import base64
 import tempfile
 
 from PyPDF2 import PdfReader, PdfWriter
 
 
-from langchain.chains import LLMChain, RetrievalQA
+#from langchain.chains import LLMChain, RetrievalQA
 from langchain_community.document_loaders import PyPDFLoader,  UnstructuredWordDocumentLoader, DirectoryLoader
 from langchain_community.document_loaders.blob_loaders.youtube_audio import YoutubeAudioLoader
 #from langchain.document_loaders import GenericLoader
-from langchain.schema import AIMessage, HumanMessage
-from langchain_community.llms import HuggingFaceHub
+#from langchain.schema import AIMessage, HumanMessage
+#from langchain_community.llms import HuggingFaceHub
 from langchain_huggingface import HuggingFaceEndpoint
 #from langchain_community.llms import HuggingFaceEndPoints
 from langchain_huggingface import HuggingFaceEmbeddings
-from langchain_community.llms import HuggingFaceTextGenInference
+#from langchain_community.llms import HuggingFaceTextGenInference
 #from langchain_community.embeddings import HuggingFaceInstructEmbeddings, HuggingFaceEmbeddings, HuggingFaceBgeEmbeddings, HuggingFaceInferenceAPIEmbeddings
 from langchain.prompts import PromptTemplate
 from langchain.text_splitter import RecursiveCharacterTextSplitter
@@ -108,23 +108,23 @@ def clear_all(history, uploaded_file_paths, chats):
 
     #Eine Überschrift zu dem jeweiligen Chatverlauf finden - abhängig vom Inhalt
     #file_path_download = save_and_download(summary)
-    headers, payload = process_chatverlauf(summary, MODEL_NAME, OAI_API_KEY)
-    response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
+    #headers, payload = process_chatverlauf(summary, MODEL_NAME, OAI_API_KEY)
+    #response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
     #als json ausgeben
-    data = response.json()
+    #data = response.json()
     # Den "content" auswählen, da dort die Antwort der Ki enthalten ist
-    result = data['choices'][0]['message']['content']
-    worte = result.split()
-    if len(worte) > 2:
-        file_path_download = "data/" + str(len(chats)) + "_Chatverlauf.pdf"
-    else:
-        file_path_download = "data/" + str(len(chats)) + "_" + result + ".pdf"
+    #result = data['choices'][0]['message']['content']
+    #worte = result.split()
+    #if len(worte) > 2:
+        #file_path_download = "data/" + str(len(chats)) + "_Chatverlauf.pdf"
+    #else:
+        #file_path_download = "data/" + str(len(chats)) + "_" + result + ".pdf"
 
-    erstellePdf(file_path_download, result, dic_history)
+    #erstellePdf(file_path_download, result, dic_history)
 
     
     #die session variable in gradio erweitern und alle fliepath neu in das gr.File hochladen
-    uploaded_file_paths=  uploaded_file_paths + [file_path_download]
+    #uploaded_file_paths=  uploaded_file_paths + [file_path_download]
  
     return None, gr.Image(visible=False), uploaded_file_paths, [], gr.File(uploaded_file_paths, label="Download-Chatverläufe",  visible=True, file_count="multiple", interactive = False), chats
     
@@ -184,79 +184,6 @@ def cancel_outputing():
 def reset_textbox():
     return gr.update(value=""),""
 
-    
-##########################################
-#Hilfsfunktion, um ein von Stable Diffusion erzeugtes Bild für die Ausgabe in der History vorzubereiten
-def umwandeln_fuer_anzeige(image):
-    buffer = io.BytesIO()  
-    image.save(buffer, format='PNG')
-    return buffer.getvalue()
-    
-
-
-
-####################################################
-#aus einem Text-Prompt die Antwort von KI bekommen
-#mit oder ohne RAG möglich
-def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0.6, temperature=0.2, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35):
-    print("Text pur..............................")
-    if (prompt == ""):
-        raise gr.Error("Prompt ist erforderlich.")
-
-    try:
-        #oder an Hugging Face --------------------------
-        print("HF Anfrage.......................")
-        model_kwargs={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}
-        #llm = HuggingFaceHub(repo_id=repo_id, model_kwargs=model_kwargs) 
-
-        # Erstelle eine Pipeline mit den gewünschten Parametern
-        #pipe = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty})
-
-        # Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
-        llm = HuggingFaceEndpoint(
-            endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
-            api_key=hf_token,
-            model_kwargs=model_kwargs
-        )
-        
-        #Prompt an history anhängen und einen Text daraus machen
-        history_text_und_prompt = generate_prompt_with_history(prompt, history) 
-        
-        #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
-        print("LLM aufrufen mit RAG: ...........")
-        #result = rag_chain(history_text_und_prompt, vektordatenbank, ANZAHL_DOCS)
-        result = rag_chain(llm, history_text_und_prompt, retriever)
-        print("result regchain.....................")
-        print(result)
-        print("Ene result............................")
-           
-    except Exception as e:
-        raise gr.Error(e)
-
-    return result, False
-
-
-########################################
-# Bot- test gegen schädliche Bots die die Anwendung testen...
-# Funktion zur Überprüfung der Benutzereingabe
-# Funktion zur Überprüfung der Eingabe und Aktivierung der Hauptanwendung
-def validate_input(user_input_validate, validate=False):
-    user_input_hashed = hash_input(user_input_validate)
-    if user_input_hashed == hash_input(ANTI_BOT_PW):
-        return "Richtig! Weiter gehts... ", True, gr.Textbox(visible=False), gr.Button(visible=False)
-    else:
-        return "Falsche Antwort!!!!!!!!!", False, gr.Textbox(label = "", placeholder="Bitte tippen Sie das oben im Moodle Kurs angegebene Wort ein, um zu beweisen, dass Sie kein Bot sind.", visible=True, scale= 5), gr.Button("Validieren", visible = True)
-
-
-
-def custom_css():
-    return """
-    body, html {
-        background-color: #303030; /* Dunkler Hintergrund */
-        color:#353535;
-    }
-    """
-
 
 #####################################################################
 # Antwort des Vektorstores in ein Dictionary packen
@@ -298,8 +225,8 @@ def parse_vectorstore_response(response_text):
         })
     
     return parsed_entries
-    
 
+#History Eintrag vorbereiten
 def create_history_entry(page_content, metadata):
     source = metadata.get('source', 'No source available')
     page = metadata.get('page', 'No page information available')
@@ -310,9 +237,52 @@ def create_history_entry(page_content, metadata):
         "page": page,
         "download_link": download_link
     }
+    
 
 
-	
+
+####################################################
+#aus einem Text-Prompt die Antwort von KI bekommen
+def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0.6, temperature=0.2, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35):
+    print("Text pur..............................")
+    if (prompt == ""):
+        raise gr.Error("Prompt ist erforderlich.")
+
+    try:
+        #oder an Hugging Face --------------------------
+        print("HF Anfrage.......................")
+        model_kwargs={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}
+        #llm = HuggingFaceHub(repo_id=repo_id, model_kwargs=model_kwargs) 
+
+        # Erstelle eine Pipeline mit den gewünschten Parametern
+        #pipe = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty})
+
+        # Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
+        llm = HuggingFaceEndpoint(
+            endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
+            api_key=hf_token,
+            model_kwargs=model_kwargs
+        )
+        
+        #Prompt an history anhängen und einen Text daraus machen
+        history_text_und_prompt = generate_prompt_with_history(prompt, history) 
+        
+        #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
+        print("LLM aufrufen mit RAG: ...........")
+        #result = rag_chain(history_text_und_prompt, vektordatenbank, ANZAHL_DOCS)
+        result = rag_chain(llm, history_text_und_prompt, retriever)
+        print("result regchain.....................")
+        print(result)
+        print("Ende result............................")
+           
+    except Exception as e:
+        raise gr.Error(e)
+
+    return result, False
+
+
+
+##############################################################	
 #Eingaben der GUI verarbeiten	
 def generate_auswahl(prompt_in, file, file_history, chatbot, history, anzahl_docs=4, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,top_k=5,  validate=False):
     global vektordatenbank, retriever
@@ -362,7 +332,29 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, anzahl_doc
     else: #noch nicht validiert, oder kein Prompt
         return chatbot, history, None, file_history, "Erst validieren oder einen Prompt eingeben!"
             
-	
+
+
+########################################
+# Bot- test gegen schädliche Bots die die Anwendung testen...
+# Funktion zur Überprüfung der Benutzereingabe
+# Funktion zur Überprüfung der Eingabe und Aktivierung der Hauptanwendung
+def validate_input(user_input_validate, validate=False):
+    user_input_hashed = hash_input(user_input_validate)
+    if user_input_hashed == hash_input(ANTI_BOT_PW):
+        return "Richtig! Weiter gehts... ", True, gr.Textbox(visible=False), gr.Button(visible=False)
+    else:
+        return "Falsche Antwort!!!!!!!!!", False, gr.Textbox(label = "", placeholder="Bitte tippen Sie das oben im Moodle Kurs angegebene Wort ein, um zu beweisen, dass Sie kein Bot sind.", visible=True, scale= 5), gr.Button("Validieren", visible = True)
+
+
+
+def custom_css():
+    return """
+    body, html {
+        background-color: #303030; /* Dunkler Hintergrund */
+        color:#353535;
+    }
+    """
+
 	
 #############################################################################################
 # Start Gui Vorabfrage