Update app.py

app.py

@@ -147,26 +147,34 @@ def add_text(chatbot, history, prompt, file):
     print(chatbot)
     return chatbot, history, prompt, "", gr.File( label=None, interactive=False,  height=20, min_width=20, visible=False, scale=2) #gr.Textbox(value="", interactive=False)
     
-
+############################################
+#nach dem Upload soll das zusätzliche Fenster mit dem image drinnen angezeigt werden
 def file_anzeigen(file):
     return gr.File(visible=True), file
 
+##########################################
+#Hilfsfunktion, um ein von Stable Diffusion erzeugtes Bild für die Ausgabe in der History vorzubereiten
 def umwandeln_fuer_anzeige(image):
         buffer = io.BytesIO()  
         image.save(buffer, format='PNG')
         return buffer.getvalue()
 
-
+#########################################
+#nicht im Einsatz, da Stable Diffusion die Bilder erzeugt
+def create_picture(history,  prompt):
+    client = OpenAI()
+    response = client.images.generate(model="dall-e-3", prompt=prompt,size="1024x1024",quality="standard",n=1,)
+    image_url = response.data[0].url
+    # using requests library to get the image in bytes 
+    response2 = requests.get(image_url) 
+    # using the Image module from PIL library to view the image 
+    image = Image.open(response2.raw)
+    return image
+
+##########################################
+#ein hochgeladenes Bild so vorbereiten, dass OpenAI API es annehmen kann und bearbeiten
+#muss ein base64 Bils sein und header und payload entsprechend konfigurieren
 def process_image(image_path, prompt):
-    #Bild aus tmp in Space ablegen
-    #temp_image_path = "/tmp/gradio/01834b95fcf793903d65ab947cc410dc1600d0df/bbb 1.png"
-    # Zielverzeichnis für das dauerhafte Bild
-    #target_directory = HISTORY_PFAD
-    # Ziel-Pfad für das dauerhafte Bild
-    #target_image_path = os.path.join(target_directory, "bbb 1.png")
-    # Kopieren Sie das temporäre Bild in das Zielverzeichnis
-    #shutil.copy(temp_image_path, target_image_path)
-
     # Convert image to base64
     with open(image_path, "rb") as image_file:
         encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
@@ -201,7 +209,8 @@ def process_image(image_path, prompt):
     }   
     return headers, payload
 
-
+###################################################
+#zur Zeit nicht im Gebrauch
 def transfer_input(inputs):
     textbox = reset_textbox()
     return (
@@ -210,6 +219,9 @@ def transfer_input(inputs):
         gr.Button.update(visible=True),
     )
 ##################################################
+#RAG Hilfsfunktionen - Dokumenten bearbeiten für Vektorstore
+##################################################
+##################################################
 # Funktion, um für einen best. File-typ ein directory-loader zu definieren
 def create_directory_loader(file_type, directory_path):
     #verscheidene Dokument loaders:
@@ -222,7 +234,7 @@ def create_directory_loader(file_type, directory_path):
         glob=f"**/*{file_type}",
         loader_cls=loaders[file_type],
     )
-    
+################################################    
 #die Inhalte splitten, um in Vektordatenbank entsprechend zu laden als Splits
 def document_loading_splitting():
     global splittet
@@ -262,6 +274,7 @@ def document_loading_splitting():
     splittet = True
     return splits
 
+###########################################
 #Chroma DB die splits ablegen - vektorisiert...
 def document_storage_chroma(splits):
     #OpenAi embeddings----------------------------------
@@ -276,7 +289,7 @@ def document_storage_mongodb(splits):
                                             embedding = OpenAIEmbeddings(disallowed_special = ()),
                                             collection = MONGODB_COLLECTION,
                                             index_name = MONGODB_INDEX_NAME)
-
+############################################
 #dokumente in chroma db vektorisiert ablegen können - die Db vorbereiten daüfur
 def document_retrieval_chroma(llm, prompt):  
     #OpenAI embeddings -------------------------------
@@ -291,7 +304,7 @@ def document_retrieval_chroma(llm, prompt):
     #ChromaDb um die embedings zu speichern
     db = Chroma(embedding_function = embeddings, persist_directory = PATH_WORK + CHROMA_DIR)
     return db
-
+###########################################
 #dokumente in mongo db vektorisiert ablegen können - die Db vorbereiten daüfür
 def document_retrieval_mongodb(llm, prompt):
     db = MongoDBAtlasVectorSearch.from_connection_string(MONGODB_URI,
@@ -302,13 +315,14 @@ def document_retrieval_mongodb(llm, prompt):
 
 ###############################################
 #Langchain anlegen
-
+###############################################
 #langchain nutzen, um prompt an LLM zu leiten - llm und prompt sind austauschbar
 def llm_chain(llm, prompt):
     llm_chain = LLMChain(llm = llm, prompt = LLM_CHAIN_PROMPT)
     result = llm_chain.run({"question": prompt})
     return result
 
+#############################################
 #langchain nutzen, um prompt an llm zu leiten, aber vorher in der VektorDB suchen, um passende splits zum Prompt hinzuzufügen
 def rag_chain(llm, prompt, db):
     rag_chain = RetrievalQA.from_chain_type(llm, 
@@ -340,24 +354,7 @@ def generate_prompt_with_history(text, history, max_length=4048):
     else:
         return None
 
-def generate_prompt_and_file_with_history(text, history, file):
-    #prompt = "The following is a conversation between a human and an AI assistant named Baize (named after a mythical creature in Chinese folklore). Baize is an open-source AI assistant developed by UCSD and Sun Yat-Sen University. The human and the AI assistant take turns chatting. Human statements start with [|Human|] and AI assistant statements start with [|AI|]. The AI assistant always provides responses in as much detail as possible, and in Markdown format. The AI assistant always declines to engage with topics, questions and instructions related to unethical, controversial, or sensitive issues. Complete the transcript in exactly that format.\n[|Human|]Hello!\n[|AI|]Hi!"   
-    #prompt = "Das folgende ist eine Unterhaltung in deutsch zwischen einem Menschen und einem KI-Assistenten, der Baize genannt wird. Baize ist ein open-source KI-Assistent, der von UCSD entwickelt wurde. Der Mensch und der KI-Assistent chatten abwechselnd miteinander in deutsch. Die Antworten des KI Assistenten sind immer so ausführlich wie möglich und in Markdown Schreibweise und in deutscher Sprache. Wenn nötig übersetzt er sie ins Deutsche. Die Antworten des KI-Assistenten vermeiden Themen und Antworten zu unethischen, kontroversen oder sensiblen Themen. Die Antworten sind immer sehr höflich formuliert..\n[|Human|]Hallo!\n[|AI|]Hi!"   
-    prompt=""
-    history = ["\n{}\n{}".format(x[0],x[1]) for x in history]
-    history.append("\n{}\n".format(text))
-    history_text = ""
-    flag = False
-    for x in history[::-1]:
-            history_text = x + history_text
-            flag = True
-    print ("Prompt: ..........................")
-    print(prompt+history_text)
-    if flag:
-        return  prompt+history_text
-    else:
-        return None
-
+##############################################
 #Prompt und History für OPenAi Schnittstelle
 def generate_prompt_with_history_openai(prompt, history):
     history_openai_format = []
@@ -370,6 +367,7 @@ def generate_prompt_with_history_openai(prompt, history):
     print(history_openai_format)
     return history_openai_format
 
+#############################################
 #Prompt und History für Hugging Face Schnittstelle
 def generate_prompt_with_history_hf(prompt, history):
     history_transformer_format = history + [[prompt, ""]]
@@ -378,6 +376,7 @@ def generate_prompt_with_history_hf(prompt, history):
     messages = "".join(["".join(["\n<human>:"+item[0], "\n<bot>:"+item[1]])  #curr_system_message +
                 for item in history_transformer_format])
 
+##############################################
 #Prompt und History für Langchain Schnittstelle
 def generate_prompt_with_history_langchain(prompt, history):
     history_langchain_format = []
@@ -391,37 +390,12 @@ def generate_prompt_with_history_langchain(prompt, history):
 
 ###################################################
 #Funktion von Gradio aus, die den dort eingegebenen Prompt annimmt und weiterverarbeitet
-#erstmal gucken, ob text oder Bild angekommen ist
-def chatbot_response(messages):
-    print("messages.......................")
-    print(messages)
-    responses = []
-    for message in messages:
-        if message['type'] == 'text':
-            #invoke(message['data'], history, rag_option, model_option, openai_api_key,  temperature=0.5, max_new_tokens=4048, top_p=0.6, repetition_penalty=1.3,)
-            responses.append({'type': 'text', 'data': f"Echo: {message['data']}"})
-        else:
-            print("Bild.............................")
-    return responses
-
-def create_picture(history,  prompt):
-    client = OpenAI()
-    response = client.images.generate(model="dall-e-3", prompt=prompt,size="1024x1024",quality="standard",n=1,)
-    image_url = response.data[0].url
-    return image_url
-
-# prompt describing the desired image 
-#text = "batman art in red and blue color"
-# calling the custom function "generate" 
-# saving the output in "url1" 
-#url1 = create_picture(text) 
-# using requests library to get the image in bytes 
-#response = requests.get(url1) 
-# using the Image module from PIL library to view the image 
-#Image.open(response.raw)
-
+###################################################
 
 
+#########################################################
+#Funktion wird direkt aufgerufen aus der GUI - von hier muss auch die Rückmeldung kommen....
+#man kann einen Text-Prompt eingeben (mit oder ohne RAG), dazu ein Image hochladen, ein Bild zu einem reinen textprompt erzeugen lassen
 def generate_auswahl(prompt, file, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,):
     #Bild nach Anweisung zeichnen und in History darstellen...
     if (prompt.find('zeichnen') != -1):
@@ -432,7 +406,7 @@ def generate_auswahl(prompt, file, chatbot, history, rag_option, model_option, o
         image_64 = umwandeln_fuer_anzeige(image)
         chatbot[-1][1] =  "<img src='data:image/png;base64,{0}'/>".format(b64encode(image_64).decode('utf-8')) 
         history = history + [(prompt, result)]  
-        return chatbot, history, "Success"
+        return chatbot, history, gr.File(visible=False), "Success"
     else:
         #kein Bild hochgeladen -> auf Text antworten...
         if (file == None):
@@ -442,19 +416,12 @@ def generate_auswahl(prompt, file, chatbot, history, rag_option, model_option, o
         else:
             #Es wurde ein Bild angehängt -> wenn prompt dazu, das Bild analysieren
             #geht nur über spezielle OpenAI-Schnittstelle...
-            headers, payload = process_image(file, prompt)
-            response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
-            #als json ausgeben
-            data = response.json()
-            #in Wörterbuch umwandeln
-            #data = json.loads(j_string)
-            # Den "content" auswählen, da dort die Antwort der Ki enthalten ist
-            result = data['choices'][0]['message']['content']
+            result= generate_text_zu_bild(file, prompt)
             history = history + [((file,), None),(prompt, result)]
             
         chatbot[-1][1] = result
          
-        return chatbot, history, "Success" 
+        return chatbot, history, gr.File(visible=False), "Success" 
         """ 
         for character in result:
             history[-1][1] += character
@@ -467,13 +434,28 @@ def generate_auswahl(prompt, file, chatbot, history, rag_option, model_option, o
                 except:
                     pass
         """
-
+##################################################
+#zu einem Text-Prompt ein Bild via Stable Diffusion generieren
 def generate_bild(prompt):
     data = {"inputs": prompt}
     response = requests.post(API_URL, headers=HEADERS, json=data)
     print("fertig Bild")
     return response
 
+##################################################
+#zu einem Bild und Text-Prompt eine Analyse generieren
+def generate_text_zu_bild(file, prompt):
+    headers, payload = process_image(file, prompt)
+    response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
+    #als json ausgeben
+    data = response.json()
+    # Den "content" auswählen, da dort die Antwort der Ki enthalten ist
+    result = data['choices'][0]['message']['content']
+    return result
+
+####################################################
+#aus einem Text-Prompt die Antwort von KI bekommen
+#mit oder ohne RAG möglich
 def generate_text (prompt, file, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,):
     global splittet
     print(splittet)
@@ -506,7 +488,6 @@ def generate_text (prompt, file, chatbot, history, rag_option, model_option, ope
             #Anfrage an OpenAI ----------------------------
             print("OpenAI normal.......................")
             llm = ChatOpenAI(model_name = MODEL_NAME,  openai_api_key = openai_api_key, temperature=temperature)#, top_p = top_p) 
-            print("openAI")
         else:
             #oder an Hugging Face --------------------------
             llm = HuggingFaceHub(repo_id=repo_id, model_kwargs={"temperature": 0.5, "max_length": 128}) 
@@ -522,6 +503,7 @@ def generate_text (prompt, file, chatbot, history, rag_option, model_option, ope
                 splits = document_loading_splitting()
                 document_storage_chroma(splits)
             db = document_retrieval_chroma(llm, history_text_und_prompt)
+            print("LLM aufrufen mit RAG: ...........")
             result = rag_chain(llm, history_text_und_prompt, db)
         elif (rag_option == "MongoDB"):
             #splits = document_loading_splitting()
@@ -532,7 +514,6 @@ def generate_text (prompt, file, chatbot, history, rag_option, model_option, ope
             print("LLM aufrufen ohne RAG: ...........")
             result = llm_chain(llm, history_text_und_prompt)
             
-
     except Exception as e:
         raise gr.Error(e)
 
@@ -585,7 +566,7 @@ with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
             with gr.Row():
                 emptyBtn = gr.ClearButton( [user_input, chatbot], value="🧹 Neue Session", scale=3)  
                 upload = gr.UploadButton("📁", file_types=["image", "video", "audio"], scale=3)
-                file_display = gr.File( label=None, interactive=False,  height=50, min_width=30, visible=False, scale=2)
+                file_display = gr.File( label=None, interactive=False,  height=30, min_width=30, visible=False, scale=2)
 
         with gr.Column():
             with gr.Column(min_width=50, scale=1):
@@ -649,7 +630,7 @@ with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
             max_context_length_tokens,
             repetition_penalty
         ],
-        outputs=[chatbot, history,  status_display], #[chatbot, history,  status_display]
+        outputs=[chatbot, history, file_display, status_display], #[chatbot, history,  status_display]
         show_progress=True,
     )
 
@@ -678,65 +659,3 @@ demo.queue().launch(debug=True)
 
 
 
-"""
-additional_inputs = [
-    #gr.Radio(["Off", "Chroma", "MongoDB"], label="Retrieval Augmented Generation", value = "Off"),
-    gr.Radio(["Aus", "An"], label="RAG - LI Erweiterungen", value = "Aus"),
-    gr.Radio(["OpenAI", "HuggingFace"], label="Modellauswahl", value = "HuggingFace"),
-    gr.Textbox(label = "OpenAI API Key", value = "sk-", lines = 1), 
-    gr.Slider(label="Temperature", value=0.65, minimum=0.0, maximum=1.0, step=0.05, interactive=True, info="Höhere Werte erzeugen diversere Antworten", visible=True),
-    gr.Slider(label="Max new tokens", value=1024, minimum=0, maximum=4096, step=64, interactive=True, info="Maximale Anzahl neuer Tokens", visible=True),
-    gr.Slider(label="Top-p (nucleus sampling)", value=0.6, minimum=0.0, maximum=1, step=0.05, interactive=True, info="Höhere Werte verwenden auch Tokens mit niedrigerer Wahrscheinlichkeit.", visible=True),
-    gr.Slider(label="Repetition penalty", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Strafe für wiederholte Tokens", visible=True)
-]
-
-with gr.Blocks() as demo:
-    reference_image  = gr.Image(label="Reference Image")
-
-    chatbot_stream = gr.Chatbot()
-
-    chat_interface_stream = gr.ChatInterface(fn=invoke, 
-                additional_inputs = additional_inputs,
-                additional_inputs_accordion = gr.Accordion(label="Weitere Eingaben...",  open=False),
-                title = "ChatGPT vom LI",
-                theme="soft",
-                chatbot=chatbot_stream,
-                retry_btn="🔄 Wiederholen",
-                undo_btn="↩️ Letztes löschen",
-                clear_btn="🗑️ Verlauf löschen",
-                submit_btn = "Abschicken",
-                description = description,
-                ) 
-    
-    gr.HTML(
-        
-        <div style="display: flex; justify-content: center; align-items: center; text-align: center;">
-        <a href="https://github.com/magic-research/magic-animate" style="margin-right: 20px; text-decoration: none; display: flex; align-items: center;">
-        </a>
-        <div>
-            <h1 >Chatbot des LI - hier im Test mit Image Eingabe</h1>
-            <div style="display: flex; justify-content: center; align-items: center; text-align: center;>
-                <a href="https://arxiv.org/abs/2311.16498"><img src="https://img.shields.io/badge/Arxiv-2311.16498-red"></a>
-            </div>
-        </div>
-        </div>
-        )
-    
-    with gr.Row():
-        prompt = gr.Textbox(
-            scale=4,
-            show_label=False,
-            placeholder="Gib einen Text ein oder lade eine Datei (Bild, File, Audio) hoch",
-            container=False,
-        )
-        btn = gr.UploadButton("📁", file_types=["image", "video", "audio"])
-
-    txt_msg = txt.submit(invoke, [chat_interface_stream, prompt], [chat_interface_stream, prompt], queue=False).then(bot, chat_interface_stream, chat_interface_stream, api_name="bot_response")
-    txt_msg.then(lambda: gr.Textbox(interactive=True), None, [prompt], queue=False)
-    file_msg = btn.upload(add_file, [chat_interface_stream, btn], [chat_interface_stream], queue=False).then(bot, chat_interface_stream, chat_interface_stream)
-
-    #chatbot_stream.like(print_like_dislike, None, None)
-
-
-demo.queue().launch() 
-"""