Update app.py

app.py

@@ -401,17 +401,6 @@ def generate_prompt_with_history_langchain(prompt, history):
 #Funktion wird direkt aufgerufen aus der GUI - von hier muss auch die Rückmeldung kommen....
 #man kann einen Text-Prompt eingeben (mit oder ohne RAG), dazu ein Image hochladen, ein Bild zu einem reinen textprompt erzeugen lassen
 def generate_auswahl(prompt, file, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,):
-    #Bild nach Anweisung zeichnen und in History darstellen...
-    if (prompt.find('zeichnen') != -1):
-        response = generate_bild(prompt)
-        result = response.content 
-        #Bild ausgeben
-        image = Image.open(io.BytesIO(result)) 
-        image_64 = umwandeln_fuer_anzeige(image)
-        chatbot[-1][1] =  "<img src='data:image/png;base64,{0}'/>".format(base64.b64encode(image_64).decode('utf-8')) 
-        history = history + [(prompt, result)]  
-        return chatbot, history, "Success"
-    else:
         #kein Bild hochgeladen -> auf Text antworten...
         if (file == None):
             result = generate_text(prompt, file, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,)
@@ -440,11 +429,19 @@ def generate_auswahl(prompt, file, chatbot, history, rag_option, model_option, o
         """
 ##################################################
 #zu einem Text-Prompt ein Bild via Stable Diffusion generieren
-def generate_bild(prompt):
+def generate_bild(prompt, chatbot, temperature=0.5, max_new_tokens=4048,top_p=0.6, repetition_penalty=1.3,):
+    #Bild nach Anweisung zeichnen und in History darstellen...
     data = {"inputs": prompt}
     response = requests.post(API_URL, headers=HEADERS, json=data)
     print("fertig Bild")
-    return response
+    result = response.content 
+    #Bild ausgeben
+    image = Image.open(io.BytesIO(result)) 
+    image_64 = umwandeln_fuer_anzeige(image)
+    chatbot.append(prompt, "<img src='data:image/png;base64,{0}'/>".format(base64.b64encode(image_64).decode('utf-8')))
+     
+
+    
 
 ##################################################
 #zu einem Bild und Text-Prompt eine Analyse generieren
@@ -552,74 +549,115 @@ with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
     history = gr.State([])
     #damit der Prompt auch nach dem upload in die History noch für predicts_args verfügbar ist
     user_question = gr.State("")
-    with gr.Row():
-        gr.HTML("LI Chatot")
-        status_display = gr.Markdown("Success", elem_id="status_display")
-    gr.Markdown(description_top)
-    with gr.Row():
-        with gr.Column(scale=5):
-            with gr.Row():
-                chatbot = gr.Chatbot(elem_id="chuanhu_chatbot",)
-            with gr.Row():
-                with gr.Column(scale=12):
-                    user_input = gr.Textbox(
-                        show_label=False, placeholder="Gib hier deinen Prompt ein...",
-                        container=False
-                    )
-                with gr.Column(min_width=70, scale=1):
-                    submitBtn = gr.Button("Senden")
-                with gr.Column(min_width=70, scale=1):
-                    cancelBtn = gr.Button("Stop")
-            with gr.Row():
-                    file_display = gr.File(visible=False)
-                    image_display = gr.Image( visible=False)
-                    upload = gr.UploadButton("📁", file_types=["image", "video", "audio"], scale = 10)
-                    emptyBtn = gr.ClearButton([user_input, chatbot, history, file_display, image_display], value="🧹 Neue Session", scale=10)  
-
-        with gr.Column():
-            with gr.Column(min_width=50, scale=1):
-                with gr.Tab(label="Parameter Einstellung"):
-                    #gr.Markdown("# Parameters")
-                    rag_option = gr.Radio(["Aus", "An"], label="RAG - LI Erweiterungen", value = "Aus")
-                    model_option = gr.Radio(["OpenAI", "HuggingFace"], label="Modellauswahl", value = "OpenAI")
-                    
-                    top_p = gr.Slider(
-                        minimum=-0,
-                        maximum=1.0,
-                        value=0.95,
-                        step=0.05,
-                        interactive=True,
-                        label="Top-p",
-                    )
-                    temperature = gr.Slider(
-                        minimum=0.1,
-                        maximum=2.0,
-                        value=0.5,
-                        step=0.1,
-                        interactive=True,
-                        label="Temperature",
-                    )
-                    max_length_tokens = gr.Slider(
-                        minimum=0,
-                        maximum=512,
-                        value=512,
-                        step=8,
-                        interactive=True,
-                        label="Max Generation Tokens",
-                    )
-                    max_context_length_tokens = gr.Slider(
-                        minimum=0,
-                        maximum=4096,
-                        value=2048,
-                        step=128,
-                        interactive=True,
-                        label="Max History Tokens",
-                    )
-                    repetition_penalty=gr.Slider(label="Repetition penalty", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Strafe für wiederholte Tokens", visible=True)
-                    anzahl_docs = gr.Slider(label="Anzahl Dokumente", value=3, minimum=1, maximum=10, step=1, interactive=True, info="wie viele Dokumententeile aus dem Vektorstore an den prompt gehängt werden", visible=True)
-                    openai_key = gr.Textbox(label = "OpenAI API Key", value = "sk-", lines = 1)
+    ################################################
+    # Tab zum Chatbot mit Text oder Bildeingabe
+    ################################################
+    with gr.Tab(Chatbot):
+        with gr.Row():
+            gr.HTML("LI Chatot")
+            status_display = gr.Markdown("Success", elem_id="status_display")
+            gr.Markdown(description_top)
+        with gr.Row():
+            with gr.Column(scale=5):
+                with gr.Row():
+                    chatbot = gr.Chatbot(elem_id="chuanhu_chatbot",)
+                with gr.Row():
+                    with gr.Column(scale=12):
+                        user_input = gr.Textbox(
+                            show_label=False, placeholder="Gib hier deinen Prompt ein...",
+                            container=False
+                        )
+                    with gr.Column(min_width=70, scale=1):
+                        submitBtn = gr.Button("Senden")
+                    with gr.Column(min_width=70, scale=1):
+                        cancelBtn = gr.Button("Stop")
+                with gr.Row():
+                        file_display = gr.File(visible=False)
+                        image_display = gr.Image( visible=False)
+                        upload = gr.UploadButton("📁", file_types=["image", "video", "audio"], scale = 10)
+                        emptyBtn = gr.ClearButton([user_input, chatbot, history, file_display, image_display], value="🧹 Neue Session", scale=10)  
+    
+            with gr.Column():
+                with gr.Column(min_width=50, scale=1):
+                    with gr.Tab(label="Parameter Einstellung"):
+                        #gr.Markdown("# Parameters")
+                        rag_option = gr.Radio(["Aus", "An"], label="RAG - LI Erweiterungen", value = "Aus")
+                        model_option = gr.Radio(["OpenAI", "HuggingFace"], label="Modellauswahl", value = "OpenAI")
+                        
+                        top_p = gr.Slider(
+                            minimum=-0,
+                            maximum=1.0,
+                            value=0.95,
+                            step=0.05,
+                            interactive=True,
+                            label="Top-p",
+                        )
+                        temperature = gr.Slider(
+                            minimum=0.1,
+                            maximum=2.0,
+                            value=0.5,
+                            step=0.1,
+                            interactive=True,
+                            label="Temperature",
+                        )
+                        max_length_tokens = gr.Slider(
+                            minimum=0,
+                            maximum=512,
+                            value=512,
+                            step=8,
+                            interactive=True,
+                            label="Max Generation Tokens",
+                        )
+                        max_context_length_tokens = gr.Slider(
+                            minimum=0,
+                            maximum=4096,
+                            value=2048,
+                            step=128,
+                            interactive=True,
+                            label="Max History Tokens",
+                        )
+                        repetition_penalty=gr.Slider(label="Repetition penalty", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Strafe für wiederholte Tokens", visible=True)
+                        anzahl_docs = gr.Slider(label="Anzahl Dokumente", value=3, minimum=1, maximum=10, step=1, interactive=True, info="wie viele Dokumententeile aus dem Vektorstore an den prompt gehängt werden", visible=True)
+                        openai_key = gr.Textbox(label = "OpenAI API Key", value = "sk-", lines = 1)
+    ################################################
+    # Tab zum Zeichnen mit Stable Diffusion
+    ################################################
+    with gr.Tab(KI zum Zeichnen):
+        with gr.Row():
+            gr.HTML("LI Zeichnen mit KI")
+            status_display = gr.Markdown("Success", elem_id="status_display")
+            gr.Markdown(description_top)
+        with gr.Row():
+            description2 = <strong>Information:</strong> Hier wird ein <strong>Large Language Model (LLM)</strong> zum Zeichnen verwendet. Zur Zeit wird hier Stable Diffusion verwendet.\n\n
+            css = .toast-wrap { display: none !important } 
+            additional_inputs = [
+                gr.Slider(label="Temperature", value=0.65, minimum=0.0, maximum=1.0, step=0.05, interactive=True, info="Höhere Werte erzeugen diversere Antworten", visible=True),
+                gr.Slider(label="Max new tokens", value=1024, minimum=0, maximum=4096, step=64, interactive=True, info="Maximale Anzahl neuer Tokens", visible=True),
+                gr.Slider(label="Top-p (nucleus sampling)", value=0.6, minimum=0.0, maximum=1, step=0.05, interactive=True, info="Höhere Werte verwenden auch Tokens mit niedrigerer Wahrscheinlichkeit.", visible=True),
+                gr.Slider(label="Repetition penalty", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Strafe für wiederholte Tokens", visible=True)
+            ]
+            chatbot_bild = gr.Chatbot()
+            chat_interface_bild = gr.ChatInterface(fn=generate_bild, 
+                additional_inputs = additional_inputs,
+                additional_inputs_accordion = gr.Accordion(label="Weitere Eingaben...",  open=False),
+                title = "ChatGPT vom LI",
+                theme="soft",
+                chatbot=chatbot_bild,
+                retry_btn="🔄 Wiederholen",
+                undo_btn="↩️ Letztes löschen",
+                clear_btn="🗑️ Verlauf löschen",
+                submit_btn = "Abschicken",
+                description = description) 
+            #chatbot_bild.like(vote, None, None)
+
+   
     gr.Markdown(description)
-
+    
+    ######################################
+    # Events und Übergabe Werte an Funktionen 
+    #######################################
+    ######################################
+    # Für Tab 1: Chatbot
     #Argumente für generate Funktion als Input
     predict_args = dict(
         fn=generate_auswahl,
@@ -660,8 +698,12 @@ with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
     cancelBtn.click(
         cancels=[predict_event1,predict_event2, predict_event3 ]
     )
-demo.title = "LI-ChatBot"
 
+    ######################################
+    # Für Tab 2: Zeichnen
+
+    
+demo.title = "LI-ChatBot"
 demo.queue().launch(debug=True)