Update app.py

app.py

@@ -199,7 +199,19 @@ def process_image(image_path, prompt):
       "max_tokens": 300
     }   
     return headers, payload
-        
+
+##################################################
+#openassistant um uploaded Files zu analysieren
+def create_assistant(prompt, file): 
+    client = OpenAI()
+    assistant = client.beta.assistants.create(name="File Analysator",instructions=template, model="gpt-4-1106-preview",)
+    thread = client.beta.threads.create()
+    file_neu = client.files.create(file=open(file,"rb",),purpose="assistants",)
+    # Update Assistant
+    assistant = client.beta.assistants.update(assistant.id,tools=[{"type": "code_interpreter"}, {"type": "retrieval"}],file_ids=[file_neu.id],)
+    thread, run = create_thread_and_run(prompt)
+    run = wait_on_run(run, thread)
+    return get_response(thread))
 
 ###################################################
 #Funktion von Gradio aus, die den dort eingegebenen Prompt annimmt und weiterverarbeitet
@@ -288,6 +300,41 @@ def generate_text_zu_bild(file, prompt, k, rag_option, chatbot):
     result = data['choices'][0]['message']['content']
     return result
 
+
+##################################################
+#zu einem Bild und Text-Prompt eine Analyse generieren
+def generate_text_zu_doc(file, prompt, k, rag_option, chatbot):
+    global splittet
+    print("text mit doc ..............................")
+    prompt_neu = prompt
+    if (rag_option == "An"):
+        print("Doc mit RAG..............................")
+        #muss nur einmal ausgeführt werden... 
+        if not splittet:
+            splits = document_loading_splitting()
+            document_storage_chroma(splits)
+        db = document_retrieval_chroma2()
+        #mit RAG:
+        neu_text_mit_chunks = rag_chain2(prompt, db, k)
+        #für Chat LLM:
+        #prompt = generate_prompt_with_history_openai(neu_text_mit_chunks, history)
+        #als reiner prompt:
+        prompt_neu = generate_prompt_with_history(neu_text_mit_chunks, chatbot)
+
+
+    create_assistant(prompt_neu, file)
+        
+
+    
+    headers, payload = process_image(file, prompt_neu)
+    response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
+    #als json ausgeben
+    data = response.json()
+    # Den "content" auswählen, da dort die Antwort der Ki enthalten ist
+    result = data['choices'][0]['message']['content']
+    return result
+    
+
 ####################################################
 #aus einem Text-Prompt die Antwort von KI bekommen
 #mit oder ohne RAG möglich