File size: 33,325 Bytes
89457ed
af937f5
 
063f2a2
204683a
27b2a14
b6b95fd
6868a66
b6b95fd
c5752ed
7e36762
af937f5
5c4def0
 
063f2a2
 
edd880f
063f2a2
 
 
1b7141c
1461b21
0f079ae
73ae7b2
7add871
063f2a2
 
 
 
 
16b7808
a3847a3
 
063f2a2
f8ce324
0ddfcd1
2e4f369
063f2a2
 
 
af937f5
 
063f2a2
2b9c89c
5c4777a
2b9c89c
5c4777a
0b4bbfa
20e9fc8
 
063f2a2
5c4777a
2e4f369
 
 
 
 
 
 
063f2a2
 
 
18d9524
47a5e53
41b540b
0fc5c2f
bce509a
cdfd7b3
18d9524
ab6c181
5c4777a
 
d049b0a
0352a87
df562c0
0352a87
4167057
9519de3
2b00953
ab6c181
701644a
ec9687d
764dc40
 
97ad75d
ddcfdbf
97ad75d
038542f
ab6c181
ddcfdbf
 
 
 
 
ada41ab
2ff2fc8
701644a
 
40f9ca5
0fc5c2f
 
18d9524
 
 
 
 
 
bce509a
952c120
 
 
 
 
bce509a
 
 
2b9c89c
6861f93
2b9c89c
 
5c4777a
 
 
27b2a14
bd804ad
 
20e9fc8
 
 
 
7424b2b
f277ed1
7424b2b
 
 
 
 
20e9fc8
7424b2b
56a2c0a
20e9fc8
 
 
62d97eb
20e9fc8
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
62d97eb
 
 
 
 
 
 
 
 
 
20e9fc8
 
 
 
 
62d97eb
20e9fc8
 
bd804ad
a3847a3
 
2d7f368
 
182a80b
6d807e8
d699d10
6d807e8
182a80b
6d807e8
d699d10
6d807e8
8fa0379
 
 
 
e08d93a
5f41473
182a80b
e1c664b
72784ec
aa47a34
 
 
 
 
 
72784ec
a3847a3
7d84973
 
a5559e0
2d3dc54
b28dc03
c35e3b9
9bbbdf4
020da9d
2d3dc54
2cb3e6c
9bbbdf4
a5559e0
39baa47
 
 
 
 
 
 
 
c793a2a
39baa47
7d84973
 
67a7465
 
 
 
83a2835
9764b41
 
aa96542
 
5c4def0
92003bb
952c120
aa96542
 
5c4def0
 
 
92003bb
 
 
 
83cbfcc
3c93bd7
5b0f25f
5c4def0
 
 
206e5bf
cdf7146
e482a20
 
 
 
74c66b3
cdf7146
bbcbcd8
 
92003bb
bbcbcd8
92003bb
cdf7146
 
e482a20
5c4def0
5c4777a
 
7d84973
 
 
 
6c21760
9630f06
6c175cd
 
6861f93
 
2d7f368
6c175cd
 
 
 
 
 
 
 
b44f166
6c175cd
 
4167057
a4ba6f3
6861f93
a4ba6f3
15f4cdd
9569fab
2d7f368
 
6861f93
 
 
2d7f368
 
6861f93
b28dc03
6861f93
9764b41
9f71841
2d7f368
 
6861f93
 
 
 
9764b41
f43dcfb
191b138
e1c664b
191b138
6861f93
3e27c33
 
 
6861f93
3e27c33
 
e1c664b
7d84973
 
65be560
9630f06
77898f3
9b40322
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
b4127d8
a4ba6f3
2bf8d5a
5648df4
7d84973
 
ce14421
857f4df
6551134
6861f93
7b0d0ec
10847b7
84a5d26
7b0d0ec
 
 
6861f93
bb49215
f277ed1
a149802
7d84973
a149802
7d84973
a149802
 
7d84973
aa96542
 
 
ce14421
aa96542
 
6551134
2d7f368
aa96542
 
 
 
ce14421
aa96542
e08d93a
aa96542
e08d93a
3c93bd7
aa96542
 
7d84973
 
 
b44f166
1c79a7c
a4ba6f3
10847b7
d40a063
 
 
 
 
 
 
 
624fd5c
f96ce19
e776b9f
f96ce19
555c5b0
 
428c948
5b0f25f
063f2a2
2ff2fc8
 
 
d8dd36b
 
42e7ede
191b138
d2db8f4
857f4df
e08d93a
857f4df
e08d93a
d8dd36b
 
42e7ede
f677869
 
d8dd36b
 
d58126c
d2db8f4
e08d93a
d2db8f4
5c4777a
da09491
7d84973
5b0f25f
42e7ede
063f2a2
 
42e7ede
 
063f2a2
a471be0
6d807e8
a08e4de
5c4def0
a4ba6f3
 
596e901
a4ba6f3
73c8249
5c4def0
063f2a2
 
27b2a14
a4ba6f3
6d807e8
bc6921d
2440d28
f4e05be
 
 
 
5b0f25f
3e901f3
a3847a3
 
5bf144f
 
 
 
 
0268abc
f70118e
a3847a3
 
a0dc16a
 
 
 
 
 
 
 
a3847a3
cce393e
8fa0379
 
a3847a3
cce393e
a3847a3
3caaad5
 
26a5193
6861f93
392d3a4
 
2bf8d5a
 
 
5cb312a
78d9fe6
98f9472
78d9fe6
aac3444
2bf8d5a
 
 
0ab1740
2bf8d5a
 
 
 
 
 
 
 
 
 
 
26a5193
9bbbdf4
9764b41
6861f93
2bf8d5a
 
 
20e9fc8
 
 
 
2bf8d5a
 
8f58f98
2bf8d5a
0ab1740
2bf8d5a
 
 
 
 
 
 
 
0ab1740
2bf8d5a
 
 
 
 
 
 
 
93c2fe4
2bf8d5a
 
 
 
 
 
 
 
0ab1740
2bf8d5a
 
 
 
 
 
 
 
0ab1740
2bf8d5a
0ab1740
 
5175cfc
83a2835
 
2bf8d5a
 
 
78d9fe6
98f9472
78d9fe6
a4ba6f3
6dbec7e
e1c664b
bc21b55
 
65be560
bc21b55
 
 
 
 
 
 
 
adf55cd
 
bc21b55
3caaad5
7f072a0
f64e434
9b40322
 
 
77898f3
9b40322
bc21b55
a6e143b
2bf8d5a
 
 
 
 
 
a3847a3
 
5648df4
a3847a3
 
8a55dff
6861f93
d699d10
5ba7b43
a3847a3
 
 
 
 
 
 
 
 
 
6861f93
a3847a3
 
c793a2a
a3847a3
 
 
 
 
37e795b
182a80b
a3847a3
 
61d5bf5
 
26a5193
20e9fc8
83a2835
2cb3e6c
20e9fc8
 
6d807e8
39baa47
 
a3847a3
2bf8d5a
 
e1c664b
 
 
 
 
9b40322
f0ba633
e1c664b
9b40322
e1c664b
 
064c8f9
e1c664b
 
a9c1b77
 
e1c664b
 
adf55cd
 
 
0daec98
2bf8d5a
 
91597b1
a3847a3
e6365e6
a3847a3
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
import requests
import os, sys, json
import gradio as gr
import openai
from openai import OpenAI
import time
import re
import io
from PIL import Image, ImageDraw, ImageOps, ImageFont
import base64
import tempfile

from tavily import TavilyClient

from langchain.chains import LLMChain, RetrievalQA
from langchain.chat_models import ChatOpenAI
from langchain.document_loaders import PyPDFLoader, WebBaseLoader, UnstructuredWordDocumentLoader, DirectoryLoader
from langchain.document_loaders.blob_loaders.youtube_audio import YoutubeAudioLoader
from langchain.document_loaders.generic import GenericLoader
from langchain.document_loaders.parsers import OpenAIWhisperParser
from langchain.schema import AIMessage, HumanMessage
from langchain.llms import HuggingFaceHub
from langchain.llms import HuggingFaceTextGenInference
from langchain.embeddings import HuggingFaceInstructEmbeddings, HuggingFaceEmbeddings, HuggingFaceBgeEmbeddings, HuggingFaceInferenceAPIEmbeddings
from langchain.retrievers.tavily_search_api import TavilySearchAPIRetriever

from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.prompts import PromptTemplate
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from chromadb.errors import InvalidDimensionException
from utils import *
from beschreibungen import *


#from langchain.vectorstores import MongoDBAtlasVectorSearch
#from pymongo import MongoClient

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())



###############################################
#globale Variablen
##############################################
#nur bei ersten Anfrage splitten der Dokumente - um die Vektordatenbank entsprechend zu füllen
splittet = False
#für eine Session werden die chatsverläufe hier gespeichert...
chats={}

##################################################
#Für MongoDB statt Chroma als Vektorstore
#MONGODB_URI = os.environ["MONGODB_ATLAS_CLUSTER_URI"]
#client = MongoClient(MONGODB_URI)
#MONGODB_DB_NAME = "langchain_db"
#MONGODB_COLLECTION_NAME = "gpt-4"
#MONGODB_COLLECTION = client[MONGODB_DB_NAME][MONGODB_COLLECTION_NAME]
#MONGODB_INDEX_NAME = "default"



#Plattform Keys aus den Secrets holen zu diesem Space
HUGGINGFACEHUB_API_TOKEN = os.getenv("HF_ACCESS_READ")
OAI_API_KEY=os.getenv("OPENAI_API_KEY")
HEADERS = {"Authorization": f"Bearer {HUGGINGFACEHUB_API_TOKEN}"}
TAVILY_KEY = os.getenv("TAVILY_KEY")
os.environ["TAVILY_API_KEY"] = TAVILY_KEY


################################################
#LLM Model mit dem gearbeitet wird
#openai-------------------------------------
#MODEL_NAME  = "gpt-3.5-turbo-16k"
#MODEL_NAME = "gpt-3.5-turbo-1106"
MODEL_NAME= "gpt-4-1106-preview"
MODEL_NAME_IMAGE = "gpt-4-vision-preview"


#verfügbare Modelle anzeigen lassen
#HuggingFace Reop ID--------------------------------
#repo_id = "meta-llama/Llama-2-13b-chat-hf"   
repo_id = "HuggingFaceH4/zephyr-7b-alpha"   #das Modell ist echt gut!!! Vom MIT
#repo_id = "TheBloke/Yi-34B-Chat-GGUF"
#repo_id = "meta-llama/Llama-2-70b-chat-hf"    
#repo_id = "tiiuae/falcon-40b"  
#repo_id = "Vicuna-33b"
#repo_id = "alexkueck/ChatBotLI2Klein"
#repo_id = "mistralai/Mistral-7B-v0.1"
#repo_id = "internlm/internlm-chat-7b"
#repo_id = "Qwen/Qwen-7B"
#repo_id = "Salesforce/xgen-7b-8k-base"
#repo_id = "Writer/camel-5b-hf" 
#repo_id = "databricks/dolly-v2-3b"
#repo_id = "google/flan-t5-xxl"

#HuggingFace Model name--------------------------------
MODEL_NAME_HF  = "mistralai/Mixtral-8x7B-Instruct-v0.1"
MODEL_NAME_OAI_ZEICHNEN = "dall-e-3"
#Alternativ zeichnen: Stabe Diffusion from HF:
API_URL = "https://api-inference.huggingface.co/models/stabilityai/stable-diffusion-2-1"

################################################
#HF Hub Zugriff ermöglichen
###############################################
os.environ["HUGGINGFACEHUB_API_TOKEN"] = HUGGINGFACEHUB_API_TOKEN


################################################
#OpenAI Zugang, client und Assistant einmal erzeugen.
################################################
#zentral einmal erzeugen!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
client = OpenAI()
general_assistant_file = client.beta.assistants.create(name="File Analysator",instructions=template, model="gpt-4-1106-preview",)
thread_file = client.beta.threads.create()
general_assistant_suche= openai_assistant_suche(client)


#################################################
#################################################
#################################################
#Funktionen zur Verarbeitung
################################################

##############################################
#wenn löschen Button geklickt
def clear_all(history):
    global chats
    dic_history = {schluessel: wert for schluessel, wert in history}
    summary = "\n".join(f'{schluessel}:  {wert}' for schluessel, wert in dic_history.items())
    #schlagwort finden zu dem chatverlauf
    headers, payload = process_chatverlauf(summary, MODEL_NAME, OAI_API_KEY)
    response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
    #als json ausgeben
    data = response.json()
    # Den "content" auswählen, da dort die Antwort der Ki enthalten ist
    result = data['choices'][0]['message']['content']

    #chat hinzufügen zu den chatverläufen und in GUI anzeigen
    id_neu = result #len(chats)+1
    #chats ist ein dictionary
    chats[id_neu]= summary

    return None, gr.Image(visible=False), [], gr.CheckboxGroup( choices=update_chat_options())
    
    
#########################################
# Funktionen, um vergangene Chats anzuzeigen und zum Download anzubieten
def update_chat_options():
    global chats
    # Diese Funktion aktualisiert die verfügbaren Chat-Optionen
    if chats != {}:
        return list(chats.keys())
    else:
        return None

def download_chats(selected_chats):
    global chats
    if chats != {}:
        # Diese Funktion bereitet die ausgewählten Chats zum Download vor
        data = "\n\n".join(chats[chat] for chat in selected_chats)
        # Dateipfad festlegen (hier wird die Datei im aktuellen Verzeichnis gespeichert)
        file_path = '/data/chatverlauf.txt'

        # Datei im Schreibmodus öffnen (erstellt die Datei, wenn sie nicht existiert)
        with open(file_path, 'w') as file:
            # String in die Datei schreiben
            file.write(data)
        return gr.File(file_path, label="Download-Chat", visible = True)

        """
        # Erstelle eine temporäre Datei mit den Chat-Daten
        with tempfile.NamedTemporaryFile(delete=False, mode='w', suffix='.txt') as tmp:
            tmp.write(data)
            tmp_path = tmp.name
        return gr.File(tmp_path, label="Download-Chat", visible = True)
        """
    else:
        return gr.File(visible=False)

##############################################
#History - die Frage oder das File eintragen...
#in history_file ist ein file gespeichert, falls voher im Verlauf schon ein File hochgeladen wurde.
#wird ein neuer File hochgeladen, so wird history_fiel dadurch ersetzt
def add_text(chatbot, history, prompt, file, file_history):
    if (file == None):
        chatbot = chatbot +[(prompt, None)]
    else:
        file_history = file
        if (prompt == ""):
            chatbot=chatbot + [((file.name,), "Prompt fehlt!")]
        else:
            ext = analyze_file(file)
            if (ext == "png" or ext == "PNG" or ext == "jpg" or ext == "jpeg" or ext == "JPG" or ext == "JPEG"):
                chatbot = chatbot +[((file.name,), None), (prompt, None)]
            else:
                chatbot = chatbot +[("Hochgeladenes Dokument: "+ get_filename(file) +"\n" + prompt, None)]

    return chatbot, history, prompt, file, file_history, gr.Image(visible = False), "" #gr.Image( label=None, size=(30,30), visible=False, scale=1) #gr.Textbox(value="", interactive=False)

def add_text2(chatbot, prompt):   
    if (prompt == ""):
        chatbot = chatbot + [("", "Prompt fehlt!")]
    else:
        chatbot = chatbot + [(prompt, None)]
    print("chatbot nach add_text............")
    print(chatbot)
    return chatbot, prompt, ""
    
############################################
#nach dem Upload soll das zusätzliche Fenster mit dem image drinnen angezeigt werden
def file_anzeigen(file):
    ext = analyze_file(file)
    if (ext == "png" or ext == "PNG" or ext == "jpg" or ext == "jpeg" or ext == "JPG" or ext == "JPEG"):
        return gr.Image(width=47, visible=True, interactive = False,  height=47,  min_width=47,  show_label=False, show_share_button=False, show_download_button=False, scale = 0.5), file, file
    else:
        return gr.Image(width=47, visible=True, interactive = False,  height=47,  min_width=47,  show_label=False, show_share_button=False, show_download_button=False, scale = 0.5), "data/file.png", file
        
def file_loeschen():
    return None, gr.Image(visible = False)

############################################
#wenn 'Stop' Button geklickt, dann Message dazu und das Eingabe-Fenster leeren
def cancel_outputing():
    reset_textbox()
    return "Stop Done"

def reset_textbox():
    return gr.update(value=""),""

    
##########################################
#Hilfsfunktion, um ein von Stable Diffusion erzeugtes Bild für die Ausgabe in der History vorzubereiten
def umwandeln_fuer_anzeige(image):
        buffer = io.BytesIO()  
        image.save(buffer, format='PNG')
        return buffer.getvalue()
    


##################################################
#openassistant um uploaded Files zu analysieren
def create_assistant_file(prompt, file):
    global client, general_assistant_file
    #neues File dem Assistant hinzufügen
    file_neu = client.files.create(file=open(file,"rb",),purpose="assistants",)
    # Update Assistant
    #wenn type: code_interpreter, wird das file mit angehängt an den Prpmt, aber vorher nicht bearbeitet
    #wenn type: retrieval, wird das Dokument vorher embedded in einem vektorstore und nur entsprechende chunks mitgegeben.
    #pro Assistant 20 cent pro Tag als Nutzung - egal wie viele Fragen dazu.
    updated_assistant = client.beta.assistants.update(general_assistant_file.id,tools=[{"type": "code_interpreter"}, {"type": "retrieval"}],file_ids=[file_neu.id],)
    thread_file, run = create_thread_and_run(prompt, client, updated_assistant.id)
    run = wait_on_run(run, thread_file, client)
    response = get_response(thread_file, client, updated_assistant.id)
    result = response.data[1].content[0].text.value
    return result

##################################################
#openassistant um im Netz zu suchen
def create_assistant_suche(prompt):
    #global client, general_assistant_suche

    retriever = TavilySearchAPIRetriever(k=4)
    result = retriever.invoke(template + prompt)
    erg = "Aus dem Internet: " + result[0].page_content + ".\n Quelle: "
    src = result[0].metadata['source']

    """
    #neues Thread mit akt. prompt dem Assistant hinzufügen
    thread_suche, run = create_thread_and_run(prompt, client, general_assistant_suche.id)
    run = wait_on_run(run, thread_suche, client)
    response = get_response(thread_suche, client, general_assistant_suche.id)
    result = response.data[1].content[0].text.value
    """
    
    return erg + src

###################################################
#Funktion von Gradio aus, die den dort eingegebenen Prompt annimmt und weiterverarbeitet
###################################################
#########################################################
#Funktion wird direkt aufgerufen aus der GUI - von hier muss auch die Rückmeldung kommen....
#man kann einen Text-Prompt eingeben (mit oder ohne RAG), dazu ein Image hochladen, ein Bild zu einem reinen textprompt erzeugen lassen
def generate_auswahl(prompt, file, file_history, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,):
        global splittet
        #wenn RAG angeschaltet - Vektorstore initialisieren
        #aber nur, wenn es noch nicht geshehen ist (splittet = False)
        #falls schon ein File hochgeladen wurde, ist es in history_file gespeichert - falls ein neues File hochgeladen wurde, wird es anschließend neu gesetzt
        neu_file = file_history
    
        if (rag_option == "An"):
            #muss nur einmal ausgeführt werden... 
            if not splittet:
                splits = document_loading_splitting()
                document_storage_chroma(splits)
            db = document_retrieval_chroma2()
            splittet = True
        else:
            db=None
            splittet = False

        #kein Bild hochgeladen -> auf Text antworten...
        status = "Antwort der KI ..."
        if (file == None and file_history == None):
            result, status = generate_text(prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,)
            history = history + [[prompt, result]]
        else:
            #Es wurde ein File neu angehängt -> wenn prompt dazu, das Bild analysieren
            #das history_fiel muss neu gesetzt werden
            if (file != None):
                # file_history wird neu gesetzt in der Rückgabe dieser Funktion...
                neu_file = file

            #herausfinden, ob Bild oder Dokument...
            ext = analyze_file(neu_file)
            if (ext == "png" or ext == "PNG" or ext == "jpg" or ext == "jpeg" or ext == "JPG" or ext == "JPEG"):
                result= generate_text_zu_bild(neu_file, prompt, k, rag_option, chatbot, history, db)
            else:
                result = generate_text_zu_doc(neu_file, prompt, k, rag_option, chatbot, history, db)

            #die history erweitern - abhängig davon, ob gerade ein file hochgeladen wurde oder nicht
            if (file != None):    
                history = history + [[(file,), None],[prompt, result]]
            else:
                history = history + [[prompt, result]]
                
        chatbot[-1][1] = ""
        for character in result:
            chatbot[-1][1] += character
            time.sleep(0.03)
            yield chatbot, history, None, neu_file, status
            if shared_state.interrupted:
                shared_state.recover()
                try:
                    yield chatbot, history, None, neu_file, "Stop: Success"
                except:
                    pass
        
##################################################
#zu einem Text-Prompt ein Bild via Stable Diffusion generieren
def generate_bild(prompt, chatbot, model_option_zeichnen='HuggingFace', temperature=0.5, max_new_tokens=4048,top_p=0.6, repetition_penalty=1.3):
    global client
    if (model_option_zeichnen == "Stable Diffusion"):
        print("Bild Erzeugung HF..............................")
        #Bild nach Anweisung zeichnen und in History darstellen...
        data = {"inputs": prompt}
        response = requests.post(API_URL, headers=HEADERS, json=data)
        print("fertig Bild")
        result = response.content 
        #Bild ausgeben
        image = Image.open(io.BytesIO(result)) 
        image_64 = umwandeln_fuer_anzeige(image)
        chatbot[-1][1]= "<img src='data:image/png;base64,{0}'/>".format(base64.b64encode(image_64).decode('utf-8'))
    else:     
        print("Bild Erzeugung DallE..............................")
        #als Format ginge auch 'url', n - Anz. der erzeugten Bilder
        response = client.images.generate(model="dall-e-3",prompt=prompt,size="1024x1024",quality="standard",n=1, response_format='b64_json') 
        #chatbot[-1][1]= "<img src='data:image/png;base64,{0}'/>".format(base64.b64encode(image_64).decode('utf-8'))
        chatbot[-1][1] = "<img src='data:image/png;base64,{0}'/>".format(response.data[0].b64_json)
    
    return chatbot, "Antwort KI: Success"
    

##################################################
#zu einem Bild und Text-Prompt eine Analyse generieren
def generate_text_zu_bild(file, prompt, k, rag_option, chatbot, history, db):
    global splittet
    print("Text mit Bild ..............................")
    prompt_neu = generate_prompt_with_history(prompt, history)
    if (rag_option == "An"):
        print("Bild mit RAG..............................")
        neu_text_mit_chunks = rag_chain2(prompt, db, k)
        #für Chat LLM:
        #prompt = generate_prompt_with_history_openai(neu_text_mit_chunks, history)
        #als reiner prompt:
        prompt_neu = generate_prompt_with_history(neu_text_mit_chunks, history)

    headers, payload = process_image(file, prompt_neu, MODEL_NAME_IMAGE, OAI_API_KEY)
    response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
    #als json ausgeben
    data = response.json()
    # Den "content" auswählen, da dort die Antwort der Ki enthalten ist
    result = data['choices'][0]['message']['content']
    return result


##################################################
#zu einem Bild und Text-Prompt eine Analyse generieren
def generate_text_zu_doc(file, prompt, k, rag_option, chatbot, history, db):
    global splittet
    print("text mit doc ..............................")
    
    prompt_neu = generate_prompt_with_history(prompt, history)
    if (rag_option == "An"):
        print("Doc mit RAG..............................")
        neu_text_mit_chunks = rag_chain2(prompt, db, k)
        #für Chat LLM:
        #prompt_neu = generate_prompt_with_history_openai(neu_text_mit_chunks, history)
        #als reiner prompt:
        prompt_neu = generate_prompt_with_history(neu_text_mit_chunks, history) 
        
    result = create_assistant_file(prompt_neu, file)
    return result    
    

####################################################
#aus einem Text-Prompt die Antwort von KI bekommen
#mit oder ohne RAG möglich
def generate_text (prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,):
    global splittet
    suche_im_Netz="Antwort der KI ..."
    print("Text pur..............................")
    if (openai_api_key == "" or openai_api_key == "sk-"):
        #raise gr.Error("OpenAI API Key is required.")
        #eigenen OpenAI key nutzen
        openai_api_key= OAI_API_KEY
    if (rag_option is None):
        raise gr.Error("Retrieval Augmented Generation ist erforderlich.")
    if (prompt == ""):
        raise gr.Error("Prompt ist erforderlich.")

    #history für HuggingFace Models formatieren
    #history_text_und_prompt = generate_prompt_with_history_hf(prompt, history)
    #history für openAi formatieren
    #history_text_und_prompt = generate_prompt_with_history_openai(prompt, history)
    #history für Langchain formatieren
    #history_text_und_prompt = generate_prompt_with_history_langchain(prompt, history)
    
    try:
        ###########################
        #LLM auswählen (OpenAI oder HF)
        ###########################
        if (model_option == "OpenAI"):
            #Anfrage an OpenAI ----------------------------
            print("OpenAI Anfrage.......................")
            llm = ChatOpenAI(model_name = MODEL_NAME,  openai_api_key = openai_api_key, temperature=temperature)#, top_p = top_p) 
            #Prompt an history anhängen und einen Text daraus machen
            if (rag_option == "An"):
                history_text_und_prompt = generate_prompt_with_history(prompt, history) 
            else:
                history_text_und_prompt = generate_prompt_with_history_openai(prompt, history) 
        else:
            #oder an Hugging Face --------------------------
            print("HF Anfrage.......................")
            llm = HuggingFaceHub(repo_id=repo_id, model_kwargs={"temperature": 0.5, "max_length": 128}) 
            #llm = HuggingFaceChain(model=MODEL_NAME_HF, model_kwargs={"temperature": 0.5, "max_length": 128}) 
            #llm = HuggingFaceHub(url_??? = "https://wdgsjd6zf201mufn.us-east-1.aws.endpoints.huggingface.cloud", model_kwargs={"temperature": 0.5, "max_length": 64}) 
            #llm = HuggingFaceTextGenInference( inference_server_url="http://localhost:8010/", max_new_tokens=max_new_tokens,top_k=10,top_p=top_p,typical_p=0.95,temperature=temperature,repetition_penalty=repetition_penalty,)
            print("HF")
            #Prompt an history anhängen und einen Text daraus machen
            history_text_und_prompt = generate_prompt_with_history(prompt, history) 
    
        #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
        if (rag_option == "An"):
            print("LLM aufrufen mit RAG: ...........")
            result = rag_chain(llm, history_text_und_prompt, db)
        #elif (rag_option == "MongoDB"):
            #splits = document_loading_splitting()
            #document_storage_mongodb(splits)
            #db = document_retrieval_mongodb(llm, history_text_und_prompt)
            #result = rag_chain(llm, history_text_und_prompt, db)
        else:
            splittet = False
            print("LLM aufrufen ohne RAG: ...........")
            result = llm_chain(llm, history_text_und_prompt)

        #Wenn keine Antwort möglich "Ich weiß es nicht" etc., dann versuchen mit Suche im Internet.
        if is_response_similar(result):
            print("Suche im Netz: ...........")
            suche_im_Netz="Antwort aus dem Internet ..."
            result = create_assistant_suche(prompt)
        
    except Exception as e:
        raise gr.Error(e)

    return result, suche_im_Netz

        
      
################################################
#GUI
###############################################
#Beschreibung oben in GUI
################################################

#css = """.toast-wrap { display: none !important } """
#examples=[['Was ist ChtGPT-4?'],['schreibe ein Python Programm, dass die GPT-4 API aufruft.']]

def vote(data: gr.LikeData):
    if data.liked: print("You upvoted this response: " + data.value)
    else: print("You downvoted this response: " + data.value)


print ("Start GUIneu")
with open("custom.css", "r", encoding="utf-8") as f:
    customCSS = f.read()

#Add Inputs für Tab 2
additional_inputs = [
                gr.Slider(label="Temperature", value=0.65, minimum=0.0, maximum=1.0, step=0.05, interactive=True, info="Höhere Werte erzeugen diversere Antworten", visible=True),
                gr.Slider(label="Max new tokens", value=1024, minimum=0, maximum=4096, step=64, interactive=True, info="Maximale Anzahl neuer Tokens", visible=True),
                gr.Slider(label="Top-p (nucleus sampling)", value=0.6, minimum=0.0, maximum=1, step=0.05, interactive=True, info="Höhere Werte verwenden auch Tokens mit niedrigerer Wahrscheinlichkeit.", visible=True),
                gr.Slider(label="Repetition penalty", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Strafe für wiederholte Tokens", visible=True)
            ]
with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
    #Session Variablen, um Weete zu speichern, auch wenn die Felder in der GUI bereits wieder leer sind
    # history parallel zu chatbot speichern - da in chatbot bei Bildern zum Anzeigen in der GUI die Bilder speziell formatiert werden, 
    # für die Übergabe an die ki aber der Pfad zum Bild behalten werden muss - was in der history der Fall ist!
    history = gr.State([])
    #damit der Prompt auch nach dem upload in die History noch für predicts_args verfügbar ist
    user_question = gr.State("")
    #damit der Prompt auch nach dem upload in die History noch für predicts_args verfügbar ist
    user_question2 = gr.State("")
    attached_file = gr.State(None)
    attached_file_history = gr.State(None)
    status_display = gr.State("")
    status_display2 = gr.State("")
    ################################################
    # Tab zum Chatbot mit Text oder Bildeingabe
    ################################################
    gr.Markdown(description_top)
    with gr.Tab("LI Chatbot"):
        with gr.Row():
            #gr.HTML("LI Chatot")
            status_display = gr.Markdown("Antwort der KI ...", visible = True) #, elem_id="status_display")
        with gr.Row():
            with gr.Column(scale=5):
                with gr.Row():
                    chatbot = gr.Chatbot(elem_id="li-chat",show_copy_button=True)
                with gr.Row():
                    with gr.Column(scale=12):
                        user_input = gr.Textbox(
                            show_label=False, placeholder="Gib hier deinen Prompt ein...",
                            container=False
                        )
                    with gr.Column(min_width=70, scale=1):
                        submitBtn = gr.Button("Senden")
                    with gr.Column(min_width=70, scale=1):
                        cancelBtn = gr.Button("Stop")
                with gr.Row():
                        #file_display = gr.File(visible=False)
                        image_display = gr.Image( visible=False)
                        upload = gr.UploadButton("📁", file_types=["image", "pdf", "docx", "pptx", "xlsx"], scale = 10)
                        emptyBtn = gr.ClearButton([user_input, chatbot, history, attached_file, attached_file_history, image_display], value="🧹 Neue Session", scale=10)  
    
            with gr.Column():
                with gr.Column(min_width=50, scale=1):
                    with gr.Tab(label="Chats ..."):
                        chat_selector = gr.CheckboxGroup(label="Wähle Chats zum Download", choices=update_chat_options())
                        download_button = gr.Button("Download ausgewählte Chats")
                        file_download = gr.File(label="Download-Chat",  visible=False)
                    with gr.Tab(label="Parameter Einstellung"):
                        #gr.Markdown("# Parameters")
                        rag_option = gr.Radio(["Aus", "An"], label="LI Erweiterungen (RAG)", value = "Aus")
                        model_option = gr.Radio(["OpenAI", "HuggingFace"], label="Modellauswahl", value = "OpenAI")

                        
                        top_p = gr.Slider(
                            minimum=-0,
                            maximum=1.0,
                            value=0.95,
                            step=0.05,
                            interactive=True,
                            label="Top-p",
                            visible=False,
                        )
                        temperature = gr.Slider(
                            minimum=0.1,
                            maximum=2.0,
                            value=0.5,
                            step=0.1,
                            interactive=True,
                            label="Temperature",
                            visible=False
                        )
                        max_length_tokens = gr.Slider(
                            minimum=0,
                            maximum=512,
                            value=512,
                            step=8,
                            interactive=True,
                            label="Max Generation Tokens",
                            visible=False,
                        )
                        max_context_length_tokens = gr.Slider(
                            minimum=0,
                            maximum=4096,
                            value=2048,
                            step=128,
                            interactive=True,
                            label="Max History Tokens",
                            visible=False,
                        )
                        repetition_penalty=gr.Slider(label="Repetition penalty", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Strafe für wiederholte Tokens", visible=False)
                        anzahl_docs = gr.Slider(label="Anzahl Dokumente", value=3, minimum=1, maximum=10, step=1, interactive=True, info="wie viele Dokumententeile aus dem Vektorstore an den prompt gehängt werden", visible=False)
                        openai_key = gr.Textbox(label = "OpenAI API Key", value = "sk-", lines = 1, visible = False)

                        
    ################################################
    # Tab zum Zeichnen mit Stable Diffusion
    ################################################
    with gr.Tab("LI Zeichnen"):
        with gr.Row():
            #gr.HTML("LI Zeichnen mit KI")
            status_display2 = gr.Markdown("Success", visible = False, elem_id="status_display")
        #gr.Markdown(description2)
        with gr.Row():
            with gr.Column(scale=5):
                with gr.Row():
                    chatbot_bild = gr.Chatbot(elem_id="li-zeichnen",show_copy_button=True, show_share_button=True)
                with gr.Row():
                    with gr.Column(scale=12):
                        user_input2 = gr.Textbox(
                            show_label=False, placeholder="Gib hier deinen Prompt ein...",
                            container=False
                        )
                    with gr.Column(min_width=70, scale=1):
                        submitBtn2 = gr.Button("Senden")
                    #with gr.Column(min_width=70, scale=1):
                        #cancelBtn2 = gr.Button("Stop")
                with gr.Row():
                    emptyBtn2 = gr.ClearButton([user_input, chatbot_bild], value="🧹 Neue Session", scale=10)  
                    #additional_inputs_accordion = gr.Accordion(label="Weitere Eingaben...",  open=False)
            with gr.Column():
                with gr.Column(min_width=50, scale=1):
                    with gr.Tab(label="Parameter Einstellung"):
                        #gr.Markdown("# Parameters")
                        model_option_zeichnen = gr.Radio(["Stable Diffusion","DallE"], label="Modellauswahl", value = "Stable Diffusion")


    gr.Markdown(description)        
    
    ######################################
    # Events und Übergabe Werte an Funktionen 
    #######################################
    ######################################
    # Für Tab 1: Chatbot
    #Argumente für generate Funktion als Input
    predict_args = dict(
        fn=generate_auswahl,
        inputs=[
            user_question,
            attached_file,
            attached_file_history,
            chatbot,
            history,
            rag_option,
            model_option,
            openai_key,
            anzahl_docs,
            top_p,
            temperature,
            max_length_tokens,
            max_context_length_tokens,
            repetition_penalty
        ],
        outputs=[chatbot, history, attached_file, attached_file_history, status_display], 
        show_progress=True,
    )
    
    reset_args = dict(
        fn=reset_textbox, inputs=[], outputs=[user_input, status_display]
    )

    # Chatbot
    transfer_input_args = dict(    
        fn=add_text, inputs=[chatbot, history, user_input, attached_file, attached_file_history], outputs=[chatbot, history, user_question, attached_file, attached_file_history, image_display , user_input], show_progress=True
    )

    predict_event1 = user_input.submit(**transfer_input_args, queue=False,).then(**predict_args)
    predict_event2 = submitBtn.click(**transfer_input_args, queue=False,).then(**predict_args)
    predict_event3 = upload.upload(file_anzeigen, [upload], [image_display, image_display, attached_file] ) #.then(**predict_args)
    emptyBtn.click(clear_all, [history], [attached_file, image_display, history,  chat_selector])
    #Bild Anzeige neben dem Button wieder entfernen oder austauschen..
    image_display.select(file_loeschen, [], [attached_file, image_display])
    download_button.click(fn=download_chats, inputs=chat_selector, outputs=file_download)

    
    #Berechnung oder Ausgabe anhalten (kann danach fortgesetzt werden)
    cancelBtn.click(cancel_outputing, [], [status_display], cancels=[predict_event1,predict_event2, predict_event3]) 

    ######################################
    # Für Tab 2: Zeichnen
    predict_args2 = dict(
        fn=generate_bild,
        inputs=[
            user_question2,
            chatbot_bild,
            model_option_zeichnen,
            #additional_inputs,
        ],
        outputs=[chatbot_bild,  status_display2], #[chatbot, history,  status_display]
        show_progress=True,
    )
    transfer_input_args2 = dict(
        fn=add_text2, inputs=[chatbot_bild, user_input2], outputs=[chatbot_bild, user_question2, user_input2], show_progress=True
    )
    predict_event2_1 = user_input2.submit(**transfer_input_args2, queue=False,).then(**predict_args2)
    predict_event2_2 = submitBtn2.click(**transfer_input_args2, queue=False,).then(**predict_args2)
    #emptyBtn2.click(clear_all, [], [file_display, image_display])
    
    #cancelBtn2.click(
        #cancels=[predict_event2_1,predict_event2_2 ]
    #)
    
    
demo.title = "LI-ChatBot"
demo.queue().launch(debug=True)