File size: 17,608 Bytes
af937f5
 
063f2a2
204683a
27b2a14
af937f5
063f2a2
 
edd880f
063f2a2
 
 
1b7141c
2ff2fc8
063f2a2
 
 
 
 
2e4f369
063f2a2
2e4f369
063f2a2
 
 
af937f5
 
063f2a2
5c4777a
 
 
0b4bbfa
063f2a2
5c4777a
2e4f369
 
 
 
 
 
 
063f2a2
5c4777a
 
b335f8c
063f2a2
b335f8c
 
063f2a2
5c4777a
 
063f2a2
 
 
 
 
18d9524
47a5e53
41b540b
18d9524
5c4777a
9156bad
41b540b
 
063f2a2
5c4777a
 
196a645
063f2a2
 
 
196a645
 
86d47ea
 
063f2a2
5c4777a
 
 
2ff2fc8
956c5d3
 
063f2a2
2ff2fc8
97ad75d
 
 
5cf9e11
97ad75d
2ff2fc8
18d9524
 
 
 
 
 
5c4777a
 
 
27b2a14
 
 
 
 
 
 
 
 
196a645
 
e79aa48
 
edd880f
e79aa48
 
196a645
 
 
 
 
27b2a14
5c4777a
063f2a2
f0634d5
196a645
 
063f2a2
 
e79aa48
196a645
 
 
 
 
 
 
 
 
 
 
 
 
 
063f2a2
196a645
 
063f2a2
196a645
 
063f2a2
196a645
 
 
 
063f2a2
196a645
063f2a2
196a645
f0634d5
 
063f2a2
 
5c4777a
063f2a2
 
 
9cbacb5
063f2a2
5c4777a
063f2a2
 
 
 
 
 
5c4777a
9156bad
 
 
 
 
41b540b
9156bad
063f2a2
 
5c4777a
063f2a2
 
 
 
 
 
 
5c4777a
 
 
 
063f2a2
 
 
 
 
5c4777a
063f2a2
 
 
 
 
 
 
 
5b0f25f
f96ce19
 
 
5b0f25f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
f96ce19
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
555c5b0
 
 
 
 
 
 
1b7141c
555c5b0
 
5b0f25f
 
5c4777a
 
27b2a14
1c79a7c
8f3c4e1
5b0f25f
428c948
f96ce19
 
 
 
 
555c5b0
 
 
428c948
5b0f25f
49d2e3d
41b540b
5c4777a
41b540b
063f2a2
4e21196
063f2a2
4e21196
063f2a2
2ff2fc8
 
 
5c4777a
674128d
2ff2fc8
5cf9e11
674128d
2ff2fc8
5c4777a
063f2a2
4e21196
1c79a7c
 
 
5b0f25f
 
063f2a2
 
 
5b0f25f
 
063f2a2
5b0f25f
 
063f2a2
 
27b2a14
5b0f25f
 
27b2a14
5b0f25f
27b2a14
f4e05be
 
 
 
5b0f25f
5bf144f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
45f8b93
 
 
5bf144f
 
 
 
 
 
3f585ff
0ad4413
eea8371
f4ca9e4
 
5b0f25f
57402ef
689b763
32d1f7f
57402ef
6fe5ae6
e6477f6
57402ef
 
 
 
e6477f6
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
import os, sys, json
import gradio as gr
import openai
from openai import OpenAI
import time

from langchain.chains import LLMChain, RetrievalQA
from langchain.chat_models import ChatOpenAI
from langchain.document_loaders import PyPDFLoader, WebBaseLoader, UnstructuredWordDocumentLoader, DirectoryLoader
from langchain.document_loaders.blob_loaders.youtube_audio import YoutubeAudioLoader
from langchain.document_loaders.generic import GenericLoader
from langchain.document_loaders.parsers import OpenAIWhisperParser
from langchain.schema import AIMessage, HumanMessage
from langchain.llms import HuggingFaceHub

from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.prompts import PromptTemplate
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
#from langchain.vectorstores import MongoDBAtlasVectorSearch

#from pymongo import MongoClient

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())



#################################################
#globale Variablen
#nur bei ersten Anfrage splitten der Dokumente - um die Vektordatenbank entsprechend zu füllen
splittet = False

##################################################
#Für MongoDB statt Chroma als Vektorstore
#MONGODB_URI = os.environ["MONGODB_ATLAS_CLUSTER_URI"]
#client = MongoClient(MONGODB_URI)
#MONGODB_DB_NAME = "langchain_db"
#MONGODB_COLLECTION_NAME = "gpt-4"
#MONGODB_COLLECTION = client[MONGODB_DB_NAME][MONGODB_COLLECTION_NAME]
#MONGODB_INDEX_NAME = "default"

#################################################
#Prompt Zusätze
template = """Antworte in deutsch, wenn es nicht explizit anders gefordert wird. Wenn du die Antwort nicht kennst, antworte einfach, dass du es nicht weißt. Versuche nicht, die Antwort zu erfinden oder aufzumocken. Halte die Antwort so kurz aber exakt."""

llm_template = "Beantworte die Frage am Ende. " + template + "Frage: {question} Hilfreiche Antwort: "
rag_template = "Nutze die folgenden Kontext Teile, um die Frage zu beantworten am Ende. " + template + "{context} Frage: {question} Hilfreiche Antwort: "

#################################################
#Konstanten
LLM_CHAIN_PROMPT = PromptTemplate(input_variables = ["question"], 
                                  template = llm_template)
RAG_CHAIN_PROMPT = PromptTemplate(input_variables = ["context", "question"], 
                                  template = rag_template)

#Plattform Keys aus den Secrets holen zu diesem Space
HUGGINGFACEHUB_API_TOKEN = os.getenv("HF_ACCESS_READ")
OAI_API_KEY=os.getenv("OPENAI_API_KEY")

#Pfad, wo Docs/Bilder/Filme abgelegt werden können - lokal, also hier im HF Space (sonst auf eigenem Rechner)
PATH_WORK = "."
CHROMA_DIR  = "/chroma"
YOUTUBE_DIR = "/youtube"

###############################################
#URLs zu Dokumenten oder andere Inhalte, die einbezogen werden sollen
#PDF_URL       = "https://arxiv.org/pdf/2303.08774.pdf"
WEB_URL       = "https://openai.com/research/gpt-4"
YOUTUBE_URL_1 = "https://www.youtube.com/watch?v=--khbXchTeE"
YOUTUBE_URL_2 = "https://www.youtube.com/watch?v=hdhZwyf24mE"
#YOUTUBE_URL_3 = "https://www.youtube.com/watch?v=vw-KWfKwvTQ"

#URL zu PDF dokumenten, die online verfügbar sind...
PDF_URL = "..."


################################################
#LLM Model mit dem gearbeitet wird
#openai
#MODEL_NAME  = "gpt-3.5-turbo-16k"
MODEL_NAME  ="gpt-4"

#HuggingFace
repo_id = "meta-llama/Llama-2-13b-chat-hf"   
#repo_id = "HuggingFaceH4/zephyr-7b-alpha"
#repo_id = "meta-llama/Llama-2-70b-chat-hf"    
#repo_id = "tiiuae/falcon-180B-chat"   
#repo_id = "Vicuna-33b"


################################################
#HF Hub Zugriff ermöglichen
###############################################
os.environ["HUGGINGFACEHUB_API_TOKEN"] = HUGGINGFACEHUB_API_TOKEN

#################################################
#Funktionen zur Verarbeitung
################################################
def add_text(history, text):
    history = history + [(text, None)]
    return history, gr.Textbox(value="", interactive=False)


def add_file(history, file):
    history = history + [((file.name,), None)]
    return history

# Funktion, um für einen best. File-typ ein directory-loader zu definieren
def create_directory_loader(file_type, directory_path):
    #verscheidene Dokument loaders:
    loaders = {
        '.pdf': PyPDFLoader,
        '.word': UnstructuredWordDocumentLoader,
    }
    return DirectoryLoader(
        path=directory_path,
        glob=f"**/*{file_type}",
        loader_cls=loaders[file_type],
    )
    
#die Inhalte splitten, um in Vektordatenbank entsprechend zu laden als Splits
def document_loading_splitting():
    global splittet
    
    ##############################
    # Document loading
    docs = []
    
    # kreiere einen DirectoryLoader für jeden file type
    pdf_loader = create_directory_loader('.pdf', './chroma/pdf')
    word_loader = create_directory_loader('.word', './chroma/word')
    
    
    # Load the files
    pdf_documents = pdf_loader.load()
    word_documents = word_loader.load()

    #alle zusammen in docs...
    docs.extend(pdf_documents)
    docs.extend(word_documents)

    #andere loader...
    # Load PDF
    #loader = PyPDFLoader(PDF_URL1)
    #docs.extend(loader.load())
    # Load Web
    #loader = WebBaseLoader(WEB_URL)
    #docs.extend(loader.load())
    # Load YouTube
    #loader = GenericLoader(YoutubeAudioLoader([YOUTUBE_URL_1,YOUTUBE_URL_2], PATH_WORK + YOUTUBE_DIR), OpenAIWhisperParser())
    #docs.extend(loader.load())

    ################################
    # Document splitting
    text_splitter = RecursiveCharacterTextSplitter(chunk_overlap = 150, chunk_size = 1500)
    splits = text_splitter.split_documents(docs)
    
    #nur bei erster Anfrage mit "choma" wird gesplittet...
    splittet = True
    return splits

#Chroma DB die splits ablegen - vektorisiert...
def document_storage_chroma(splits):
    Chroma.from_documents(documents = splits, 
                          embedding = OpenAIEmbeddings(disallowed_special = ()), 
                          persist_directory = PATH_WORK + CHROMA_DIR)

#Mongo DB die splits ablegen - vektorisiert...
def document_storage_mongodb(splits):
    MongoDBAtlasVectorSearch.from_documents(documents = splits,
                                            embedding = OpenAIEmbeddings(disallowed_special = ()),
                                            collection = MONGODB_COLLECTION,
                                            index_name = MONGODB_INDEX_NAME)

#dokumente in chroma db vektorisiert ablegen können - die Db vorbereiten daüfur
def document_retrieval_chroma(llm, prompt):      
    embeddings = OpenAIEmbeddings()
    #Alternative Embedding - für Vektorstore, um Ähnlichkeitsvektoren zu erzeugen
    #embeddings = HuggingFaceInstructEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={"device": "cpu"})
    db = Chroma(embedding_function = embeddings,
                persist_directory = PATH_WORK + CHROMA_DIR)
    
    return db

#dokumente in mongo db vektorisiert ablegen können - die Db vorbereiten daüfür
def document_retrieval_mongodb(llm, prompt):
    db = MongoDBAtlasVectorSearch.from_connection_string(MONGODB_URI,
                                                         MONGODB_DB_NAME + "." + MONGODB_COLLECTION_NAME,
                                                         OpenAIEmbeddings(disallowed_special = ()),
                                                         index_name = MONGODB_INDEX_NAME)
    return db

###############################################
#Langchain anlegen

#langchain nutzen, um prompt an LLM zu leiten - llm und prompt sind austauschbar
def llm_chain(llm, prompt):
    llm_chain = LLMChain(llm = llm, prompt = LLM_CHAIN_PROMPT)
    result = llm_chain.run({"question": prompt})
    return result

#langchain nutzen, um prompt an llm zu leiten, aber vorher in der VektorDB suchen, um passende splits zum Prompt hinzuzufügen
def rag_chain(llm, prompt, db):
    rag_chain = RetrievalQA.from_chain_type(llm, 
                                            chain_type_kwargs = {"prompt": RAG_CHAIN_PROMPT}, 
                                            retriever = db.as_retriever(search_kwargs = {"k": 3}), 
                                            return_source_documents = True)
    result = rag_chain({"query": prompt})
    return result["result"]

###################################################
#Prompts mit History erzeugen für verschiednee Modelle
###################################################
#Funktion, die einen Prompt mit der history zusammen erzeugt - allgemein
def generate_prompt_with_history(text, history, max_length=2048):
    #prompt = "The following is a conversation between a human and an AI assistant named Baize (named after a mythical creature in Chinese folklore). Baize is an open-source AI assistant developed by UCSD and Sun Yat-Sen University. The human and the AI assistant take turns chatting. Human statements start with [|Human|] and AI assistant statements start with [|AI|]. The AI assistant always provides responses in as much detail as possible, and in Markdown format. The AI assistant always declines to engage with topics, questions and instructions related to unethical, controversial, or sensitive issues. Complete the transcript in exactly that format.\n[|Human|]Hello!\n[|AI|]Hi!"   
    #prompt = "Das folgende ist eine Unterhaltung in deutsch zwischen einem Menschen und einem KI-Assistenten, der Baize genannt wird. Baize ist ein open-source KI-Assistent, der von UCSD entwickelt wurde. Der Mensch und der KI-Assistent chatten abwechselnd miteinander in deutsch. Die Antworten des KI Assistenten sind immer so ausführlich wie möglich und in Markdown Schreibweise und in deutscher Sprache. Wenn nötig übersetzt er sie ins Deutsche. Die Antworten des KI-Assistenten vermeiden Themen und Antworten zu unethischen, kontroversen oder sensiblen Themen. Die Antworten sind immer sehr höflich formuliert..\n[|Human|]Hallo!\n[|AI|]Hi!"   
    prompt=""
    history = ["\n{}\n{}".format(x[0],x[1]) for x in history]
    history.append("\n{}\n".format(text))
    history_text = ""
    flag = False
    for x in history[::-1]:
            history_text = x + history_text
            flag = True
            
    if flag:
        return  prompt+history_text
    else:
        return None

#Prompt und History für OPenAi Schnittstelle
def generate_prompt_with_history_openai(prompt, history):
    history_openai_format = []
    for human, assistant in history:
        history_openai_format.append({"role": "user", "content": human })
        history_openai_format.append({"role": "assistant", "content":assistant})

    history_openai_format.append({"role": "user", "content": prompt})
    return history_openai_format

#Prompt und History für Hugging Face Schnittstelle
def generate_prompt_with_history_hf(prompt, history):
    history_transformer_format = history + [[prompt, ""]]
    #stop = StopOnTokens()

    messages = "".join(["".join(["\n<human>:"+item[0], "\n<bot>:"+item[1]])  #curr_system_message +
                for item in history_transformer_format])

#Prompt und History für Langchain Schnittstelle
def generate_prompt_with_history_langchain(prompt, history):
    history_langchain_format = []
    for human, ai in history:
        history_langchain_format.append(HumanMessage(content=human))
        history_langchain_format.append(AIMessage(content=ai))
    history_langchain_format.append(HumanMessage(content=prompt))
  
    return history_langchain_format
        

###################################################
#Funktion von Gradio aus, die den dort eingegebenen Prompt annimmt und weiterverarbeitet
def invoke (prompt, history, openai_api_key, rag_option, temperature=0.9, max_new_tokens=512, top_p=0.6, repetition_penalty=1.3,):
    global splittet

    #Prompt an history anhängen und einen Text daraus machen
    history_text_und_prompt = generate_prompt_with_history(prompt, history)
    
    #history für HuggingFace Models formatieren
    #history_text_und_prompt = generate_prompt_with_history_hf(prompt, history)

    #history für openAi formatieren
    #history_text_und_prompt = generate_prompt_with_history_openai(prompt, history)

    #history für Langchain formatieren
    #history_text_und_prompt = generate_prompt_with_history_langchain(prompt, history)
    
    if (openai_api_key == "" or openai_api_key == "sk-"):
        #raise gr.Error("OpenAI API Key is required.")
        #eigenen OpenAI key nutzen
        openai_api_key= OAI_API_KEY
    if (rag_option is None):
        raise gr.Error("Retrieval Augmented Generation ist erforderlich.")
    if (prompt == ""):
        raise gr.Error("Prompt ist erforderlich.")
    try:
        ###########################
        #LLM auswählen (OpenAI oder HF)
        ###########################
        #Anfrage an OpenAI
        llm = ChatOpenAI(model_name = MODEL_NAME,  openai_api_key = openai_api_key, temperature = 0)
        #oder an Hugging Face
        #llm = HuggingFaceHub(repo_id=repo_id, model_kwargs={"temperature": 0.5, "max_length": 64}) 
        #llm = HuggingFaceHub(url_??? = "https://wdgsjd6zf201mufn.us-east-1.aws.endpoints.huggingface.cloud", model_kwargs={"temperature": 0.5, "max_length": 64}) 
        
        #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
        if (rag_option == "Chroma"):
            #muss nur einmal ausgeführt werden... 
            if not splittet:
                splits = document_loading_splitting()
                document_storage_chroma(splits)
            db = document_retrieval_chroma(llm, history_text_und_prompt)
            result = rag_chain(llm, history_text_und_prompt, db)
        elif (rag_option == "MongoDB"):
            #splits = document_loading_splitting()
            #document_storage_mongodb(splits)
            db = document_retrieval_mongodb(llm, history_text_und_prompt)
            result = rag_chain(llm, history_text_und_prompt, db)
        else:
            result = llm_chain(llm, history_text_und_prompt)

    except Exception as e:
        raise gr.Error(e)

    #Antwort als Stream ausgeben... 
    for i in range(len(result)):
        time.sleep(0.05)
        yield  result[: i+1]
    
################################################
#GUI
###############################################
#Beschreibung oben in GUI
################################################
title = "LLM mit RAG"
description = """<strong>Überblick:</strong> Hier wird ein <strong>Large Language Model (LLM)</strong> mit 
                 <strong>Retrieval Augmented Generation (RAG)</strong> auf <strong>externen Daten</strong> demonstriert.\n\n
                 <strong>Genauer:</strong> Folgende externe Daten sind als Beispiel gegeben:
                 <a href='""" + YOUTUBE_URL_1 + """'>YouTube</a>, <a href='""" + PDF_URL + """'>PDF</a>, and <a href='""" + WEB_URL + """'>Web.</a> <br>
                 Alle neueren Datums!.
                 <ul style="list-style-type:square;">
                 <li>Setze "Retrieval Augmented Generation" auf  "<strong>Off</strong>" und gib einen Prompt ein." Das entspricht <strong> ein LLM nutzen ohne RAG</strong></li>
                 <li>Setze "Retrieval Augmented Generation" to "<strong>Chroma</strong>"  und gib einen Prompt ein. Das <strong>LLM mit RAG</strong> weiß auch Antworten zu aktuellen Themen aus den angefügten Datenquellen</li>
                 <li>Experimentiere mit Prompts, z.B.  Antworte in deutsch, englisch, ..." oder "schreibe ein Python Programm, dass die GPT-4 API aufruft."</li>
                 </ul>\n\n
                 """
css = """.toast-wrap { display: none !important } """
examples=[['Was ist ChtGPT-4?'],['schreibe ein Python Programm, dass die GPT-4 API aufruft.']]

def vote(data: gr.LikeData):
    if data.liked: print("You upvoted this response: " + data.value)
    else: print("You downvoted this response: " + data.value)

additional_inputs = [
    gr.Textbox(label = "OpenAI API Key", value = "sk-", lines = 1), 
    #gr.Radio(["Off", "Chroma", "MongoDB"], label="Retrieval Augmented Generation", value = "Off"),
    gr.Radio(["Off", "Chroma"], label="Retrieval Augmented Generation", value = "Off"),
    gr.Slider(label="Temperature", value=0.9, minimum=0.0, maximum=1.0, step=0.05, interactive=True, info="Höhere Werte erzeugen diversere Antworten"),
    gr.Slider(label="Max new tokens", value=256, minimum=0, maximum=4096, step=64, interactive=True, info="Maximale Anzahl neuer Tokens"),
    gr.Slider(label="Top-p (nucleus sampling)", value=0.6, minimum=0.0, maximum=1, step=0.05, interactive=True, info="Höhere Werte verwenden auch Tokens mit niedrigerer Wahrscheinlichkeit."),
    gr.Slider(label="Repetition penalty", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Strafe für wiederholte Tokens")
]

chatbot_stream = gr.Chatbot()

chat_interface_stream = gr.ChatInterface(fn=invoke, 
                #additional_inputs = additional_inputs,
                title = "Generative AI - LLM & RAG",
                theme="soft",
                chatbot=chatbot_stream,
                retry_btn="Wiederholen",
                undo_btn="Letztes löschen",
                clear_btn="Verlauf löschen",
                additional_inputs=additional_inputs,
                description = description) 

with gr.Blocks() as demo:
    with gr.Tab("Chatbot"):
        chatbot_stream.like(vote, None, None)
        chat_interface_stream.queue().launch()