Update run.py

run.py

@@ -1,9 +1,9 @@
-#########################################################################################
-# Title:  Gradio Interface to LLM-chatbot with RAG-funcionality and ChromaDB on HF-Hub 
+#############################################################################################################
+# Title:  Gradio Interface to LLM-chatbot (for recommending AI) with RAG-funcionality and ChromaDB on HF-Hub 
 # Author: Andreas Fischer
-# Date:   December 29th, 2023
-# Last update: December 29th, 2023
-##########################################################################################
+# Date:   December 30th, 2023
+# Last update: December 30th, 2023
+##############################################################################################################
 
 
 # Chroma-DB
@@ -38,9 +38,14 @@ else:
     metadata={"hnsw:space": "cosine"})
   
   collection.add(
-    documents=["The meaning of life is to love.", "This is a sentence", "This is a sentence too"], 
-    metadatas=[{"source": "notion"}, {"source": "google-docs"}, {"source": "google-docs"}], 
-    ids=["doc1", "doc2", "doc3"], 
+    documents=[
+      "Text generating AI model mistralai/Mixtral-8x7B-Instruct-v0.1: Perfect for text generation, e.g., social media content, marketing copy, blog posts, short stories, etc.",
+      "Image generating AI model stabilityai/sdxl-turbo: Perfect for image generation, e.g., illustrations, graphics, AI art, etc.",
+      "Audio transcribing AI model openai/whisper-large-v3: Perfect for audio-transcription in different languages",
+      "Speech synthesizing AI model coqui/XTTS-v2: Perfect for generating audio from text and for voice-cloning"
+    ], 
+    metadatas=[{"source": "AF"}, {"source": "AF"}, {"source": "AF"}, {"source": "AF"}], 
+    ids=["ai1", "ai2", "ai3", "ai4"], 
   )
 
 print("Database ready!")
@@ -94,7 +99,7 @@ def response(
       #where={"source": "google-docs"}
       #where_document={"$contains":"search_string"}
     )
-    dists=["<small>(relevance: "+str(round((1-d)*100/100))+";" for d in results['distances'][0]]
+    dists=["<small>(relevance: "+str(round((1-d)*100)/100)+";" for d in results['distances'][0]]
     sources=["source: "+s["source"]+")</small>" for s in results['metadatas'][0]]
     results=results['documents'][0]
     combination = zip(results,dists,sources)
@@ -102,7 +107,7 @@ def response(
     print(combination)
     if(len(results)>1):
       addon=" Bitte berücksichtige bei deiner Antwort ggf. folgende Auszüge aus unserer Datenbank, sofern sie für die Antwort erforderlich sind. Beantworte die Frage knapp und präzise. Ignoriere unpassende Datenbank-Auszüge OHNE sie zu kommentieren, zu erwähnen oder aufzulisten:\n"+"\n".join(results)
-    system="Du bist ein KI-basiertes Assistenzsystem."+addon+"\n\nUser-Anliegen:"   
+    system="Du bist ein deutschsprachiges KI-basiertes Assistenzsystem, das zu jedem Anliegen möglichst geeignete KI-Tools empfiehlt."+addon+"\n\nUser-Anliegen:"   
     #body={"prompt":system+"### Instruktion:\n"+message+"\n\n### Antwort:","max_tokens":500, "echo":"False","stream":"True"} #e.g. SauerkrautLM
     formatted_prompt = format_prompt(system+"\n"+prompt, history)
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)