alexkueck commited on
Commit
e7e4a86
1 Parent(s): b1d9638

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -2
app.py CHANGED
@@ -23,13 +23,15 @@ embedding_model = SentenceTransformer('all-MiniLM-L6-v2')
23
 
24
  # Initialisierung von Tokenizer und RAG Modell mit Token
25
  tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
 
26
  model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
27
 
28
  # Verbindung zur Chroma DB und Laden der Dokumente
29
- chroma_db = Chroma(embedding_model=embedding_model, persist_directory = PATH_WORK + CHROMA_DIR)
30
 
31
  # Erstellung eines HuggingFacePipeline LLM Modells
32
- llm = HuggingFacePipeline(pipeline=model)
 
33
 
34
 
35
  # Erstellen eines eigenen Retrievers mit Chroma DB und Embeddings
@@ -76,6 +78,7 @@ def get_rag_response(question):
76
 
77
  return response
78
 
 
79
 
80
 
81
  # Funktion, die für den Chatbot genutzt wird
 
23
 
24
  # Initialisierung von Tokenizer und RAG Modell mit Token
25
  tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
26
+ retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", token=hf_token, use_dummy_dataset=True)
27
  model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
28
 
29
  # Verbindung zur Chroma DB und Laden der Dokumente
30
+ chroma_db = Chroma(embedding=embedding_model, persist_directory = PATH_WORK + CHROMA_DIR)
31
 
32
  # Erstellung eines HuggingFacePipeline LLM Modells
33
+ llm_pipeline = pipeline("text2text-generation", model=model, tokenizer=tokenizer, retriever=retriever)
34
+ llm = HuggingFacePipeline(pipeline=llm_pipeline)
35
 
36
 
37
  # Erstellen eines eigenen Retrievers mit Chroma DB und Embeddings
 
78
 
79
  return response
80
 
81
+
82
 
83
 
84
  # Funktion, die für den Chatbot genutzt wird