nolo99 commited on
Commit
50dfc62
·
1 Parent(s): 2cf6e61

Change max token model + change description in div

Browse files
Files changed (1) hide show
  1. app.py +2 -2
app.py CHANGED
@@ -44,7 +44,7 @@ def get_vectorstore(text_chunks):
44
 
45
  def get_conversation_chain(vector_store):
46
 
47
- llm = CTransformers(model="mistral-7b-instruct-v0.1.Q4_K_M.gguf", config={'max_new_tokens': 512, 'temperature': 0.01})
48
 
49
  #Creamos la memoria
50
  memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
@@ -93,7 +93,7 @@ def main():
93
  </div>
94
  <div class="skill-detail">
95
  <h2 class="skill-title">By Manuel Otero Márquez </h2>
96
- <p>Esto es un ejemplo de como se pueden implementar LLM de forma local y con CPU</p>
97
  <div class="skill-progress">
98
  <div class="progress progress-1"></div>
99
  </div>
 
44
 
45
  def get_conversation_chain(vector_store):
46
 
47
+ llm = CTransformers(model="mistral-7b-instruct-v0.1.Q4_K_M.gguf", config={'max_new_tokens': 128, 'temperature': 0.01})
48
 
49
  #Creamos la memoria
50
  memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
 
93
  </div>
94
  <div class="skill-detail">
95
  <h2 class="skill-title">By Manuel Otero Márquez </h2>
96
+ <p>Esto es un ejemplo de como se pueden implementar una arquitectura RAG para un LLM para chatear con tus pdfs utilizando solo la CPU</p>
97
  <div class="skill-progress">
98
  <div class="progress progress-1"></div>
99
  </div>