multi-qa-mpnet-base-cos-v1

app_pinecode.py

@@ -25,7 +25,8 @@ def search(question, retriever_top_k, reader_top_k):
   result = []
   for i in range(0, len(query_result)):
     item = query_result[i]
-    result.append([[i+1], item.answer, item.context[:200], item.meta['title'], item.meta['source'], int(item.meta['page'])])
+    #result.append([[i+1], item.answer, item.context[:200], item.meta['title'], item.meta['source'], int(item.meta['page'])])
+    result.append([[i+1], item.answer, item.context[:200], item.meta['name']])
   
   return result
 
@@ -69,11 +70,11 @@ if __name__ == "__main__":
             # cropped answer
             doc = answer[2][:250] + "..."
             # and url to the full answer
-            url = f"https://www.comisiondelaverdad.co/sites/default/files/descargables/2022-06/Informe%20Final%20capi%CC%81tulo%20Hallazgos%20y%20recomendaciones.pdf#page={answer[5]+1}"
+            #url = f"https://www.comisiondelaverdad.co/sites/default/files/descargables/2022-06/Informe%20Final%20capi%CC%81tulo%20Hallazgos%20y%20recomendaciones.pdf#page={answer[5]+1}"
             # then we display it
             #st.markdown(f'{doc}\n<br>Fuente: {answer[4]}\n<br>Capítulo: {answer[3]}\n<br>Página: {answer[5]}\n[**Lee más aquí**]({url})\n', unsafe_allow_html=True)
-            st.markdown(f"{doc}[**Lee más aquí**]({url})")
-            st.caption(f"Fuente: {answer[4]} - Capítulo: {answer[3]} - Página: {answer[5]}")
+            #st.markdown(f"{doc}[**Lee más aquí**]({url})")
+            #st.caption(f"Fuente: {answer[4]} - Capítulo: {answer[3]} - Página: {answer[5]}")
             
         st.markdown("---")
     else:
@@ -81,16 +82,14 @@ if __name__ == "__main__":
                     _**\"¿cuantas víctimas de desplazamiento en antioquia?\"**_""")
         st.markdown("""
      <div align="right">
-    Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>
-     <br>Con el apoyo de Manuela Gonima en comunicaciones 🇨🇴 <a href="https://www.instagram.com/mgcomunicacionesco/" target='_blank'/>Instagram</a> <a href="https://www.linkedin.com/in/manuela-gonima-carvajal" target='_blank'/>LinkedIn</a>
-    </div>
+    Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>    </div>
         """, unsafe_allow_html=True)
 
         description = """
         <p>
         <h2>Sobre esta iniciativa</h2>
         Se enmarca en la construcción de ciudadanía, la creación de valor público y el fortalecimiento de la democracia participativa desde la invitación a la población a informarse, conocer, compartir y dialogar en torno a la memoria histórica y a la verdad del conflicto armado colombiano, partiendo del Informe de la Comisión de la Verdad, se espera incluir varias fuentes adicionales. Hace parte de un proyecto open-source que utiliza Inteligencia Artificial para contribuir al entendimiento de temas relevantes para el país.<a href= "https://github.com/jorge-henao/ask_to_democracy"> repo en github con FastAPI</a>
-        </br></br>Por: Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>, con el apoyo de Manuela Gónima 🇨🇴 <a href="https://www.instagram.com/mgcomunicacionesco/" target='_blank'/>Instagram</a> <a href="https://www.linkedin.com/in/manuela-gonima-carvajal" target='_blank'/>LinkedIn</a>
+        </br></br>Por: Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>
         <h2>¿Cómo utilizar este espacio?</h2>
         Puedes escribir oraciones abiertas como “Masacres en Antioquia”, o una pregunta concreta como “¿cantidad de víctimas en la masacre de bojayá?”. No se trata de un sistema de búsquedas basado en palabras clave, por el contrario, puedes redactar preguntas más extensas y elaboradas. Cuanto más contexto le des a la pregunta, mejor funciona.        
         <h2>Beta disclaimer</h2>

pinecode_quieries.py

@@ -36,12 +36,12 @@ class PinecodeProposalQueries(DocumentQueries):
             environment = "us-east1-gcp",
             index=es_index,
             similarity="cosine",
-            embedding_dim=384
+            embedding_dim=768
         )        
         #self.retriever = BM25Retriever(document_store = self.document_store)
         self.retriever = EmbeddingRetriever(
             document_store=self.document_store,
-            embedding_model="multi-qa-MiniLM-L6-cos-v1",
+            embedding_model="multi-qa-mpnet-base-cos-v1",
             model_format="sentence_transformers"
         )
         self.document_store.update_embeddings(self.retriever, batch_size=16)