PinecodeProposalQueries was added

app_es.py

@@ -0,0 +1,101 @@
+import streamlit as st
+import json
+import time
+from config import Config
+from pinecode_quieries import PinecodeProposalQueries
+
+extractive_query = PinecodeProposalQueries (es_host = Config.es_host, es_index = Config.proposals_index,
+                                  es_user = Config.es_user, es_password = Config.es_password,
+                                  reader_name_or_path = Config.reader_model_name_or_path,
+                                  use_gpu = Config.use_gpu)
+
+def fake_search(question, retriever_top_k, reader_top_k):
+  #p1_result = query.search_by_query(query = question, retriever_top_k = retriever_top_k, reader_top_k = reader_top_k, es_index = "informecomisionverdad")
+  result = []
+  p = """
+  La masacre de Bojayá fue perpetrada por el Frente José María Córdoba, de las FARC-EP, al lanzar un cilindro bomba que cayó en una iglesia en la que los pobladores se refugiaban del enfrentamiento de este grupo con el Bloque Élmer Cárdenas de las AUC. Las víctimas fueron 81 personas, 47 de ellas eran niñas, niños y adolescentes
+    """
+  for i in range(0, reader_top_k):
+    result.append([[i+1],"81 personas", p[:250],"Las masacres","Comisión de la verdad - Informe de hallazgos y recomendaciones Junio 2022","5"])
+  
+  return result
+
+def search(question, retriever_top_k, reader_top_k):
+  query_result = extractive_query.search_by_query(query = question, retriever_top_k = retriever_top_k, reader_top_k = reader_top_k)
+  result = []
+  for i in range(0, len(query_result)):
+    item = query_result[i]
+    result.append([[i+1], item.answer, item.context[:200], item.meta['title'], item.meta['source'], int(item.meta['page'])])
+  
+  return result
+
+if __name__ == "__main__":
+    # streamlit part starts here with title
+    title = """
+    <h1 style='
+    text-align: center;
+    color: #39AA35'>
+    Ask2Democracy 🇨🇴 - Informe de la comisión de la verdad Junio 2022
+    </h1>
+    <p>
+      El 28 de junio del 2022, la Comisión de la Verdad en Colombia liberó su informe final. Fue el resultado de más de 3 años de investigación sobre el conflicto armado interno durante los últimos 60 años. Apoyándose en un modelo de inteligencia artificial. Este espacio pretende ayudar a explorar las más de 6000 páginas que conforman más de 10 libros del Informe, comenzando por el de Hallazgos y recomendaciones.
+    """
+    st.markdown(title, unsafe_allow_html=True)
+    # input form
+    with st.form("my_form"):
+        # here we have input space
+        query = st.text_input("Ingresa la pregunta, frase abierta o tema que quieres explorar",
+                              placeholder="Escribe tu consulta aquí...")
+        # Every form must have a submit button.
+        submitted = st.form_submit_button("Buscar")
+    
+    # on submit we execute search
+    if(submitted):
+        # set start time
+        stt = time.time()
+        # retrieve top 5 documents
+        results = search(query, retriever_top_k=5, reader_top_k=3)
+        # set endtime
+        ent = time.time()
+        # measure resulting time
+        elapsed_time = round(ent - stt, 2)
+        
+        # show which query was entered, and what was searching time
+        st.write(f"**Resultados relacionados con:** \"{query}\" ({elapsed_time} sec.)")
+        # then we use loop to show results
+        for i, answer in enumerate(results):
+            # answer starts with header
+            st.subheader(f"{answer[1]}")
+            # cropped answer
+            doc = answer[2][:250] + "..."
+            # and url to the full answer
+            url = f"https://www.comisiondelaverdad.co/sites/default/files/descargables/2022-06/Informe%20Final%20capi%CC%81tulo%20Hallazgos%20y%20recomendaciones.pdf#page={answer[5]+1}"
+            # then we display it
+            #st.markdown(f'{doc}\n<br>Fuente: {answer[4]}\n<br>Capítulo: {answer[3]}\n<br>Página: {answer[5]}\n[**Lee más aquí**]({url})\n', unsafe_allow_html=True)
+            st.markdown(f"{doc}[**Lee más aquí**]({url})")
+            st.caption(f"Fuente: {answer[4]} - Capítulo: {answer[3]} - Página: {answer[5]}")
+            
+        st.markdown("---")
+    else:
+        st.markdown("""Cuanto más contexto le des a la pregunta, mejor funciona. puedes escribir consultas como: _**\"¿periodo con más detenciones arbitrarias registradas?\"**_,\_**\"¿cantidad de víctimas en la masacre de bojayá?\"**_,\
+                    _**\"¿cuantas víctimas de desplazamiento en antioquia?\"**_""")
+        st.markdown("""
+     <div align="right">
+    Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>
+     <br>Con el apoyo de Manuela Gonima en comunicaciones 🇨🇴 <a href="https://www.instagram.com/mgcomunicacionesco/" target='_blank'/>Instagram</a> <a href="https://www.linkedin.com/in/manuela-gonima-carvajal" target='_blank'/>LinkedIn</a>
+    </div>
+        """, unsafe_allow_html=True)
+
+        description = """
+        <p>
+        <h2>Sobre esta iniciativa</h2>
+        Se enmarca en la construcción de ciudadanía, la creación de valor público y el fortalecimiento de la democracia participativa desde la invitación a la población a informarse, conocer, compartir y dialogar en torno a la memoria histórica y a la verdad del conflicto armado colombiano, partiendo del Informe de la Comisión de la Verdad, se espera incluir varias fuentes adicionales. Hace parte de un proyecto open-source que utiliza Inteligencia Artificial para contribuir al entendimiento de temas relevantes para el país.<a href= "https://github.com/jorge-henao/ask_to_democracy"> repo en github con FastAPI</a>
+        </br></br>Por: Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>, con el apoyo de Manuela Gónima 🇨🇴 <a href="https://www.instagram.com/mgcomunicacionesco/" target='_blank'/>Instagram</a> <a href="https://www.linkedin.com/in/manuela-gonima-carvajal" target='_blank'/>LinkedIn</a>
+        <h2>¿Cómo utilizar este espacio?</h2>
+        Puedes escribir oraciones abiertas como “Masacres en Antioquia”, o una pregunta concreta como “¿cantidad de víctimas en la masacre de bojayá?”. No se trata de un sistema de búsquedas basado en palabras clave, por el contrario, puedes redactar preguntas más extensas y elaboradas. Cuanto más contexto le des a la pregunta, mejor funciona.        
+        <h2>Beta disclaimer</h2>
+        Las respuestas que arroja el sistema no han sido pregrabadas ni basadas en opiniones. Todas son respuestas extraídas del Informe final de la CEV, por un sistema en beta. Este explorador se basa en un modelo de inteligencia artificial entrenado para entender el lenguaje español, sin embargo, necesita de un mayor entrenamiento por lo que, en ocasiones, puede ser confuso y no tan preciso. 
+        Si quieres apoyar escríbeme a <a href="mailto:jorge.henao@diezonce.co">jorge.henao@diezonce.co</a>
+        </p>      
+        """
+        st.markdown(description, unsafe_allow_html=True)

config.py

@@ -1,8 +1,8 @@
 class Config():
     es_host = "saimon-askwdemocracy.es.us-central1.gcp.cloud.es.io"
     es_user = "elastic"
-    es_password = "NY5Gqg83peXwagrfolBFUhhy"
-    proposals_index = "informecomisionverdad2"
+    es_password = "53f2a7a9-ea9d-4fd2-a8bc-f471b67f0262"
+    proposals_index = "reforms2"
     reader_model_name_or_path = "deepset/xlm-roberta-base-squad2-distilled"
     #reader_model_name_or_path = "deepset/xlm-roberta-base-squad2"
     use_gpu = True

pinecode_quieries.py

@@ -0,0 +1,76 @@
+from abc import ABC, abstractmethod
+from haystack.nodes import BM25Retriever, FARMReader
+from haystack.document_stores import ElasticsearchDocumentStore
+from haystack.pipelines import ExtractiveQAPipeline
+from haystack.document_stores import PineconeDocumentStore
+from haystack.nodes import EmbeddingRetriever
+
+import certifi
+import datetime
+import requests
+from base64 import b64encode
+
+ca_certs=certifi.where()        
+
+class DocumentQueries(ABC):
+    
+    @abstractmethod
+    def search_by_query(self, query : str, retriever_top_k: int, reader_top_k: int, es_index: str):
+        pass
+
+class PinecodeProposalQueries(DocumentQueries):
+    
+    def __init__(self, es_host: str, es_index: str, es_user, es_password, reader_name_or_path: str, use_gpu = True) -> None:
+        reader = FARMReader(model_name_or_path = reader_name_or_path, use_gpu = use_gpu, num_processes=1, context_window_size=200)
+        self._initialize_pipeline(es_host, es_index, es_user, es_password, reader = reader)
+        #self.log = Log(es_host= es_host, es_index="log", es_user = es_user, es_password= es_password)
+
+    def _initialize_pipeline(self, es_host, es_index, es_user, es_password, reader = None):
+        if reader is not None:
+            self.reader = reader
+        self.es_host = es_host
+        self.es_user = es_user
+        self.es_password = es_password
+        self.document_store = PineconeDocumentStore(
+            api_key=es_password,
+            environment = "us-east1-gcp",
+            index=es_index,
+            similarity="cosine",
+            embedding_dim=384
+        )        
+        #self.retriever = BM25Retriever(document_store = self.document_store)
+        self.retriever = EmbeddingRetriever(
+            document_store=self.document_store,
+            embedding_model="multi-qa-MiniLM-L6-cos-v1",
+            model_format="sentence_transformers"
+        )
+        self.document_store.update_embeddings(self.retriever, batch_size=16
+)
+        #self.pipe = ExtractiveQAPipeline(self.reader, self.retriever)
+
+    def search_by_query(self, query : str, retriever_top_k: int, reader_top_k: int, es_index: str = None) :
+        #self.log.write_log(query, "hfspace-informecomision")
+        #if es_index is not None:
+            #self._initialize_pipeline(self.es_host, es_index, self.es_user, self.es_password)
+        params = {"Retriever": {"top_k": retriever_top_k}, "Reader": {"top_k": reader_top_k}}
+        prediction = self.pipe.run( query = query, params = params)      
+        return prediction["answers"]
+
+class Log():
+    
+    def __init__(self, es_host: str, es_index: str, es_user, es_password) -> None:
+        self.elastic_endpoint = f"https://{es_host}:443/{es_index}/_doc"
+        self.credentials = b64encode(b"3pvrzh9tl:4yl4vk9ijr").decode("ascii")
+        self.auth_header = { 'Authorization' : 'Basic %s' %  self.credentials }
+                      
+    def write_log(self, message: str, source: str) -> None:
+        created_date = datetime.datetime.now().strftime('%Y-%m-%dT%H:%M:%SZ')
+        post_data  = {
+            "message" : message,
+            "createdDate": {
+                "date" : created_date
+            },
+            "source": source
+        }
+        r = requests.post(self.elastic_endpoint, json = post_data, headers = self.auth_header)
+        print(r.text)