ui refactor

.vscode/launch.json

@@ -27,7 +27,7 @@
     "program": "/Users/jorge.henao/oosource/ask2democracycol/venv/bin/streamlit",
     "args": [
     "run",
-    "main_page.py"]
+    "app.py"]
     }
     ]
 }

about.py

@@ -1,30 +1,30 @@
 from pinecode_quieries import PinecodeProposalQueries
 import streamlit as st
 
-def about_ask2democracy(api_key: str, queries: PinecodeProposalQueries = None):
-    st.markdown("""
-    <h1 style='
-    text-align: center;
-    color: #39AA35'>
-    Ask2Democracy 🇨🇴 
-    </h1>
+def show_about_ask2democracy():
+    description = """
+    <h2>Sobre esta iniciativa</h2>
     <p>Muchas de las discusiones que ocurren en Colombia generalmente están sustentadas en artículos o pdfs que salvo pocas excepciones, casi nadie lee.
     Este sistema ha indexado algunos textos relevantes para la discución pública que suelen estar dispersos y poco accesibles, además, apoyandose en modelos de lenguaje Transformers (abajo más detalles) puede entender preguntas elaboradas.
     Algunos de los textos indexados: las propuestas presidenciales del 22, los hallazgos de la comisión de la verdad, los textos de las reformas, entre otros.
     <div align="right">
     Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>
     </div>
-    """, unsafe_allow_html=True)
-    description = """
     <p>
-    <h2>Sobre esta iniciativa</h2>
+    <h2>¿Cómo utilizar este espacio?</h2>
+    Selecciona la colección de documentos sobre la que quieres buscar en el panel de la izquierda y escribe preguntas.     
+    No se trata de un sistema de búsquedas basado en palabras clave, por el contrario, puedes redactar preguntas más extensas y elaboradas. Cuanto más contexto le des a la pregunta mejores resultados se obtienen.        
+    <h2>Integración opcional con OpenAI</h2>
+    Este espacio usa recursos de computo de Hugging Face y y una base de datos vectorial Pinecone sin costo para el usuario. De manera opcional, si tienes una cuenta en OpenAI también puedes activar la integración copiando tu API key en el panel de la izquierda.
+    Una vez ingreses el api key, cada vez que preguntes el sistema la usará para generar una respuesta a partir de los resultados de búsqueda obtenidos.
+    También puedes configurar la temperatura y la cantidad de tokens.
+    <p><p><b>Nota:El sistema no guarda tu API key, la utiliza para aumentar tus consultas mientras lo uses.</b>
+    <h2>Inteligencia artificial y democracia</h2>
     Pretende ayudar a construir democracia participativa apaloncándose en el estado del arte de la inteligencia artificial. 
     Siendo una herramienta que aporta a la discución pública, empoderando al ciudadano del común para ser partícipe del debate público mientras hace preguntas en su propio lenguaje, y llegando a sus propias conclusiones. 
-    <h2>Inteligencia artificial en la democracia</h2>
+    <p>
     Uno de los objetivos es contribuir a la inteligencia artificial abierta y en español, con la construcción de un dataset y el entrenamiento de un modelo de lenguaje  adaptado para las discuciones ciudadanas.
     Algo útil para elevar la calidad del debate en todos los países de habla hispana.
-    <h2>¿Cómo utilizar este espacio?</h2>
-Selecciona el texto sobre el que quieres buscar en el panel de la izquierda y escribe preguntas. No se trata de un sistema de búsquedas basado en palabras clave, por el contrario, puedes redactar preguntas más extensas y elaboradas. Cuanto más contexto le des a la pregunta mejores resultados se obtienen.        
     <h2>Ask2Democracy v 1.2</h2>
     Esta version usa sentence transformers, Cosine similarity, <a href= "https://github.com/deepset-ai/haystack">Haystack framework</a> y una base de dactos vectorial Pinecone para mejorar la precision en las respuestas.
     Los modelos transformers de lenguaje utilizados son:

app.py

@@ -0,0 +1,152 @@
+import time
+from about import show_about_ask2democracy
+import streamlit as st
+from pinecode_quieries import PinecodeProposalQueries
+from config import Config
+from samples import *
+
+queries = PinecodeProposalQueries (index_name= Config.index_name,
+                                        api_key = Config.es_password,
+                                        environment = Config.pinecone_environment,
+                                        embedding_dim = Config.embedding_dim,
+                                        reader_name_or_path = Config.reader_model_name_or_path,
+                                        use_gpu = Config.use_gpu,
+                                        OPENAI_key= None)
+
+def search(question, retriever_top_k, reader_top_k, selected_index=None):
+    filters = {"source_title": selected_index}
+    query_result = queries.search_by_query(query = question, 
+                                                    retriever_top_k = retriever_top_k, 
+                                                    reader_top_k = reader_top_k,
+                                                    filters = filters)
+    result = []
+    for i in range(0, len(query_result)):
+        item = query_result[i]
+        result.append([[i+1], item.answer.replace("\n",""), item.context[:250], 
+                    item.meta['title'], item.meta['source_title'], 
+                    int(item.meta['page']), item.meta['source_url']])
+    return result
+    
+def search_and_show_results(query:str, retriever_top_k = 5, reader_top_k =3, selected_index=None):
+    stt = time.time()
+    results = search(query, retriever_top_k=retriever_top_k, 
+                     reader_top_k=reader_top_k, selected_index=selected_index)
+    ent = time.time()
+    elapsed_time = round(ent - stt, 2)
+
+    st.write(f"**Resultados encontrados para la pregunta** \"{query}\" ({elapsed_time} sec.):")
+    for i, answer in enumerate(results):
+        st.subheader(f"{answer[1]}")
+        doc = answer[2][:250] + "..."
+        st.markdown(f"{doc}[Lee más aquí]({answer[6]})", unsafe_allow_html=True)
+        st.caption(f"Fuente: {answer[4]} - Artículo: {answer[3]} - Página: {answer[5]}")
+                
+def search_and_generate_answer(question, retriever_top_k, generator_top_k, 
+                               openai_api_key, openai_model_name= "text-davinci-003", 
+                               temperature = .5, max_tokens = 30,  selected_index = None):
+    filters = {"source_title": selected_index}
+    
+    query_result = queries.genenerate_answer_OpenAI(query = question, 
+                                                    retriever_top_k = retriever_top_k, 
+                                                    generator_top_k = generator_top_k,
+                                                    filters = filters, OPENAI_key = openai_api_key,
+                                                    openai_model_name= openai_model_name,temperature = temperature, max_tokens = max_tokens)
+    result = []
+    for i in range(0, len(query_result)):
+        item = query_result[i]
+        source_title = item.meta['doc_metas'][0]['source_title']
+        source_url = item.meta['doc_metas'][0]['source_url']
+        chapter_titles = [source['title'] for source in item.meta['doc_metas']]
+        result.append([[i+1], item.answer.replace("\n",""), 
+                    source_title, source_url, str(chapter_titles)])
+    return result
+
+def search_and_show_generative_results(query:str, retriever_top_k = 5, generator_top_k =1 , openai_api_key = None, openai_model_name = "text-davinci-003", temperature = .5, max_tokens = 30, selected_index = None):
+    # set start time
+    stt = time.time()
+    results = search_and_generate_answer(query, retriever_top_k = retriever_top_k, 
+                                         generator_top_k= generator_top_k, 
+                                         openai_api_key = openai_api_key,
+                                         openai_model_name= openai_model_name, 
+                                         temperature = temperature, max_tokens = max_tokens, 
+                                         selected_index = selected_index)
+    ent = time.time()
+    elapsed_time = round(ent - stt, 2)
+    st.write(f"**Respuesta generada para la pregunta**  \"{query}\" ({elapsed_time} sec.):")
+    if results != None:
+        for i, answer in enumerate(results):
+            # answer starts with header
+            st.subheader(f"{answer[1]}")
+            st.caption(f"Fuentes: {answer[2]} - {answer[4]}")
+            st.markdown(f"[Lee más aquí]({answer[3]})")
+        
+
+indexes =  [{"title": "Propuestas de reforma 2023", "name": "Reforma de la salud 13 Febrero 2023", "samples": samples_reforma_salud}, 
+            {"title": "Hallazgos de la comisión de la verdad", "name": "Hallazgos y recomendaciones - 28 de Junio 2022", "samples": samples_hallazgos_paz}]  
+
+index_titles = [item["title"] for item in indexes] 
+
+def get_selected_index_by_title(title):
+    for item in indexes:
+        if item["title"] == title:
+            return item["name"]
+    return None
+
+def get_samples_for_index(title):
+    for item in indexes:
+        if item["title"] == title:
+            return item["samples"]
+    return None
+
+def main():
+    st.markdown("""
+    <h1 style='
+    text-align: center;
+    color: #39AA35'>
+    Ask2Democracy 🇨🇴 
+    </h1>
+    <div align="right">
+    Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>
+    </div>""", unsafe_allow_html=True)    
+    st.sidebar.title("Configuración de búsqueda")
+    with st.sidebar.expander("Parámetros de recuperación", expanded= True):        
+        index = st.selectbox("Selecciona la colección de documentos", index_titles)
+        top_k_retriever = st.slider("Retriever Top K", 1, 10, 5)
+        top_k_reader = st.slider("Reader Top K", 1, 10, 3)
+        
+    with st.sidebar.expander("Configuración OpenAI"):        
+        openai_api_key = st.text_input("OpenAI API Key", type="password", placeholder="Copia aquí tu OpenAI API key (no será guardada)",
+                          help="puedes obtener tu api key de OpenAI en https://platform.openai.com/account/api-keys.")
+        openai_api_model = st.text_input("OpenAI API model", value= "text-davinci-003")
+        openai_api_temp = st.slider("OpenAI temperature", 0.1, 1.0, 0.5, step=0.1)
+        openai_api_max_tokens = st.slider("OpenAI max tokens", 10, 100, 30, step=10)
+    
+    sample_questions = get_samples_for_index(index).splitlines()
+    # selected_sample_question = st.selectbox("Algunas preguntas de ejemplo:", sample_questions)
+    # if selected_sample_question == "Selecciona una pregunta de ejemplo":
+    #     selected_sample_question = ""
+    query = st.text_area("",placeholder="Escribe aquí tu pregunta y presiona Buscar")
+    with st.expander("Algunas preguntas de ejemplo", expanded= False):
+        for sample in sample_questions:
+            st.markdown(f"- {sample}")
+
+    search_button = st.button("Buscar") 
+    if search_button:
+        selected_index = get_selected_index_by_title(index)
+        if openai_api_key:
+            with st.expander("", expanded= True):    
+                search_and_show_generative_results(query = query,retriever_top_k= top_k_retriever,
+                                                    generator_top_k= 1, openai_api_key = openai_api_key,
+                                                    openai_model_name = openai_api_model, 
+                                                    temperature= openai_api_temp, 
+                                                    max_tokens= openai_api_max_tokens,
+                                                    selected_index = selected_index)
+        with st.expander("", expanded= True):    
+            search_and_show_results(query, retriever_top_k=top_k_retriever, 
+                                    reader_top_k=top_k_reader, 
+                                    selected_index=selected_index)
+    else:
+        show_about_ask2democracy()
+
+if __name__ == "__main__":
+    main()

hallazgos.py

@@ -1,151 +0,0 @@
-from random import randint
-import streamlit as st
-
-import streamlit as st
-import json
-import time
-from config import Config
-from pinecode_quieries import PinecodeProposalQueries
-import logging
-logging.basicConfig(format="%(levelname)s - %(name)s -  %(message)s", level=logging.WARNING)
-logging.getLogger("haystack").setLevel(logging.INFO)
-
-
-def hallazgos_comision_verdad_2022(api_key: str, queries: PinecodeProposalQueries = None):
-    
-    # queries = PinecodeProposalQueries (index_name= Config.index_name,
-    #                                     api_key = Config.es_password,
-    #                                     environment = Config.pinecone_environment,
-    #                                     embedding_dim = Config.embedding_dim,
-    #                                     reader_name_or_path = Config.reader_model_name_or_path,
-    #                                     use_gpu = Config.use_gpu, OPENAI_key= api_key)
-    title = """
-    <h1 style='
-    text-align: center;
-    color: #39AA35'>
-    Ask2Democracy 🇨🇴 - Hallazgos y recomendaciones de la comisión de la verdad
-    </h1>
-    <p>
-    El 28 de junio del 2022, la Comisión de la Verdad en Colombia liberó su informe final. Fue el resultado de más de 3 años de investigación sobre el conflicto armado interno durante los últimos 60 años. Apoyándose en modelos de lenguaje, este espacio pretende ayudar a explorar las más de 6000 páginas que conforman más de 10 libros del Informe, comenzando por el de Hallazgos y recomendaciones.
-  """
-    st.markdown(title, unsafe_allow_html=True)
-    st.markdown("""<div align="right">
-    Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>    </div>
-        """, unsafe_allow_html=True)
-    
-    question_samples_str = """¿cantidad de víctimas en la masacre de bojayá?
-    ¿periodo con más detenciones arbitrarias registradas?
-    ¿cantidad de víctimas en la masacre de bojayá?
-    ¿cuantas víctimas de desplazamiento en antioquia?"""
-
-    question_samples = question_samples_str.splitlines()
-    
-    def clear_submit():
-        st.session_state["submit"] = False
-        
-    def fake_search(question, retriever_top_k, reader_top_k):
-        #p1_result = query.search_by_query(query = question, retriever_top_k = retriever_top_k, reader_top_k = reader_top_k, es_index = "informecomisionverdad")
-        result = []
-        p = """
-        La masacre de Bojayá fue perpetrada por el Frente José María Córdoba, de las FARC-EP, al lanzar un cilindro bomba que cayó en una iglesia en la que los pobladores se refugiaban del enfrentamiento de este grupo con el Bloque Élmer Cárdenas de las AUC. Las víctimas fueron 81 personas, 47 de ellas eran niñas, niños y adolescentes
-            """
-        for i in range(0, reader_top_k):
-            result.append([[i+1],"81 personas", p[:250],"Las masacres","Comisión de la verdad - Informe de hallazgos y recomendaciones Junio 2022","5"])
-        
-        return result
-
-    def search(question, retriever_top_k, reader_top_k):
-        filters = {"source_title": "Hallazgos y recomendaciones - 28 de Junio 2022"}
-        query_result = queries.search_by_query(query = question, 
-                                                        retriever_top_k = retriever_top_k, 
-                                                        reader_top_k = reader_top_k,
-                                                        filters = filters)
-        result = []
-        for i in range(0, len(query_result)):
-            item = query_result[i]
-            result.append([[i+1], item.answer.replace("\n",""), item.context[:200], 
-                        item.meta['title'], item.meta['source_title'], 
-                        int(item.meta['page']), item.meta['source_url']])
-            #result.append([[i+1], item.answer, item.context[:200], item.meta['title']])
-        return result
-
-    def search_and_show_results():
-        # set start time
-        stt = time.time()
-        # retrieve top 5 documents
-        results = search(query, retriever_top_k=5, reader_top_k=3)
-        # set endtime
-        ent = time.time()
-        # measure resulting time
-        elapsed_time = round(ent - stt, 2)
-
-        # show which query was entered, and what was searching time
-        st.write(f"**Resultados encontrados de las fuentes** \"{query}\" ({elapsed_time} sec.):")
-        # then we use loop to show results
-        for i, answer in enumerate(results):
-            # answer starts with header
-            st.subheader(f"{answer[1]}")
-            # cropped answer
-            doc = answer[2][:250] + "..."
-            st.markdown(f"{doc}[**Lee más aquí**]({answer[6]})")
-            st.caption(f"Fuente: {answer[4]} - Capítulo: {answer[3]} - Página: {answer[5]}")
-            
-        st.markdown("---")
-
-    def search_and_generate_answer(question, retriever_top_k, generator_top_k):
-        filters = {"source_title": "Hallazgos y recomendaciones - 28 de Junio 2022"}
-        query_result = queries.genenerate_answer_OpenAI(query = question, 
-                                                        retriever_top_k = retriever_top_k, 
-                                                        generator_top_k = generator_top_k,
-                                                        filters = filters, OPENAI_key = st.session_state.get("OPENAI_API_KEY"))
-        
-        result = []
-        for i in range(0, len(query_result)):
-            item = query_result[i]
-            source_title = item.meta['doc_metas'][0]['source_title']
-            source_url = item.meta['doc_metas'][0]['source_url']
-            chapter_titles = [source['title'] for source in item.meta['doc_metas']]
-            result.append([[i+1], item.answer.replace("\n",""), 
-                        source_title, source_url, str(chapter_titles)])
-            
-    def search_and_show_generative_results():
-        # set start time
-        stt = time.time()
-        
-        # retrieve top 5 documents
-        results = search_and_generate_answer(query, retriever_top_k=5, generator_top_k=1)
-        # set endtime
-        ent = time.time()
-        # measure resulting time
-        elapsed_time = round(ent - stt, 2)
-
-        # show which query was entered, and what was searching time
-        st.write(f"**Respuesta generada a partir de los resultados** \"{query}\" ({elapsed_time} sec.):")
-        # then we use loop to show results
-        if results != None:
-            for i, answer in enumerate(results):
-                # answer starts with header
-                st.subheader(f"{answer[1]}")
-                st.markdown(f"[**Lee más aquí**]({answer[3]})")
-                st.caption(f"Fuentes: {answer[2]} - {answer[4]}")
-                
-            st.markdown("---")
-        
-    #results = search("que es el adres", retriever_top_k=5, reader_top_k=3)
-    
-    
-    st.markdown(f"""<br><p>Cuanto más contexto le des a la pregunta mejores resultados se obtienen. 
-             No es un sistema basado en palabras claves, puedes escribir preguntas elaboradas. 
-             Una serie de modelos de lenguaje transformers intervienen en cada consulta para ayudar a entenderlas.""", 
-             unsafe_allow_html=True)
-    selected_question = st.selectbox("Aquí algunos ejemplos:", question_samples)
-    query = st.text_area("Escribe tu pregunta", value = selected_question, on_change=clear_submit)
-    button = st.button("Buscar")
-    if button or st.session_state.get("submit"):
-        if not query:
-            st.error("¡escribe una pregunta!")
-        else:
-            st.session_state["submit"] = True
-            if api_key:
-                search_and_show_generative_results()
-            search_and_show_results()

main_page.py

@@ -1,35 +0,0 @@
-import streamlit as st
-from about import about_ask2democracy
-from hallazgos import hallazgos_comision_verdad_2022
-from reformas import reforma_salud_febrero_2023
-from pinecode_quieries import PinecodeProposalQueries
-from config import Config
-
-# Define the sidebar
-api_key = st.sidebar.text_input("OpenAI API Key", type="password", 
-                                value=st.session_state.get("OPENAI_API_KEY", ""))
-if api_key:
-    st.session_state["OPENAI_API_KEY"] = api_key
-
-
-# Define the navigation between pages
-page_options = {
-    "About": about_ask2democracy,
-    "Propuesta: Reforma a la salud febrero de 2023": reforma_salud_febrero_2023,
-    "Hallazgos de la comisión de la verdad 2022": hallazgos_comision_verdad_2022
-}
-
-# Define the page selector
-selected_page = st.sidebar.radio("Selecciona la página que deseas explorar:", list(page_options.keys()))
-
-queries = PinecodeProposalQueries (index_name= Config.index_name,
-                                        api_key = Config.es_password,
-                                        environment = Config.pinecone_environment,
-                                        embedding_dim = Config.embedding_dim,
-                                        reader_name_or_path = Config.reader_model_name_or_path,
-                                        use_gpu = Config.use_gpu,
-                                        OPENAI_key=api_key)
-    
-# Render the selected page
-#print("key: " + api_key)
-page_options[selected_page](api_key, queries)

pinecode_quieries.py

@@ -85,7 +85,8 @@ class PinecodeProposalQueries(DocumentQueries):
         self._initialize_pipeline(index_name, api_key, reader = reader, embedding_dim= 
                                   embedding_dim, environment = environment, OPENAI_key= OPENAI_key)
         #self.log = Log(es_host= es_host, es_index="log", es_user = es_user, es_password= es_password)
-
+        self.OpenAI_api_key = None
+        
     def _initialize_pipeline(self, index_name, api_key, similarity = "cosine",
                              embedding_dim = 384, reader = None,
                              environment = "us-east1-gcp",
@@ -129,14 +130,18 @@ class PinecodeProposalQueries(DocumentQueries):
         prediction = self.extractive_pipe.run( query = query, params = params, debug = True)      
         return prediction["answers"]
 
-    def genenerate_answer_OpenAI(self, query : str, retriever_top_k: int, generator_top_k: int,  filters = None, OPENAI_key = None):
-        # if (OPENAI_key != None and OPENAI_key != ""):
-        #     OPENAI_generator = OpenAIAnswerGenerator(api_key=OPENAI_key, 
-        #                                               model="text-davinci-003", temperature=.5, max_tokens=60)
-        #     self.generative_OPENAI_pipe = GenerativeQAPipeline(generator = OPENAI_generator, 
-        #                                                    retriever = self.retriever)
-        
-        if (self.generative_OPENAI_pipe != None):
+    def __initialize_openAIGEnerator(self, OPENAI_key, openai_model_name= "text-davinci-003", temperature = .5, max_tokens = 30):
+        if OPENAI_key != self.OpenAI_api_key:
+            OPENAI_generator = OpenAIAnswerGenerator(api_key=OPENAI_key, 
+                                                      model=openai_model_name, temperature= temperature, max_tokens=max_tokens)
+            self.generative_OPENAI_pipe = GenerativeQAPipeline(generator = OPENAI_generator, 
+                                                           retriever = self.retriever)
+            self.OpenAI_api_key = OPENAI_key
+ 
+    def genenerate_answer_OpenAI(self, query : str, retriever_top_k: int, generator_top_k: int,  filters = None, 
+                                 OPENAI_key = None, openai_model_name= "text-davinci-003",temperature = .5, max_tokens = 30):
+        if OPENAI_key != self.OpenAI_api_key:
+            self.__initialize_openAIGEnerator(OPENAI_key, openai_model_name, temperature, max_tokens)
             params = {"Retriever": {"top_k": retriever_top_k, 
                                     "filters": filters}, 
                     "Generator": {"top_k": generator_top_k}} 

reformas.py

@@ -1,170 +0,0 @@
-from random import randint
-import streamlit as st
-
-import streamlit as st
-import json
-import time
-from config import Config
-from pinecode_quieries import PinecodeProposalQueries
-import logging
-logging.basicConfig(format="%(levelname)s - %(name)s -  %(message)s", level=logging.WARNING)
-logging.getLogger("haystack").setLevel(logging.INFO)
-
-def reforma_salud_febrero_2023(api_key: str, queries: PinecodeProposalQueries = None):
-
-    title = """
-    <h1 style='
-    text-align: center;
-    color: #39AA35'>
-    Ask2Democracy 🇨🇴 - Propuesta reforma a la salud 2023
-    </h1>
-  """
-    st.markdown(title, unsafe_allow_html=True)
-    st.markdown("""<div align="right">
-    Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>    </div>
-        """, unsafe_allow_html=True)
-    
-    question_samples_str = """¿Que es el ADRES?
-¿Cuándo se implementará el Sistema de Salud?
-¿Cómo se implementará el Sistema de Salud?
-¿Qué es principio de interpretación y fundamento de la transición en relación al Sistema de Salud?
-¿Qué se garantiza la atención en todo momento con el nuevo Sistema de Salud?
-¿Qué son los Centros de Atención Primaria Integrales y Resolutivos en Salud - CAPIRS?
-¿Qué se garantiza durante el periodo de transición del nuevo Sistema de Salud?
-¿Puede haber personas sin protección de su salud durante el periodo de transición?
-¿Cuál es el derecho fundamental que se garantiza en todo momento durante la transición del nuevo Sistema de Salud?
-¿Qué se debe realizar para garantizar la gestión de los recursos en el nivel nacional y desconcentrado?
-¿Cómo se regirá el régimen de contratación de los contratos mencionados en el texto?
-¿Qué son las cláusulas exorbitantes previstas en el estatuto General de Contratación de la administración pública?
-¿Qué principios deben atender los contratos mencionados en el texto?
-¿Cuál es el ámbito de aplicación de los contratos mencionados en el texto?
-¿Quién tiene la responsabilidad de realizar la auditoría de las cuentas en relación a estos contratos?
-¿Cuáles son las características que deben cumplir los contratos mencionados en el texto?
-¿Qué se entiende por "coordinación" en el contexto de los contratos mencionados en el texto?
-¿Qué objetivo se busca con los contratos mencionados en el texto?
-¿Quién será el encargado de contratar los servicios de salud y otros requerimientos para el cumplimiento de su labor en el nivel regional?
-¿Qué tipo de instituciones hospitalarias y ambulatorias se integran a la red de servicios del territorio?
-¿Qué tarifas deben seguir las instituciones hospitalarias y ambulatorias para la prestación de servicios de salud?
-¿Qué busca modular el régimen de tarifas y formas de pago para la prestación de servicios de salud?
-¿Qué tipo de registro llevará el Fondo Regional de Salud?
-¿Cuáles son algunas de las variables que se incluirán en el registro de cada servicio prestado y pagado?"""
-
-    question_samples = question_samples_str.splitlines()
-    
-    def clear_submit():
-        st.session_state["submit"] = False
-        
-    def fake_search(question, retriever_top_k, reader_top_k):
-        #p1_result = query.search_by_query(query = question, retriever_top_k = retriever_top_k, reader_top_k = reader_top_k, es_index = "informecomisionverdad")
-        result = []
-        p = """
-        La masacre de Bojayá fue perpetrada por el Frente José María Córdoba, de las FARC-EP, al lanzar un cilindro bomba que cayó en una iglesia en la que los pobladores se refugiaban del enfrentamiento de este grupo con el Bloque Élmer Cárdenas de las AUC. Las víctimas fueron 81 personas, 47 de ellas eran niñas, niños y adolescentes
-            """
-        for i in range(0, reader_top_k):
-            result.append([[i+1],"81 personas", p[:250],"Las masacres","Comisión de la verdad - Informe de hallazgos y recomendaciones Junio 2022","5"])
-        
-        return result
-
-    def search(question, retriever_top_k, reader_top_k):
-        filters = {"source_title": "Reforma de la salud 13 Febrero 2023"}
-        
-        query_result = queries.search_by_query(query = question, 
-                                                        retriever_top_k = retriever_top_k, 
-                                                        reader_top_k = reader_top_k,
-                                                        filters = filters)
-        result = []
-        for i in range(0, len(query_result)):
-            item = query_result[i]
-            result.append([[i+1], item.answer.replace("\n",""), item.context[:200], 
-                        item.meta['title'], item.meta['source_title'], 
-                        int(item.meta['page']), item.meta['source_url']])
-            #result.append([[i+1], item.answer, item.context[:200], item.meta['title']])
-        return result
-    
-    def search_and_show_results():
-        # set start time
-        stt = time.time()
-        # retrieve top 5 documents
-        results = search(query, retriever_top_k=5, reader_top_k=3)
-        # set endtime
-        ent = time.time()
-        # measure resulting time
-        elapsed_time = round(ent - stt, 2)
-
-        # show which query was entered, and what was searching time
-        st.write(f"**Resultados encontrados de las fuentes** \"{query}\" ({elapsed_time} sec.):")
-        # then we use loop to show results
-        for i, answer in enumerate(results):
-            # answer starts with header
-            st.subheader(f"{answer[1]}")
-            # cropped answer
-            doc = answer[2][:250] + "..."
-            st.markdown(f"{doc}[**Lee más aquí**]({answer[6]})")
-            st.caption(f"Fuente: {answer[4]} - Artículo: {answer[3]} - Página: {answer[5]}")
-            
-        #st.markdown("---")
-
-    def search_and_generate_answer(question, retriever_top_k, generator_top_k):
-        filters = {"source_title": "Reforma de la salud 13 Febrero 2023"}
-        
-        query_result = queries.genenerate_answer_OpenAI(query = question, 
-                                                        retriever_top_k = retriever_top_k, 
-                                                        generator_top_k = generator_top_k,
-                                                        filters = filters)
-        
-        result = []
-        for i in range(0, len(query_result)):
-            item = query_result[i]
-            source_title = item.meta['doc_metas'][0]['source_title']
-            source_url = item.meta['doc_metas'][0]['source_url']
-            chapter_titles = [source['title'] for source in item.meta['doc_metas']]
-            result.append([[i+1], item.answer.replace("\n",""), 
-                        source_title, source_url, str(chapter_titles)])
-        return result
-    
-    def search_and_show_generative_results():
-        # set start time
-        stt = time.time()
-        
-        # retrieve top 5 documents
-        results = search_and_generate_answer(query, retriever_top_k=5, generator_top_k=1)
-        # set endtime
-        ent = time.time()
-        # measure resulting time
-        elapsed_time = round(ent - stt, 2)
-
-        # show which query was entered, and what was searching time
-        st.write(f"**Respuesta generada a partir de los resultados** \"{query}\" ({elapsed_time} sec.):")
-        if results != None:
-            for i, answer in enumerate(results):
-                # answer starts with header
-                st.subheader(f"{answer[1]}")
-                st.markdown(f"[**Lee más aquí**]({answer[3]})")
-                st.caption(f"Fuentes: {answer[2]} - {answer[4]}")
-                
-            st.markdown("---")
-            
-        #st.markdown("---")
-
-    #results = search("que es el adres", retriever_top_k=5, reader_top_k=3)
-
-    st.write(f"""<br><p>Cuanto más contexto le des a la pregunta mejores resultados se obtienen. 
-             No es un sistema basado en palabras claves, puedes escribir preguntas elaboradas. 
-             Una serie de modelos de lenguaje transformers intervienen en cada consulta para ayudar a entenderlas."""
-             ,unsafe_allow_html=True)
-    selected_question = st.selectbox("Aquí algunos ejemplos:", question_samples)
-    query = st.text_area("Escribe tu pregunta", value = selected_question, on_change=clear_submit)
-    button = st.button("Buscar")
-    if button or st.session_state.get("submit"):
-        if not query:
-            st.error("¡escribe una pregunta!")
-        else:
-            st.session_state["submit"] = True
-            #if not st.session_state.get("OPENAI_API_KEY"):
-            if api_key:
-                search_and_show_generative_results()
-            search_and_show_results()
-
-#r = search_and_generate_answer("que es el ADRES?", retriever_top_k = 5, generator_top_k = 1)
-
-

samples.py

@@ -0,0 +1,32 @@
+
+samples_reforma_salud = """Selecciona una pregunta de ejemplo
+¿Que es el ADRES?
+¿Cuándo se implementará el Sistema de Salud?
+¿Cómo se implementará el Sistema de Salud?
+¿Qué es principio de interpretación y fundamento de la transición en relación al Sistema de Salud?
+¿Qué se garantiza la atención en todo momento con el nuevo Sistema de Salud?
+¿Qué son los Centros de Atención Primaria Integrales y Resolutivos en Salud - CAPIRS?
+¿Qué se garantiza durante el periodo de transición del nuevo Sistema de Salud?
+¿Puede haber personas sin protección de su salud durante el periodo de transición?
+¿Cuál es el derecho fundamental que se garantiza en todo momento durante la transición del nuevo Sistema de Salud?
+¿Qué se debe realizar para garantizar la gestión de los recursos en el nivel nacional y desconcentrado?
+¿Cómo se regirá el régimen de contratación de los contratos mencionados en el texto?
+¿Qué son las cláusulas exorbitantes previstas en el estatuto General de Contratación de la administración pública?
+¿Qué principios deben atender los contratos mencionados en el texto?
+¿Cuál es el ámbito de aplicación de los contratos mencionados en el texto?
+¿Quién tiene la responsabilidad de realizar la auditoría de las cuentas en relación a estos contratos?
+¿Cuáles son las características que deben cumplir los contratos mencionados en el texto?
+¿Qué se entiende por "coordinación" en el contexto de los contratos mencionados en el texto?
+¿Qué objetivo se busca con los contratos mencionados en el texto?
+¿Quién será el encargado de contratar los servicios de salud y otros requerimientos para el cumplimiento de su labor en el nivel regional?
+¿Qué tipo de instituciones hospitalarias y ambulatorias se integran a la red de servicios del territorio?
+¿Qué tarifas deben seguir las instituciones hospitalarias y ambulatorias para la prestación de servicios de salud?
+¿Qué busca modular el régimen de tarifas y formas de pago para la prestación de servicios de salud?
+¿Qué tipo de registro llevará el Fondo Regional de Salud?
+¿Cuáles son algunas de las variables que se incluirán en el registro de cada servicio prestado y pagado?"""
+
+samples_hallazgos_paz =  """Selecciona una pregunta de ejemplo
+¿cantidad de víctimas en la masacre de bojayá?
+¿periodo con más detenciones arbitrarias registradas?
+¿cantidad de víctimas en la masacre de bojayá?
+¿cuantas víctimas de desplazamiento en antioquia?"""