from random import randint import streamlit as st import streamlit as st import json import time from config import Config from pinecode_quieries import PinecodeProposalQueries import logging logging.basicConfig(format="%(levelname)s - %(name)s - %(message)s", level=logging.WARNING) logging.getLogger("haystack").setLevel(logging.INFO) def hallazgos_comision_verdad_2022(api_key): queries = PinecodeProposalQueries (index_name= Config.index_name, api_key = Config.es_password, environment = Config.pinecone_environment, embedding_dim = Config.embedding_dim, reader_name_or_path = Config.reader_model_name_or_path, use_gpu = Config.use_gpu, OPENAI_key= api_key) title = """

Ask2Democracy 🇨🇴 - Hallazgos y recomendaciones de la comisión de la verdad

El 28 de junio del 2022, la Comisión de la Verdad en Colombia liberó su informe final. Fue el resultado de más de 3 años de investigación sobre el conflicto armado interno durante los últimos 60 años. Apoyándose en modelos de lenguaje, este espacio pretende ayudar a explorar las más de 6000 páginas que conforman más de 10 libros del Informe, comenzando por el de Hallazgos y recomendaciones. """ st.markdown(title, unsafe_allow_html=True) st.markdown("""

Creado por Jorge Henao 🇨🇴 Twitter LinkedIn
""", unsafe_allow_html=True) question_samples_str = """¿cantidad de víctimas en la masacre de bojayá? ¿periodo con más detenciones arbitrarias registradas? ¿cantidad de víctimas en la masacre de bojayá? ¿cuantas víctimas de desplazamiento en antioquia?""" question_samples = question_samples_str.splitlines() def clear_submit(): st.session_state["submit"] = False def fake_search(question, retriever_top_k, reader_top_k): #p1_result = query.search_by_query(query = question, retriever_top_k = retriever_top_k, reader_top_k = reader_top_k, es_index = "informecomisionverdad") result = [] p = """ La masacre de Bojayá fue perpetrada por el Frente José María Córdoba, de las FARC-EP, al lanzar un cilindro bomba que cayó en una iglesia en la que los pobladores se refugiaban del enfrentamiento de este grupo con el Bloque Élmer Cárdenas de las AUC. Las víctimas fueron 81 personas, 47 de ellas eran niñas, niños y adolescentes """ for i in range(0, reader_top_k): result.append([[i+1],"81 personas", p[:250],"Las masacres","Comisión de la verdad - Informe de hallazgos y recomendaciones Junio 2022","5"]) return result def search(question, retriever_top_k, reader_top_k): filters = {"source_title": "Hallazgos y recomendaciones - 28 de Junio 2022"} query_result = queries.search_by_query(query = question, retriever_top_k = retriever_top_k, reader_top_k = reader_top_k, filters = filters) result = [] for i in range(0, len(query_result)): item = query_result[i] result.append([[i+1], item.answer.replace("\n",""), item.context[:200], item.meta['title'], item.meta['source_title'], int(item.meta['page']), item.meta['source_url']]) #result.append([[i+1], item.answer, item.context[:200], item.meta['title']]) return result def search_and_show_results(): # set start time stt = time.time() # retrieve top 5 documents results = search(query, retriever_top_k=5, reader_top_k=3) # set endtime ent = time.time() # measure resulting time elapsed_time = round(ent - stt, 2) # show which query was entered, and what was searching time st.write(f"**Resultados encontrados de las fuentes** \"{query}\" ({elapsed_time} sec.):") # then we use loop to show results for i, answer in enumerate(results): # answer starts with header st.subheader(f"{answer[1]}") # cropped answer doc = answer[2][:250] + "..." st.markdown(f"{doc}[**Lee más aquí**]({answer[6]})") st.caption(f"Fuente: {answer[4]} - Capítulo: {answer[3]} - Página: {answer[5]}") st.markdown("---") def search_and_generate_answer(question, retriever_top_k, generator_top_k): filters = {"source_title": "Hallazgos y recomendaciones - 28 de Junio 2022"} query_result = queries.genenerate_answer_OpenAI(query = question, retriever_top_k = retriever_top_k, generator_top_k = generator_top_k, filters = filters, OPENAI_key = st.session_state.get("OPENAI_API_KEY")) result = [] for i in range(0, len(query_result)): item = query_result[i] source_title = item.meta['doc_metas'][0]['source_title'] source_url = item.meta['doc_metas'][0]['source_url'] chapter_titles = [source['title'] for source in item.meta['doc_metas']] result.append([[i+1], item.answer.replace("\n",""), source_title, source_url, str(chapter_titles)]) def search_and_show_generative_results(): # set start time stt = time.time() # retrieve top 5 documents results = search_and_generate_answer(query, retriever_top_k=5, generator_top_k=1) # set endtime ent = time.time() # measure resulting time elapsed_time = round(ent - stt, 2) # show which query was entered, and what was searching time st.write(f"**Respuesta generada a partir de los resultados** \"{query}\" ({elapsed_time} sec.):") # then we use loop to show results if results != None: for i, answer in enumerate(results): # answer starts with header st.subheader(f"{answer[1]}") st.markdown(f"[**Lee más aquí**]({answer[3]})") st.caption(f"Fuentes: {answer[2]} - {answer[4]}") st.markdown("---") #results = search("que es el adres", retriever_top_k=5, reader_top_k=3) st.markdown(f"""

Cuanto más contexto le des a la pregunta mejores resultados se obtienen. No es un sistema basado en palabras claves, puedes escribir preguntas elaboradas. Una serie de modelos de lenguaje transformers intervienen en cada consulta para ayudar a entenderlas.""", unsafe_allow_html=True) selected_question = st.selectbox("Aquí algunos ejemplos:", question_samples) query = st.text_area("Escribe tu pregunta", value = selected_question, on_change=clear_submit) button = st.button("Buscar") if button or st.session_state.get("submit"): if not query: st.error("¡escribe una pregunta!") else: st.session_state["submit"] = True if api_key: search_and_show_generative_results() search_and_show_results()